評価体制に関するアンケート調査結果（班・分科会長分）

参考資料１

平成１０年８月１３日

厚生省保健医療局エイズ疾病対策課

（概要版）

目的

特定疾患調査研究事業における、より良い評価体制を構築していくために、現在の評価（小）委員会体制に関するアンケート調査を行った。

対象及び方法

特定疾患調査研究事業において評価（小）委員会が設置されている班（分科会）長44名を対象とした。平成10年7月6日に各班（分科会）長に対しアンケート用紙をファックスで送付し、同月26日までに回収された41件について解析した。回収率は93%であった。

結果

○　各研究班（分科会）の報告会に参加した評価委員の実績（平成９年度）。（班会議が１回しか行われなかった場合は２回目に参加として計算）

第１回班会議2.1 +/- 0.5人（0～4人、中央値1人）
第２回班会議3.5 +/- 0.9人（１～５人、中央値４人）

○　現行の研究班に張り付いて、評価を行うことについて？

　　・賛成33名(80%)・どちらとも言えない7名(17%)・反対1名(2%)

班長張り付け評価

○　現行の評価（小）委員会の人数（４～５人）は？（無回答２名）

　・ちょうど良い。33名(80%)・多すぎる。6名(15%)・少なすぎる。0名

班長評価人数

○　評価（小）委員の先生のコメントは、研究班の研究に役に立ちましたか

　・役に立った。35名(88%)・どちらでもない。4名(10%)・役に立たなかった。1名(2%)

班長コメント有用性

評価体制に関するアンケート調査結果（班・分科会長分）

平成１０年８月１３日

厚生省保健医療局エイズ疾病対策課

はじめに

特定疾患調査研究事業では、平成８年度より、特定疾患調査研究班再編成計画を踏まえ、研究評価体制の強化を行った。また、平成９年８月には「国の研究開発全般に共通する評価の実施方法の在り方についての大綱的指針」が閣議決定され、厚生科学審議会でも「厚生科学研究に係る評価の実施方法に関する指針」が策定された。これらの指針を踏まえ、特定疾患調査研究事業においても、現在、特定疾患対策懇談会の特定疾患調査研究事業に関する評価基準作成部会が、本研究事業の評価基準の策定を行っているところである。

目的

特定疾患調査研究事業における、より良い評価体制を構築していくために、現在の評価（小）委員会体制に関するアンケート調査を行った。

対象及び方法

結果

○　各研究班（分科会）の報告会に参加した評価委員の実績（平成９年度）。（班会議が１回しか行われなかった場合は２回目に参加として計算）

第１回班会議2.1 +/- 0.5人（0～4人、中央値1人）
第２回班会議3.5 +/- 0.9人（１～５人、中央値４人）

○　現行の研究班に張り付いて、評価を行うことについて？

　　・賛成33名(80%)・どちらとも言えない7名(17%)・反対1名(2%)

班長張り付け評価

賛成のコメント：（コメントは、順不同。以下、同じ。）

真面目に研究に参加する姿勢ができる。
評価委員の先生方には誠にご苦労様ですが、終始直接御意見を頂けるメリットは大きいと存じます。
最終評価を評価委員の口のみからは問題、せめて分科会長の弁も。
ご多忙にも拘わらず全体を知るために一日中熱心に聞いていただき、質問も盛んにしていただいております。従来も評価は行われていた訳ですが、班員はそのことに余り注意を払うことはなかったと思います。それは評価システムが身近になかったからです。小生の班では評価結果も全員に通知しています。評価基準の明確化、適正化が前提になりますが、このシステムを利用して活性化を図りたいと思っています。
全班員の報告を直接聞いていただいて判断して頂けるので良いと思っている。
他己評価を原則とすべきである。
しばらく現行のシステムを継続してみる価値がある。
評価委員の評価によって、研究成果を出していない班員を批判したり、やめさせることが容易になる。
極めて適切なコメントをいただいている。
班に取ってはありがたい。
一種の緊張感があって良い。
緊張感がある。
評価委員の先生方には、お忙しい際申し訳ないが、一年間の研究成果を班会議中聞いて頂けるのは、以前の班長のみのプレゼンとは異なり、良い方法だと思う。
書面では得られない班の雰囲気、活性度も理解していただけますし、昼食を取りながら、研究方法,、結果についてDiscuss出来ることは大変重要と考えます。
具体的な評価が可能と思う。
複数班への張り付きで大変とは思いますが必要です。
評価委員は班長経験者とすべきである。また、専門分野に習熟している人がなるべきと考える。
研究の進め方、内容について、具体的によく理解して頂けると思う。

どちらとも言えないのコメント：

出席される評価委員が少ない。
評価委員の先生方にしてみれば、ほとんどメリットがないのに報告会に出席して意見を述べて頂けるので頭が下がるが、必ずしも専門領域が同じ出ないので適切でないコメントもある。
評価していただくこと自体は問題ないのですが、お忙しい評価委員の先生方をまる一日拘束することになり気が引けます。評価委員の先生方にも御意見をお聞き下さい。
ほとんど張り付いていない。評価委員が評価すべき病気を知らず、「私は素人です」と言われても、班としては困ってしまう。
研究に専門分野の方もおられるが、全く別分野と思われる方もおられるので正しい評価が出来るかどうか？
研究班に張り付いての評価は評価を受けている緊張感をもたらす点ではよいが、張り付いた努力に相当する評価が出来ているか疑問が残る。（システムの問題もあるのでは？）

○　現行の評価（小）委員会の人数（４～５人）は？（無回答２名）

　・ちょうど良い。33名(80%)・多すぎる。6名(15%)・少なすぎる。0名

班長評価人数

ちょうど良いの理由

あまり多人数だと一般的意見だけになる。
それぞれの先生が自分の意見を表明しなくてはいけない立場になる人数で、熱をいれて聞いてくれます。評価結果は名前を伏せていますが、大体予想でき、真意を後ほど尋ねることができる人数である。
特定疾患は多様な領域に及んでいるのでいろんな専門の委員から構成されるのが望ましい。
基礎系、臨床系のバランスは良いように思えます。しかしながら、臨床面に還元できる成果を重視するのであれば、臨床系を増やすか、臨床の成果の評価に重み付けをするなどが必要かも知れません。
評価委員の先生方の意見をまとめるために必要・十分な人数だと思います。
多いとかなり無責任になる。
あまり明確な理由はないが、現行の人数で適当であると思います。
片寄らないためには４～５人は適当と思います。
班会議の日程決定に苦労します。
出席されない委員には発表資料にお送りし、評価して頂いた。これ以上多いと事務的には繁雑で評価も不正確になる。

多すぎるの理由

領域の専門家（基礎と臨床）に疫学の専門家の３人で十分か？
多忙な方が多すぎ、いつも他の予定と重複しているため、スケジュール調整が難しい。
委員の日程調整が困難であり、かつ基礎分野の評価委員は必ずしも必要ない。臨床系２名でよいと考える。
多忙な先生が多く、３人で十分と考える。
班会議の日程調節に時間がかかる。人数に相当する評価の多様性、具体性が得られていない。

その他の理由：

人数よりは内容が問題。一人の委員があちこち掛け持ちで表層的な評価は望ましくない。
班員が少数のため、力量のある方３人程度でよいのでは。そうでなければ、５名にして最高点、最低点を割愛した３人の平均点を取るような仕組みが必要と思います。

○　評価（小）委員の先生のコメントは、研究班の研究に役に立ちましたか

　・役に立った。35名(88%)・どちらでもない。4名(10%)・役に立たなかった。1名(2%)

班長コメント有用性

役に立った理由：

専門家による専門的なコメントは研究の方向性を示唆する上でも有益である。
直接的なものはないが、研究班の刺激にはなる。
お立場によってそれぞれ特色がありましたが、いずれも大いに御教示を賜り感謝しております。
班の方向性を自身を持って押し進めることに役立った。評価結果は全てが良いと受け入れられた訳ではなかったが、違った方向へ進んでしまう危険性をくい止められた。
委員の先生方のコメントが的を得ていた。
建設的かつ率直なコメントであった。
研究の方向付けには有用なコメントを得られた。
実際の研究方針を修正したり、班の構成員を少し変更することに役立った。
進めている研究の妥当性、方向性、重点課題などの指摘は大変に役に立ちます。
当班の評価委員の先生方は客観的な立場から、班全体の研究成果を判定して下さり、今後の班の活動方針に示唆を与えて下さいました。
現在の我々の評価委員の方には問題が何かを把握されており、かなり活発に相互に（班員と）討論をしてくれております。
自分たちの相対的位置が分かる。
班員にも、この研究班が厚生省の班であり、文部省のものではないという意識を与えていただいた。
研究方法（解析法）について意見を述べられ、参考になったことがある。
我々が考えていることと、評価委の先生方のお考えがずれる場合、より広く考えておられる評価委の方々の御意見は大変参考になります。
大変貴重な御意見がうかがえます。
それぞれのコメントは役立っておりますが、個々の評価委員のコメントのどれに重きを置くか、ときに矛盾するものもあり、評価委員会としての統一したコメントを頂きたい。
専門分野からみると各論的には的外れ的コメントもありましたが、総論的には役立ったと考えます。
コメントを班員にフィードバックして、研究の方向付けに役立たせていただいている。
評価が班員の研究に対する取り組み方に反映した。

どちらでもない理由：

評価委員の学識レベル次第で、一般的には…。
過去の本班の実績を知らずに、突然、思いつきの意見を言われても、参考になる場合と全く意味のない場合とがある。
ご自分の専門的な意見を出されても混乱する場合がある。
個々の発表へのコメントは貴重であった。

役に立たなかった理由：

コメントが抽象的で実際の研究にはほとんど役立たなかった。

○　現行の評価体制について意見。

　コメント：

評価の予算を減らして、研究班の予算を増やすことはできませんか？臨床に役に立っているのかどうか不明の基礎研究をどう評価しているのか知りたい。評価委員の先生方は大変と思いますが、良いご助言をいただいています。
各々の評価委員の方々の科学的背景の違いにより、評価基準が若干異なっているとの印象を受けますので、その点、評価基準の標準化が望まれると思います。現行では、委員長の御意見を重要視されるのが良いと存じます（合議されているようですので）。
報告書を検討する方法でも良いのではないかと思います。
厚生省の現在のご方針と班の研究活動の基礎医学的な部分への御意見に若干の乖離があった様に思えました。
２つの分科会合同の評価委員会開催の必要性が少ないと思います。評価委員が重複していますと、両者に参加することができなくなります。重複していなければ、合同評価委員会を開催する必要はなく、異なった日に報告会と評価委員会を開くことができます。
会の雰囲気を知っていただくには大変宜しいと存じますが、…
他の班がどのような評価を受けているかが分からないか。懇談会というより上部レベルの評価を３年目に受けなければいけない責任者としては、どのような方向が望まれているのか、各班はどのように工夫しているのかを知りたいところである。
評価委員がある程度、納得する発表を班員がしないとこのような体制は長く続けられないと思う。委員にもScientificなメリットがあることが重要。
年度毎の評価が参考になっている。
評価の体制としては問題はない。
班員個人個人に対する評価を採点しても良いと考える。評価委員の選任として専門から離れすぎている面がある。
基礎的な研究課題には評価が高く、より臨床的なものであると評価が低い傾向がある。基礎系、社会医学系の評価委員については、工夫が必要と思う。
単に点数による評価でなく、厚生省が意図している研究方向性、妥当性、重点課題などに沿っているかどうかを第３者的に評価し、その結果がその後の研究に反映できれば、評価体制に意味があると思われます。
しばらく続けては如何でしょうか？
いろいろ指導してもらえ、ありがたい。
評価委員の先生が大変だとは思いますが、非常に役立っております。
超多忙そうな方が多いので、一日中の出席は気の毒な気がする。謝金も社会通念上安いと思われる。
評価が悪かったり、また、評価委員の中で評価が分かれたりした場合は、班長のプレゼンの機会があればと思っております。
評価委員の負担が大きいと思いますが、以前に比較し良くなったと思います。特に、班員の先生への効果が大きいと思います。
評価委員が病気そのものを知らない方が多く、大変困る。過去２５年間のこの班の実績を全く知らずに意見を言われても大変困る。
評価委員の選任基準が明確でない。
新体制が発足する以前の班会議に比べ、大変良くなったように思います。また、評価委の先生方や厚生省からの担当官が出て下さることも我々にとって大変意義深く、希望を直接お話出来る良い機会でした。特別研究員その他についてもあまり一率でなくflexibleに対応していただけたらと思います。
今の体制はこれまでなかったもので是非続けて欲しい。
現行評価体制についての意見：今回の臨床研究班は発足当初より、３年後の見直しと２割の班（分科会）を解消するという意思表示のもとに始まっており、班員は評価の適正さ、公正さに特段の関心を持っております。当分科会も、全体として研究方法や方向性に関して適切なアドバイスを下さり、班研究の進展に有意な役割をはたしていただいたと思いますが、平成９年度評価において、お一人の評価委員からD評価を受けました。研究報告会も極短時間しか出席されず、評価委員会も欠席された方であるため、正直なところ当惑と不当さを感じております。評価委員は単なる”評価役”ではなく、advisory committeeの役割を果たしていただけると有り難く存じます。
評価委員の在り方に関して：多くの評価委員が評価される班員と比べて、キャリア、年齢等にさほど違いが無い場合や、研究分野が同じ方の場合は、適正な評価を行う難しさがあろうと思います。特に、今回のように評価委員会の採点が班の存続に関係するような場合には評価制度の適正さは極めて重要な課題であり、以下の様な点も一案かと存じます。
1. 評価委員の選択：分野の違う方（今回も基礎系の評価委員の臨床班へのアドバイスは、我々の思い至らない本質をついたもので大変有益でした）、利害関係のない方（たとえ班長経験者であっても競合関係にある班の方を避けるなど）、世代が一定の差のある方など。
2. 個々の評価委員のコメントの羅列はときに矛盾があり、どれだけ重きを置くか困惑します。評価委員会の討議を経た統一した評価とコメントを頂けると幸いです。
3. 極端な評価の混入を避けるために例えば評価委員を５名として、最高点、最低点を除外した３名の平均点の採用など。
4. 評価委員に対する班員からの評価制度（忌避制度）の導入など。
評価基準の明確化について：班発足当時、「研究内容は臨床疫学的なものでなく、分子生物学的手法と用いた病因解明に重点をおくよう」支持され、個人的には若干の疑問を感じつつも、班構成その他についてそれに沿って組織しました。しかし、現在は、診断基準等の臨床的研究も一定の評価対象になっており、疫学的研究も臨床班にとって相当の負担になっております。このこと自体は厚生省の臨床班の本来の在り方からみて妥当なことと歓迎しておりますが、評価基準が研究期間の途中から変化してきた様な印象を受けていることも事実です。
1. 研究班発足時に、評価基準を口頭ではなく文章として明確に示していただくこと。
2. 評価委員もそれに従って評価されること。
3. 研究期間内には、その基準を変えないことなどが必要と思います。
外部から評価を受けることは必要であるので、続けるべきである。ただし、委員の選出は慎重にしていただきたい。
評点化する場合の基準が各人で違うと評点化はまずい。評点ももう少し細かくするのが良い。各項目別評点の総計と総合評価の評点が合わない様な気がする。
評価委員はいずれも忙しい方々で、研究発表会との日程調整が必ずしもスムーズではない。
張り付き評価でもよいが、評価委員の人数削減、２回の班会議のいずれにも出席できるようにする（交通費等の支給）ことなども検討して頂きたい。
厚生省研究班と文部省研究班は、その研究目標が異なるべきである。しかし、現在の評価システムにはこの点がないように思われる。今後はむしろ班構成自体を公募すべきで、厚生省の目指す研究成果の達成の可能性を厳しく評価して認可する方式が望まれる。これには１年前からの公募期間を要し、また認可した評価委員自体も連帯責任を負うシステムが望ましい。