トピックス HOME

特定疾患調査研究事業における評価の進め方について


特定疾患対策懇談会

特定疾患調査研究事業に関する評価基準作成部会報告

平成10年10月12日


概要

 1 「特定疾患調査研究事業における評価の進め方について」の策定に至った経緯

 「国の研究開発全般に共通する評価の実施方法の在り方についての大綱的指針」(平成9年8月内閣総理大臣決定)及び「厚生科学研究に係る評価の実施方法に関する指針」(平成10年1月28日厚生省告示第6号)を受け、特定疾患調査研究事業における外部評価(評価組織)・基準を明確にするために特定疾患調査研究事業に関する評価基準作成部会において、4回の検討を重ね策定した。

 2 平成8年再編成計画に基づく評価体制の強化に対する現状認識と改善点

 平成8年の再編成計画に基づく評価方式は、各班(分科会)に複数の評価者を割り当て、その評価を特定疾患対策懇談会に報告するものである。この方式については、評価者、被評価者とも概ね良い評価であったので、今後もこの方式を基本的に継続する。ただし、班(分科会)長発表による直接評価を最終年に導入する他、評価者の過負担感の軽減のため、1人の評価者の担当する研究班(分科会)数は2班以下とする改善を行う。

 3 「特定疾患調査研究事業における評価の進め方について」の検討の目的

 評価にあたっては、その視点について評価者が共通の理解をする事が必要であり、特定疾患調査研究事業の使命や特性も文章として明らかにすべく論議し、考え方を整理した。

 4 「特定疾患調査研究事業における評価の進め方について」で明確にした事項

 以上をふまえ、「特定疾患調査研究事業における評価の進め方について」を作成し次の事項を明確にした。
  1. 特定疾患調査研究事業の背景及び各研究事業の使命
  2. 評価の基本的な考え方
  3. 評価体制(特に重点研究事業の評価体制)
  4. 評価のために使用する資料
  5. 3年間を通した年度別の評価の重点
  6. 評価の項目
  7. 評価結果の公表
  8. 評価票


目次

1.検討の背景及び経緯

2.評価の現状と課題
2.1評価体制の現状
2.1.1 再編成計画策定以前(平成7年度以前)
2.1.2 再編成計画策定以降(平成8、9年度)
2.1.3 平成10年度の評価体制の予定
2.2 課題とその検討事項
2.2.1 間接評価を中心とする評価の有効性・効率性
2.2.2 評価の重点の年次変化
2.2.3 評価者の視点の標準化
3.特定疾患調査研究事業の使命
3.1 研究事業の背景
3.2 研究事業の目的
3.3 研究の内容・各研究事業における必須事項
3.3.1 臨床調査研究事業
3.3.2 横断的基盤研究事業
3.3.3 重点研究事業
4.新たな評価方式の提言
4.1 総括的事項
4.1.1 目的
4.1.2 対象範囲
4.1.3 評価実施主体、研究者及び評価者の責務
4.1.3.1 評価実施主体
4.1.3.2 被評価者
4.1.3.3 評価者
4.1.4 評価の基本的考え方
4.2 具体的事項
4.2.1 特定疾患調査研究事業に係る評価体制について
4.2.1.1 臨床調査研究事業および横断的基盤研究事業に係る評価体制
4.2.1.2 重点研究事業に係る評価体制について
4.2.2 評価のための提出資料について
4.2.3 3年間を通した評価計画
4.2.4 評価の項目
4.2.5 評価結果の公表方法
5.本「評価の進め方」の見直しについて
6.附則
7.書式一覧
8.参考資料一覧

1.検討の背景及び経緯

 特定疾患調査研究事業(以下、調査研究事業という)においては、「特定疾患調査研究班再編成計画(特定疾患対策懇談会:特定疾患調査研究班再編成検討委員会報告、平成8年2月29日)(以下、再編成計画という)」を受けて、研究評価体制の強化を行ってきたところである。この報告を受けて、平成8年4月15日に特定疾患対策懇談会に特定疾患調査研究事業に関する評価基準作成部会(以下、評価基準作成部会という)を設置し、当時策定中であった国の研究評価の指針の策定に沿った形で、研究評価基準を策定することとした。その具体的な検討に着手したのは、「国の研究開発全般に共通する評価の実施方法の在り方についての大綱的指針(以下、大綱的指針という)」(内閣総理大臣決定)が策定された平成9年8月以降である。厚生省は、この大綱的指針を受けて、厚生科学審議会において厚生科学全体での評価の在り方を検討し、平成10年1月28日に、「厚生科学研究に係る評価の実施方法に関する指針」(以下、厚生科学評価指針という)を告示した。

 これらの指針の策定を受け、当評価基準作成部会は、特定疾患調査研究事業の特性にあった評価の方法検討してきた。これまでの検討結果を踏まえ、今般「特定疾患調査研究事業における評価の進め方について(以下、「評価の進め方」という)」として取りまとめた。

 なお、この「評価の進め方」は、調査研究事業の研究単位である3年間を1単位として、その評価の方法を定めるものである。

2.評価の現状と課題
2.1評価体制の現状

2.1.1 再編成計画策定以前(平成7年度以前)
 特定疾患対策懇談会に評価調整部会を設置し、調査研究事業の研究評価を行っていた。

2.1.2 再編成計画策定以降(平成8、9年度)
 特定疾患対策懇談会の下に、下記の評価委員会および評価小委員会を設置し、評価委員長が特定疾患対策懇談会に対し、評価結果を報告する間接評価を行った。(別紙1、2)

○ 臨床調査研究グループ  
→ 臓器別臨床調査研究評価委員会
------臨床調査研究分科会評価小委員会(臨床2名、基礎2名)
○ 横断的基盤研究グループ 
→ 基盤研究部門評価委員会
------基盤研究部門評価小委員会(臨床2名、基礎3名)
→ 特定疾患遺伝子解析部門評価委員会(臨床2名、基礎3名)
→ 社会医学研究部門評価委員会(臨床2名、基礎3名)

2.1.3平成10年度の評価体制の予定
 平成8、9年度と同様の評価組織の中で評価を実施する。平成9年の評価基準作成部会の検討により、班長による特定疾患対策懇談会における直接報告が追加された。

2.2 課題とその検討事項
 評価基準作成部会においては、以下の課題が提起され資料(参考資料1、2)を収集のうえ、検討が加えられ、問題解決のための方向性が出された。

2.2.1 間接評価を中心とする評価の有効性・効率性
 平成10年7月に評価者(評価(小)委員74名うち60名が回答。回答率81%)および被評価者(班(分科会)長44名うち40名が回答。回答率91%)双方からの意見聴取(アンケート)を行ったところ、現行方式を是認する意見が多かった。具体的には、

○ 現行の研究班に張り付いて、評価を行うことについて?
(班(分科会)長回答)
・賛成32名(80%)・どちらとも言えない7名(18%)・反対1名(3%)

班分科会長回答

(評価(小)委員回答)
・ 賛成43名(72%)・どちらとも言えない13名(22%)・反対4名(7%)

評価委員回答

 ただし、評価(小)委員の担当班数が増えることにより、評価者の過負担感が増すことが示された。

○ 評価(小)委員の業務は、過負担かどうか?(無回答5名)

担当班数過負担である過負担でない無回答
2班以下27
3班以上1015


評価委員過負担

検討結果:
 原則として現行方式を継続するが、評価委員の過負担感軽減のため、一評価委員あたりの担当班数を2班以下とする。


2.2.2 評価の重点の年次変化
 毎年、同様の評価基準で評価を行うべきか、3年といった研究周期の中で、初年度、中間年、最終年毎に重点を変えた評価を行うべきか検討した。

検討結果:
 各年度の評価方針に沿った形で評価を行う。また、評価方法もそれに伴い変更する。
 3年間を通した評価体制の流れを示す。

2.2.3 評価者の視点の標準化
 評価者によって、科学的発見重視から患者の生活の質(Quality of Life:QOL)重視まで様々な評価の力点があるが、何らかの共通的理解のもとで評価をすべきではないか検討した。

検討結果:
 評価者の役割や評価の視点を明確にする。

3.特定疾患調査研究事業の使命

3.1 研究事業の背景
特定疾患の特徴は、
  •  疾患の本態が不明であることのみならず、治療法が未確立であるにもかかわらず、希少性疾患であるがために、体系的研究が進みにくい。
  •  疾患の特性として、医学的、福祉的、行政的理解に基づいた患者ケアが求められる。
ところから、独自の研究事業として、昭和47年以降取り組まれてきたところである。

3.2 研究事業の目的
 難病対策における調査研究事業の目的は、特定疾患の克服と患者のQOLの向上のために、原因及び治療法が未確立の疾病に対する研究を推進することにより、疾病の発症機序の解明に基づく、新しい診断法、治療法と予防法を確立し、その成果を普及させることである。

3.3 研究の内容・各研究事業における必須事項

3.3.1 臨床調査研究事業
 臨床調査研究は、特定疾患の臨床に役立つ科学的根拠を集積することを目的とする。具体的には、
  1. 病因の解明、病態の把握、疫学的データの収集
  2. 診断基準の確立・見直し
  3. 治療指針の策定・見直し
  4. 新しい診断法、治療法及び予防法の開発
  5. 診断法、治療法の評価
  6. 上記研究成果の普及(研究班外での臨床医の育成)


3.3.2 横断的基盤研究事業
 横断的基盤研究は、特定疾患の臨床に役立つ基礎的な科学的根拠を集積することを目的とする。具体的には
  1. 基礎研究の専門家集団として臨床調査班との共同研究
  2. 臨床調査研究における科学的根拠の理論的基盤確立のための基礎研究

3.3.3 重点研究事業
 重点研究は、特定疾患患者の予後やQOLの改善を目指し、具体的な目標を設定し、画期的な成果を得ることを目的とする。具体的な課題の選定及び事前評価の基準については、別に定める「特定疾患治療研究・重点研究事業に係る企画及び事前評価指針」(以下、「重点研究企画・事前評価指針」という)により、決定する。

4.新たな評価方式の提言

4.1 総括的事項

4.1.1 目的
 本「評価の進め方」は、調査研究事業に対して、適正な評価を行うことにより、公費で研究を行うことの正当性をより明確にし、研究を良い方向に育成するとともに、評価過程等を適切に公表し、研究の実施に対し国民の理解と支持を得ることを目的として策定する。

4.1.2 対象範囲
 本「評価の進め方」は、調査研究事業に係る以下の評価を対象とする。

  • 臨床調査研究事業   (初年度・中間年度・最終年度評価)
  • 横断的基盤研究事業  (初年度・中間年度・最終年度評価)
  • 重点研究事業     (中間・事後評価)

 臨床調査研究事業および横断的基盤研究事業における初年度・中間年度評価は、大綱的指針における中間評価に当たり、最終年度評価は、同指針における事後評価と次期3年間の研究班に対する事前評価に相当する。
 重点研究事業の事前評価指針については、別に定める「重点研究企画・事前評価指針」により、決定する。

4.1.3 評価実施主体、研究者及び評価者の責務

4.1.3.1評価実施主体
 評価実施主体は、エイズ疾病対策課とする。エイズ疾病対策課は、特定疾患対策懇談会の意見を踏まえ、調査研究事業に適した評価を行うため、本「評価の進め方」を策定する。また、エイズ疾病対策課は、本「評価の進め方」に沿って、厳正な評価が実施できるために、調査研究事業のそれぞれの研究事業の性格に応じた実施要領等の具体的な仕組みを整備し、国民に対する積極的な情報提供を図り、本「評価の進め方」の目的が達せられるよう努力しなければならない。

4.1.3.2 被評価者
 被評価者(評価を受ける研究者)は、調査研究事業に係る研究者とする。各研究者は研究の評価が、本来、研究活動に不可分のものとして自主的に行うべきことを念頭に置き、評価の重要性を十分認識するとともに、外部評価の結果を十分に生かして、研究活動に積極的に取り組まなければならない。

4.1.3.3 評価者
 評価者は、特定疾患対策懇談会委員及び、別に示す特定疾患調査研究事業評価(小)委員会運営規定で定める各研究事業における評価(小)委員とする。各評価者は、調査研究事業に対する第三者として、厳正な評価を行うことを常に認識するとともに、優れている研究を伸ばし、より良いものになるよう、研究者を励まし、適切な助言を与えるということを忘れてはならない。また、自らの評価結果が、後の評価者によって評価されるとともに、最終的には国民によって評価されるものであることを十分に認識しなければならない。

4.1.4 評価の基本的考え方
 特定疾患調査研究事業の下記の特性を踏まえ、臨床応用との関連性から見た評価を行う。(別紙3)

  1. 難治性でかつ希少性の疾患に医学研究の光を当てるために行われている研究である。
  2. 疾病を指定し、幅広い診療科が協力して行う研究である。
  3. 臨床調査研究事業、横断的基盤研究事業、重点研究事業とその目的が異なる3事業がある。
  4. 班長指定、班研究体制の研究班である。(除く、重点研究事業)
  5. 3年を1単位とする研究体制だが、昭和47年に創設され、その後、特定疾患研究としての継続的な流れがある研究である。
  6. 特に関連の深い研究事業として、特定疾患治療研究事業(医療費公費補助制度)がある。

4.2 具体的事項

4.2.1 特定疾患調査研究事業に係る評価体制について
 特定疾患調査研究事業に係る評価体制は、特定疾患対策懇談会と各評価委員会および評価小委員会(4.2.1.1項及び4.2.1.2項参照)で構成する。それぞれの評価方法及び役割は以下の通りとする。

  • 特定疾患対策懇談会: 特定疾患対策懇談会は、評価のための提出資料(4.2.2項参照)及び、班(分科会)長の報告、評価(小)委員長の意見に基づいて、特定疾患調査研究事業全体の総合評価および各研究班(分科会)の評価の最終的な評価を行う。
  • 評価委員会: 評価委員会は、直接担当する研究班の研究報告会の内容や研究班より提出される資料に基づいて研究評価を行い、評価委員長はその結果を特定疾患対策懇談会に報告する。評価小委員会を持つ評価委員会は、各評価小委員長から提出された評価結果に対して、研究班内での評価結果の均衡をはかるため、評価結果の調整を行うことができる。また、評価小委員会を持つ評価委員会では、初年度・中間年度は、評価委員長が、最終年度は評価小委員長が、評価結果を特定疾患対策懇談会に報告する。
  • 評価小委員会: 評価小委員会は、直接担当する研究分科会の研究報告会の内容や研究分科会より提出される資料に基づいて研究評価を行い、評価小委員長はその結果を評価委員会に報告する。

4.2.1.1 臨床調査研究事業および横断的基盤研究事業に係る評価体制
 臨床調査研究事業及び横断的基盤研究事業に係る評価体制については、平成8年の再編成計画に基づき、評価(小)委員会による評価体制の強化が図られた。この評価体制は、大綱的指針および厚生科学評価指針でも求められている外部評価に該当する。今回行った検討の過程でも、この基本的な骨子は変更しない。ただし、その評価者の過負担感を軽減するため、1人の評価委員が担当する研究班(分科会)数は2班(分科会)以下(除く重点研究事業の評価委員)とする。また、評価委員会をより活性化するため、所要の措置を講じる。

4.2.1.2 重点研究事業に係る評価体制について
 重点研究事業の事前評価は、別に定める「重点研究企画・事前評価指針」に基づいた事前評価委員会を研究課題に応じて設置する。重点研究事業の中間・事後評価委員会については、以下の手順で設置する。

  1. 評価実施主体であるエイズ疾病対策課は、重点研究公募課題に最も関連性を持つ調査研究班(分科会)を特定疾患対策懇談会に諮り指定する。
  2. 重点研究事業の中間・事後評価委員会は、以下の6(7)名の委員により構成する。
    1. 指定された調査研究班(分科会)の評価を担当する評価(小)委員会(臨床系2名、基礎系2(3)名)
    2. 指定された調査研究班(分科会)の構成員(班長、班員、研究協力者)で、かつ、評価対象の重点研究事業の構成員でない研究者の中から、評価(小)委員長より指名された研究者(臨床系2名)
       ただし、前記条件を満たす者がいない場合は、当該調査研究班(分科会)の構成員以外から、評価(小)委員長は、臨床系評価委員2名を指名する事が出来る。
  3. 重点研究事業の中間・事後評価委員長は、(2)ア.で規定する評価(小)委員会の(小)委員長が兼務する。
  4. 指定された調査研究班(分科会)および、その評価(小)委員会の構成員が変更になった場合は、重点研究事業の中間・事後評価委員会も連動して変更になるものとする。
  5. 重点研究事業の主任研究者は、指定された調査研究班(分科会)長と調整の上、当該調査研究班(分科会)の報告会において、その研究成果を発表し、上記評価委員の評価を受けるものとする。
  6. 他の重点研究事業の中間・事後評価過程は、この「評価の進め方」に基づき行う。

4.2.2 評価のための提出資料について
 平成8年の再編成計画以降、評価のために提出された資料は、平成8年度が評価(小)委員長の評価票、平成9年度は、同じく評価(小)委員長の評価票に加え「特筆すべき研究成果」を使用した。
 今回、進め方(案)を作成するに当たり、評価のための提出資料についても検討を行い、以下のものを評価のための資料として、使用することとした。

  1. 評価(小)委員長の評価票 (作成者:評価(小)委員長、毎年提出)
     評価(小)委員長が評価(小)委員会の意見をまとめて集計した評価票。
  2. 総括研究報告概要 (作成者:班(分科会)長、毎年提出)
     研究班(研究課題)名、班長(主任研究者)氏名、当該年度における研究目標、その概要及び成果、次年度に残された課題と目標、発表論文
    (注):総括研究報告概要の文中に引用された、研究班で発表した論文を表出順に、記入のこと。記載はバンクーバー・スタイルとする)
  3. 総合研究報告概要 (作成者:班(分科会)長、最終年度のみ提出)
     研究班(研究課題)名、班長(主任研究者)氏名、当該研究期間における主な研究の概要及び成果、残された課題、発表論文
    (注):総括研究報告概要の文中に引用された、研究班で発表した論文を表出順に、記入のこと。記載はバンクーバー・スタイルとする)
  4. 次期研究班計画 (作成者:班(分科会)長、最終年度のみ提出)
     推薦する次期班長名(自薦、他薦)、次期研究班におけるプロジェクト研究目標、予想される成果(他薦の場合は、次期班長と推薦された者の当該研究班計画に対する事前了承を必要とする。)
  5. 特筆すべき研究成果 (作成者:班(分科会)長、毎年任意提出)

4.2.3 3年間を通した評価計画
 特定疾患調査研究事業は、3年を1単位として研究を進めている。そのため、その評価も3年間同じ視点で行わずに、研究初年度、中間年度、最終年度のそれぞれの評価の時期、趣旨および方法を定める必要がある。この要望に応じるため評価の重点の年次変化を下記の様に定める

初年度中間年度最終年度
新評価体制時期3月上〜中旬3月上〜中旬2月上旬
趣旨班員の構成・調査研究に関する方向性等について評価研究計画の進捗状況等に関する評価研究班の継続、班長の継続、次期研究班計画等に関する評価
評価方法書類審査、及び評価委員長報告による間接評価書類審査、及び評価委員長報告による間接評価書類審査、評価小委員長報告及び班長報告による直接評価

4.2.4 評価の項目
 これまでの評価項目は以下の統一した項目であった。
  1. 研究設定は?
  2. 研究成果は?
  3. 当該研究分野の研究の進め方は?
  4. 研究の対象疾患について
    • 診断基準案、治療方針案などに関する成果は?
    • 研究分野での基礎的な知見に関する成果は?
    • 研究の対象疾患は?
  5. 今後の研究の方向及び関連分野における研究の方向などについての班長(班)の考え方は?
  6. 総合評価

 今回の検討によって、前項ですでに述べたように、評価の重点の年次変化に合わせ、評価項目もその趣旨に合わせ、下記の様に定める。
 また、評価は原則として以下の5段階評価(適否については3段階)とする。ただし、研究班および班長の継続性、次期班体制に関する評価は、適否の2段階とする。

    5:極めて優れている*
    4:優れている。もしくは、適当である。
    3:普通。もしくは、一部適当でない。
    2:劣っている。
    1:極めて劣っている*。もしくは、不適当である。

    *:特に評価者が客観的にも主観的にも優れているもしくは劣っていると評価した場合。

4.2.5 評価結果の公表方法
評価結果の公表については、当面、以下の通りとする。
  1. 被評価者に対する公開:各班(分科会)長に対して、自分の研究班(分科会)の評価票のコピーを情報提供する。(ただし評価者の氏名は公開しない。)
  2. 国民に対する公開:各班(分科会)の「特筆すべき研究成果」と、特に評価の高かった研究班(分科会)名と班(分科会)長氏名を公表する。上記情報については、インターネット上でも公開する。
  3. その他:エイズ疾病対策課は、研究成果を研究報告書として、国会図書館及び全国医科大学等図書館で公開すること、研究報告書の概要をインターネット上で公開すること、及び研究報告書のCD-ROM化などにより、関連学会等で評価(小)委員以外の研究者による評価・検討等を受けられる機会を提供する。

5.本「評価の進め方」の見直しについて
 特定疾患対策懇談会は、「評価の進め方」について必要に応じて再検討を行い、本「評価の進め方」をより適切なものにすべく見直しを行うものとする。

6.附則

 この「評価の進め方」は、平成11年度の特定疾患調査研究事業の評価から正式に適用する。平成10年度の特定疾患調査研究事業の評価は、この「評価の進め方」における最終年度の評価に準じた評価を行う事とする。

7.書式一覧

  1. 研究評価体制の概要図(1、2年目)(別紙1)
  2. 研究評価体制の概要図(3年目)(別紙2)
  3. 特定疾患調査研究事業の目指すべき方向(別紙3)
  4. 特定疾患調査研究事業の各年度における評価対象項目(別紙4)
  5. 臨床調査研究事業に対する評価票(初年度)
  6. 臨床調査研究事業に対する評価票(中間年度)
  7. 臨床調査研究事業に対する評価票(最終年度)
  8. 横断的基盤研究事業に対する評価票(初年度)
  9. 横断的基盤研究事業に対する評価票(中間年度)
  10. 横断的基盤研究事業に対する評価票(最終年度)
  11. 重点研究事業に対する評価票(中間評価)
  12. 重点研究事業に対する評価票(事後評価)
  13. 特定疾患調査研究事業に関する評価基準作成部会等における検討の経緯
  14. 特定疾患調査研究事業に関する評価基準作成部会委員名簿

8.参考資料一覧

  1. 評価体制に関するアンケート調査結果(班・分科会長分)
  2. 評価体制に関するアンケート調査結果(評価(小)委員分)
  3. 特定疾患調査研究事業評価(小)委員会運営規定

トピックス HOME