戻る

NIH・ＣＤＣにおける研究評価
Peer Review Systemを中心に


国立保健医療科学院
公衆衛生政策部長
曽根　智史

National Institutes of Health

National Institutes of Healthの図


NIHの概要　（1）

１．27のInstitute/Center

２．2つのfunding機能
　・Intramural（内部の研究者へ）：予算の10％
　・Extramural（大学、病院、研究所へ）：同78％
（残りの12％は運営経費）

３．年間予算（2002年）29億ドル（約3兆5000億円）
　5年前から倍増。今後も増額傾向。


NIHの概要　（2）

４．2種類のfunding
　・Grants：ある程度の自由裁量（一般に5年間）
　・Contracts：内容・成果に厳しいチェック

５．グラントには様々な種類があり、ポスドク支援（個人・大学）、small business支援、各institute独自のプログラムなどが含まれる。基本的に臨床研究支援が主体。

６．グラントには、research moneyの他にindirect costが含まれる。


Peer Reviewとは

１．専門家による申請書の審査を指す。

２．NIHでは、3/4がCSR（Center for Scientific Review）で、残りが各Instituteで行われる。

３．NIHでは、分野ごとにreviewerが一堂に会して行われるのが特徴である。


2段階のグラント審査

2段階のグラント審査の図



PHS Research Grant
　Application Kit (form PHS 398)

PHS Research Grant Application Kit (form PHS 398)の図 Mail Completed Forms To:

CENTER FOR SCIENTIFIC REVIEW
NATIONAL INSTITUTES OF HEALTH
ROCKLEDGE II ROOM 1040 MSC-7710
BETHESDA MD 20892-7710


Also available at
http://grants.nih.gov/grants/oer.htm


リサーチ・グラントの審査プロセス概要

リサーチ・グラントの審査プロセス概要の図


申請から交付決定までのスケジュール

　1年間に重複して3サイクル:
　　各サイクルで17,000〜18,000件の申請書（年間約54,000件）

申請から交付決定までのスケジュールの図


Center for Scientific Review（ＣＳＲ）

●グラント申請書の受付

●申請書をCSRの審査委員会（Review Group）あるいは各Instituteの審査委員会に振り分ける。

●各申請書について助成Instituteを決める。

●CSR内の100以上の審査委員会で大半のグラント申請書の一次審査（科学的メリット）を行う。


CSR Review Divisions

CSR Review Divisionsの図
*Acting


申請書の審査委員会への割り振り

●Scientific review groups:
−CSRの各審査委員会ごとに審査分野のガイドラインがある

●Institutes:
−Instituteごとの使命に基づく
−特別な助成プログラムの場合はその目的や制約に従う
−Instituteの重点領域を考慮する


NIH eRA Objective（電子申請処理システム）:
Full Electronic Grants Administration

NIH eRA Objective（電子申請処理システム）の図


Initial Review in CSR
（一次審査）

科学的メリットの審査


Peer Review in CSR

　●CSR の審査委員会は、Scientific Review Administrator(SRA)が運営している。SRAはPh.D.レベルの専門家で、当該審査委員会で扱う分野に関する深い専門知識を有している。

　●CSRの常設審査委員会は15-25人の外部研究者からなる。（任期4年、25％を毎年入れ替え、少なくとも25％は女性またはminorityから）

　●1回の審査委員会で60-100の申請書を審査する。


Peer Reviewerの選考基準

　　●Demonstrated Scientific Expertise（専門性）
　　●Doctoral Degree or Equivalent（博士号相当）
　　●Mature Judgment （判断力）
　　●Work Effectively in a Group Context（協調性）
　　●Breadth of Perspective（見識）
　　●Impartiality（公平性）
　　●Interest in Serving（奉仕の精神）
　　●Adequate Representation of Women and Minority Scientists（女性・マイノリティの参加）


Reviewerの負担と報酬

負担
　１．事前割り当ての申請書1件につき2日間。（readingのみなら1日間。）
report　6件、reading　3件ならば計15日間
　２．1回の審査委員会は2日間。移動日を入れて4日間。
　３．上記が年3回で、合計約2ヶ月間。
報酬
　１．旅費（エコノミー）、宿泊費
　２．審査委員会出席1日200ドルの日当


Reviewerの養成

　　１．特別な養成研修は行っていない。
→既にグラント獲得経験のある優れた研究者
　　２．peer reviewに関するオリエンテーション用文書を渡す。個別に説明をする。
　　３．最初は単発で依頼
→能力・適性をみながら正式メンバーにする。
　　４．年上のreviewerとペアにすることもある。
　　５．review process自体が、reviewerにとっても重要な教育機会である。


Certification of No Conflict of Interest
（申請者と利害関係のないことの証明）

This will certify that in the review of applications and proposals by (study section) on (date), I did not participate in the evaluation of any grant or fellowship applications from (1) any organization, institution or university system in which a financial interest exists to myself, spouse, parent,child, or collaborating investigators; (2) any organization in which I serve as officer, director, trustee, employee or collaborating investigator; or (3) any organization which I am negotiating or have any arrangements concerning prospective employment or other such associations.

SIGNATURES


Confidentiality（守秘の厳守）

●誰がどの申請書を審査したのか、外部者、申請者にはわからない。ただし、審査委員会全体の名簿は公表。

●reviewer自身も当該申請書の他のreviewerが誰なのか当日までわからない。

●審査会合以外では申請書についての会話厳禁。配布文書は全て回収または破棄

●申請書に関する質問、意見は全てSRAのみに伝える。


Study Section Meeting
（審査委員会）

SRAが、1申請書につき3人の事前審査者を割り当てる
　　2人・・・詳細に読んでreportを書き、rating(採点)
　　1人・・・読んでrating(採点)
　（4人目として特定分野の専門家を臨時に充てる場合もある）


Review of Research Grants
（リサーチグラントの審査）

REVIEW CRITERIA:
　●Significance（重要性）
　●Approach（方法）
　●Innovation（革新性）
　●Investigators（研究者）
　●Environment（研究環境）


　Overall Evaluation & Score Reflects Impact on Field


Review Criteria (continued)

　●Significance: Does this study address an important problem? If the aims of the application are achieved, how will scientific knowledge or clinical practice be advanced? What will be the effect of these studies on the concepts, methods, technologies, treatments, services, or preventative interventions that drive this field?
　●Approach: Are the conceptual or clinical framework, design, methods, and analyses adequately developed, well integrated, well reasoned, and appropriate to the aims of the project? Does the applicant acknowledge potential problem areas and consider alternative tactics?
　●Innovation: Is the project original and innovative? For example: Does the project challenge existing paradigms or clinical practice; address an innovative hypothesis or critical barrier to progress in the field? Does the project develop or employ novel concepts, approaches, methodologies, tools, or technologies for this area?


Review Criteria (continued)

　●Investigators: Are the investigators appropriately trained and well suited to carry out this work? Is the work proposed appropriate to the experience level of the principal investigator and other researchers? Does the investigative team bring complementary and integrated expertise to the project (if applicable)?
　●Environment: Does the scientific environment in which the work will be done contribute to the probability of success? Do the proposed studies benefit from unique features of the scientific environment, or subject populations, or employ useful collaborative arrangements? Is there evidence of institutional support?


Review of Research Grants
（リサーチグラントの審査）

１．各項目について、1（best）→5（worst）の5段階で採点。（×100として表示）
２．最初に3人の事前審査者（primary reviewer）が採点を発表する。
３．異議のない限り、悪い点数（2.5または3以上）の時は、それ以上審査しない。→Unscored
４．良いものについて、1申請書あたり20〜25分間討議。
５．全員で採点し、平均点がその申請書の得点（priority score）になる。→Scored
６．また、上から何％目になるか（パーセンタイル値）も算出する。
７．情報が足りない等の理由で差し戻しとなることもある。→Deferral


Review Meetingの事後措置

　●priority scores と percentile rankingsの算出

　●summary statements（審査結果報告書）の取りまとめ、送付


Summary Statement（審査結果報告書）

Once applications are reviewed, the results are documented by the SRA in a summary statement and forwarded to the Institute (and the PI) where a funding decision is made:
　summary statement の内容:

　・評価要約とディスカッションのまとめ
　・原則として未修正の批評
　・Priority Score と Percentile Ranking
　・予算に対する勧告
　・SRAによるまとめ


Research Involving Human Subjects
（人体組織の使用）

Important Considerations
●Is the proposed study exempt from human subject review?
●Are there any apparent risks* to the human subjects?
●Are the protections adequate?
●What are the potential benefits to the subjects and to mankind?
●Are the inclusions of minorities and both genders adequately addressed?


Animal Welfare（動物愛護）

Important Considerations
●Will the anticipated results be for the good of society?
●Will the work be planned and performed by qualified scientists?
●Will the animals be treated so as to avoid any unnecessary discomfort, pain, anxiety, or poor health?
●Species chosen
●Animals in short supply


Hazardous Conditions（有害環境）

Important Considerations
●Are the necessary special facilities available to protect the environment and research personnel from potentially hazardous conditions?
●Will biohazardous materials be handled appropriately?
●Have employees been trained adequately in safe practices?


Research Involving Children
（研究対象に子どもを含めること）

Children must be considered for inclusion in all human subject research supported by NIH

　●Effective for all new applications received after October 1, 1998
　●Child is defined as an individual under age 21
　●If children are included, Investigator must address
　●age range
　●expertise of investigative team
　●facilities
　●sufficient numbers


National Advisory Council or Board Review（二次審査）

　●一次審査への同意
　●一次審査の修正
　●再審査の決定


グラントの最終決定

　１．各Institute/CenterのCouncilでの審査を経て、Institute Directorに上げられる。（Institute Directorが最終決定者。）
　２．予算枠の85％までは、パーセンタイル順で決定。
　３．残りの15％はprogram directorらの意見を参考に決定。
　４．Pay lineは上位25％程度。


NIHのグラント審査システムの特徴

　１．Review Process　（審査プロセス）
Decision Making　（意思決定）
Program Support　（研究支援）の分離。
　２．公平性,透明性を担保するシステムを構築。
特に、利害関係の排除、守秘の厳守には細心の注意　→　国民や議会に対する説明責任
　３．Administration（管理部門）に各分野の（研究経験のある）専門家を充てている。


米国CDCにおける評価システム


　評価に関する基本的考え方

●Acquisition - contracts（契約型）
●Assistance - grants（グラント型）
●Objective review（主として契約型に対して）
●研究費申請の出されている分野やテーマにおける有識者によって、その申請内容について徹底的に、なおかつ首尾一貫した方法で審査すること。
●科学的、技術的、・・・などの側面から評価し、研究費申請者に助言（advice）すること。
●Peer review（主としてグラント型に対して）
●研究費申請者と同等の知識や技術を持っている評価者（通常は研究者または研究経験者）による評価


　評価の体制

●PGO（ Procurement and Grants Office ）の構成：11の Branch/Team
●各ブランチ／チームは、それぞれ数名から数十名のスタッフからなり、全体としてCDC内の各CIOと密接に連携を保ち、研究費が適切に管理されるように様々な業務を行っている。
●研究費公募のための広報、申請の受付、評価委員の選択、評価会議の開催、採択結果の公表、研究費の配分などである。
●各業務にそれぞれ専門のスタッフが関わっている。


　Office of Program Service

●Information Resources Management Office
●Management Analysis and Service Office
●Procurement and Grants Office（PGO）
　●Information Technology Service Team
　●Administrative Service Team
　●Small Business Manager
　●Policy Service Team
　●Cost Advisory Service Team
　●Acquisition and Assistance Branch A
　●Acquisition and Assistance Branch B
　●International and Territories Acquisition and Assistance Branch
　●Facilities and Construction Management Branch
　●Materiel Management Branch
　●Acquisition and Assistance Field Branch


　評価の要素

　　●守秘義務（Confidentiality）
　　●利害関係（Conflict of Interest）
　　●評価者の出席（Attendance）
　　●評価
●簡易審査（Streamline Review）
●本審査（Full Review）
　　●結果報告書（Summary Statements）


　守秘義務および利害関係

　●守秘義務（ Confidentiality ）
●No discussion outside the panel room
●No discussion with colleagues upon their return to office
●No discussion with grant applicants after meeting
●Proposals must not be kept by reviewers
　●利害関係（ Conflict of Interest ）
●DFOs （ Designated Federal Officials ） will ensure that each member sign the COI form before review begins
●DFOs will answer questions about potential COIs that arise during meeting
●DFOs will ask reviewers with COIs to recuse themselves


　評価会議

　●プレ・ミーティング（Pre-meeting）
　●全体会議（Plenary session）
●評価プロセスの説明
●各委員会へ移行
　●各委員会（Panel session）
●評価プロセスの詳細説明
●Designated Federal Official （DFO）がChairおよび進行を補助する


　評価基準と配点の例

　●研究のニーズ　0〜10
　●データ入手の可能性　0〜20
　●研究目的　0〜15
　●研究方法　0〜30
　●計画の管理とスタッフ　0〜15
　●自己評価に関する計画性　0〜10


　　結果

　●CDCが配分している研究費は主に契約型とグラント型の2種類に分けられ、金額及び件数の両面で前者が多くの割合を占めている。
　●評価基準については、契約型とグラント型とでは重点の置き方が大きく異なる。
　●研究費交付可否を決定する際、申請された研究テーマのニーズ、研究計画の妥当性など、複数の観点から厳密な評価が行われている。CDCでは評価者の人選にあたって5000人以上の評価委員候補者のデータベースを効率的に利用している。


　全体の結論

　●助成の意思決定プロセスの透明性の向上
　●ピアレビューの公平性の確保（特に利害関係の排除と審査員の多様性）
　●グラント型助成（探索的研究）と契約型助成（行政支援的研究）の区別の明確化
　●研究者の育成を促すシステムの拡充（審査結果報告書、研究のわかるアドミニストレーター）


【資料】

米国における研究評価に関する研究
−研究者・審査員側の意見−


国立保健医療科学院
公衆衛生政策部長
曽根　智史
sonetom@niph.go.jp


研究目的

平成14年度に、米国NIHのグラント審査システムの訪問調査を実施した。
平成15年度は、わが国における今後の研究費助成・評価のあり方を検討することを目的として、米国の研究者及びグラント審査者に対して、面接調査を実施した。


研究方法

・米国イリノイ大学シカゴ校公衆衛生大学院及びシカゴ大学医学部の医学・公衆衛生学研究者を対象に、意見を聴取した。調査対象者は、研究協力者の協力を得て、両機関から選択した。
・合計11名に面接した。全員がNIHグラントの経験者で、ほぼ全員が審査員（Reviewer）の経験があった。


質問項目

(1)米国NIHのグラント審査システムの長所と短所は何か。
(2)短所がある場合、どのような改善が必要か。
(3)研究の事後評価の指標として、発表論文数の他に何が考えられるか。特に研究が社会に与えるインパクトをどのように評価するか。


(1)米国NIHのグラント審査システムの長所と短所は何か。

ほぼ全員から、現在のNIHのグラント審査システムについて、全体としては優れているとの評価を得た。特に、利害関係（Conflict of Interests）の排除の仕組みに対する評価は高かった。


長所（実際の意見）

・審査委員会は20〜30名からなり、様々な研究グループの人間から成り立っている。しかも、申請者と利害関係にある審査員は審査から外れなければならない。
・年配の研究者だけではなく、しがらみの少ない若い研究者も入るので、有名大学によるグラントの独占やボス支配は起こりにくい。
・民間の施設に勤める実務者が入ることもあり、学術的な価値よりも社会的な価値から意見を言うので、これまで光が当たらなかった分野でグラントが認められることがある。


短所（1）審査員の質のばらつき

・適切な審査員が見つからないという問題点がある。ある分野に最も精通している研究者は、しばしば審査員になりたがらない。その結果、審査委員会のメンバーの質にばらつきが出る。


短所（2）審査委員会独自のカルチャー

・声の大きい2，3人の審査員に全体の意見が引きずられてしまうことがある。
・審査委員会ごとに明確な審査基準がないために、審査員によって採点にばらつきがでてしまうこともある。RFA（特定の課題に対する募集）の場合は、どのような審査基準かが明記してある。ただ、全体からするとRFAの割合は小さい。


短所（3）革新的・ハイリスクな研究への理解不足

・審査がたいへん保守的で、革新的だがリスクの高い研究申請に高い点数が付かないことがある。新しいアイディアの研究ほど前例となる研究やデータがないものである。


短所（4）審査プロセスの煩雑さ

・大きなグラント審査の場合、審査委員会によってはSite Visit（実地検分）を行う。これに費やす労力は審査員、申請者双方にとって膨大なものである。この準備にかける労力だけで実際の研究が一つできてしまう。
・社会科学に対しては、審査委員会に理解のある人が少なく、研究計画に様々な注文をつけてくることが多い。そのため、修正して再申請を繰り返していると、承認まで無意味に時間がかかってしまう。


短所（5）審査員の負担の大きさ

・全ての申請書が、等しく同じ関心を持って審査されていない場合がある。これは、審査員の労働負荷が大きいことによる。1年に3回ワシントンに行くが、事前に担当する10申請書を読み、コメントを書くのに2週間かかる。これは、大学の仕事外の負担となる。
・大学は職員に対して、より多くのグラントをとるようにプレッシャーをかけるので、申請数は毎年増加している。これは、申請者、審査者双方にとって、ストレスを増大させる事態を招いている。他の国では、もっとうまくやっているのではないかという気もする。


短所（6）全体の助成方針の決定

・ある分野に研究資金が集中することがある。今は、Bio-terrorismでしばらく前はHIV/AIDSだった。人々は、その嵐が過ぎ去ると、なぜこの分野にこんなにお金を使うのかと言うものだ。
・今後この方向の研究を進めていったらいいという決定には、科学者の適切な意見が反映されるようになっている。ただ。そのように決定された優先順位が、必ずしも科学者全体の見方を反映していないことがある。


まとめ（審査について）

１．高水準の公正さ（Fairness）が担保されているとの認識は共有されている。
２．その上で、審査員の質のばらつき、審査プロセスの煩雑さ、審査員の高負担が指摘されている。
３．助成方針について、科学者の意見と政治的意図・世論との葛藤が存在する。

トップへ
戻る