演題査読の評価項目と評価基準｜主催者向け採点表の設計例

査読者を決めたら、次に決めるのが「何をどう評価してもらうか」です。

評価項目を決めないまま査読を依頼すると、査読者ごとに採点の基準がばらつきます。結果として、採択・不採択の判断根拠を対外的に説明しにくくなる場合があります。

この記事では、演題査読の評価項目と採点表をどう設計するかを整理します。

なお、学会で使われるシステムは、学術集会運営システム（演題・査読・参加登録・決済・配信など）と、会員管理システム（会員名簿・会費・刊行物）に大別されます。本記事が扱う演題査読は前者の領域です。

そもそも査読の評価項目が必要か

演題数が少ない場合は、点数による査読よりも、委員会内の協議に近い形で採否を決めることがあります。

件数が少ない分、個別の演題に時間をかけて丁寧に見られるのが小規模ならではの特徴です。

一方、演題数が増えると、査読者ごとの担当件数や採点基準を管理する必要性が高まります。この規模では、評価項目をあらかじめ決めておかないと採点がばらつきます。

評価項目の4つの軸

評価項目は、次の4つを軸にする例があります。

• 新規性・独創性
• 研究の妥当性（方法・データの信頼性）
• 発表内容の明確さ・分かりやすさ
• 学会のテーマとの関連性

この4つは、研究内容、抄録での伝達、大会との適合性という複数の側面から演題を見る構成です。新規性・独創性と研究の妥当性は研究内容、発表内容の明確さは抄録での伝達、学会テーマとの関連性は大会との適合性を見る観点です。

それぞれの軸で何を見るか

新規性・独創性は、その研究がこれまでに報告されていない知見を含んでいるかを見る観点です。既存研究の追試や事例報告をどう扱うかは、学会の性格によって判断が分かれるところでもあります。

研究の妥当性は、結論を導くための方法やデータが適切かを見ます。症例数が十分か、比較の設計に無理がないか、といった観点が入ります。

発表内容の明確さは、抄録を読んで何をしたのかが伝わるかどうかです。研究の内容が良くても、限られた文字数で伝わらなければ聴衆に届きません。

学会のテーマとの関連性は、その大会で扱う意味があるかを見る観点です。研究として優れていても、大会のテーマから外れていれば別の学会の方が適切な場合もあります。

分野や学会の規模によって必要な観点は異なります。上記はあくまで設計の出発点として捉えてください。

「有用性」を独立した軸にする学会もある

4つの軸のほかに、研究の有用性を独立した軸として置く学会もあります。論文誌の例では、新規性・有用性・正確さ・構成と読みやすさ・学会との関連の5項目で評価する形を公開している学会があります。有用性を、学術上・工学上・実用上の価値があるかという観点で説明している査読要領もあります。

応用分野や実務家の参加が多い学会では、有用性を独立させると採点の意図が伝わりやすくなる場合があります。軸を加える場合も、次の「項目を増やしすぎない」とのバランスで決めます。

点数とは別に、倫理面の確認を置く

4つの軸は、いずれも研究の中身を点数で比べるためのものです。これとは別に、その演題が倫理的に問題ないかどうかの確認を独立した手順として置くことを検討します。

倫理審査を受けているか、個人が特定されうる情報が含まれていないか、といった点は、点数の高低で足し引きできる性質のものではありません。得点が高くても採択できない場合があるため、点数の合計とは切り離して、該当するかどうかだけを見るチェック項目として扱う設計になります。

学会によっては、倫理に関する確認を査読とは別の委員会が担当することもあります。どちらで見るかを事前に決めておくと、査読終了後に判断が止まりません。

項目を増やしすぎない

観点を細かく分けるほど精緻な評価ができそうに見えますが、査読者一人あたりの負担が増えるという副作用があります。

査読者一人あたりの担当演題数が多い場合は、限られた時間で多数の演題を見ることになります。評価項目をシンプルにして、査読者が短時間で評価できるようにする工夫が必要になる場面もあります。項目数を増やすほど評価の精度が高まるとは限らないため、必要な観点と査読者の負担のバランスを検討します。

点数とコメント欄を組み合わせる設計例

評価項目を決めたら、点数評価と自由記述のコメント欄を組み合わせます。コメント欄を必須とする運用もあります。必須にするか任意にするか、著者へどこまで共有するかは、学会の規程に応じて決めます。

コメント欄を設ける理由は、点数だけでは残らない情報があるためです。

点数だけでは判断の背景が残りにくく、著者への通知文言を作る際や、意見が割れた演題を議論する際に、材料が不足することがあります。具体的には次のような場面です。

• 著者への通知文言を作るとき — 不採択の理由を説明できない
• 点数が割れた演題を委員会で議論するとき — 判断材料が残っていない

コメントを任意にすると、点数だけが入力されがちです。必須にしておくと、後工程で使える情報が残ります。

採点の段階数と、ばらつきを抑える工夫

段階数を決める

点数の段階数そのものに決まりはありません。段階数と各点数の定義は、所属学会の規程や運用に合わせて設計します。

段階が偶数か奇数かでも運用は変わります。奇数段階では中間点を設けられ、偶数段階では明示的な中間点を設けない設計になります。中間評価を許容するかどうかに応じて選びます。

各点数の意味を言葉で示す

段階を決めるだけでなく、各点数が何を意味するのかを言葉で添えておくと、査読者間の採点のばらつきを抑えやすくなる場合があります。

たとえば「5点」とだけ書かれているより、「5＝この分野に新しい知見を加えている」のように基準が示されていた方が、査読者は判断しやすくなります。

本記事では、設計時の参考例として紹介します。

評価シートの構成例

査読者に渡す評価シートは、次の要素を並べる構成が考えられます。

これは整理の一案であり、学会ごとに必要な欄は異なります。なお、当サイトではこの様式を配布物として提供してはいません。

事前に決めておかないと、査読後に判断が止まること

評価項目の設計と合わせて、採点結果の扱い方も先に決めておく必要があります。

• 点数が同点だった場合の採否の判断基準
• 査読者の意見が大きく割れた場合の最終判断者（委員会か大会長か）

この2つを決めずに査読を始めると、査読が終わったあとに判断が止まります。結果が出揃ってから「誰が決めるのか」を相談し始めると、プログラム編成のスケジュールにも遅れが及ぶ可能性があります。

評価項目の設計でつまずきやすいところ

項目の言葉が曖昧

「良い演題かどうか」といった漠然とした項目だけで判断を求めると、査読者の主観に採点が偏りやすくなります。何を見て判断するのかを、項目の言葉として具体化しておく必要があります。

査読者間で目線を合わせる機会がない

評価項目を配っただけで、査読者同士が基準をすり合わせる機会を設けないままだと、同じ点数でも意味するところが人によって変わります。

全員を集めて事前に打ち合わせるのが難しい場合でも、公開済みの演題や、著者情報・未公開内容を除いた匿名化例、架空例を用いて基準を共有します。

前年と同じ項目をそのまま使ってしまう

前年の評価項目を引き継ぐこと自体は効率的ですが、大会のテーマが変われば「テーマとの関連性」の意味も変わります。引き継ぐ場合でも、その年の大会に合っているかを一度確認しておくと、査読者からの問い合わせの予防につながる可能性があります。

査読者に見えている情報を確認していない

評価項目とは別の話になりますが、学術集会運営システムの査読機能を使う場合は、査読者向けの画面に表示される情報を確認します。匿名査読を採用する場合は、著者名や所属など著者を特定できる情報が査読者画面に表示されていないか確認します。利益相反の情報の表示範囲も、学会の規程に合わせて確認してください。査読の公平性に関わるため、査読を開始する前に査読者側の画面を主催者自身が確認しておきます。

評価項目を査読者へ届ける（査読割り当てとセットで考える）

評価項目を設計したら、それを査読者へ届け、誰がどの演題を担当するかを管理する工程に入ります。

本記事では、演題を分野・テーマごとに査読者へ配分するこの作業を「査読割り当て」と呼びます。

割り当てにあたっては、分野を合わせることに加えて、査読者一人あたりの担当件数が偏らないよう上限の目安を決めておく運用が見られます。共著者や関係の近い査読者への割り当てを避けるため、著者リストと査読者リストを照合する方法もあります。

評価シートを渡すときは、評価の返送期限もあわせて伝えます。論文誌では原則4週間以内とする規程もありますが、演題査読は採否の通知日とプログラム編成の日程から逆算して期限を決めます。演題の募集開始から採否通知までの流れは演題登録はどう進むのか｜募集開始から採否通知までの実務で整理しています。

査読者の選び方や割り当て、期限までに返ってこないときの対処まで含めた段取り全体は、演題査読の進め方｜主催者・事務局のための実務ガイドにまとめています。

らくらくカンファレンスには演題登録機能があり、受付期間内であれば発表者が途中保存と修正を行えます。演題登録後の査読運用については、お問い合わせから対応範囲をご相談ください。

参考情報

• 査読を依頼された側（査読者本人）向けの解説: 査読の書き方を解説｜論文の査読をチェックする際のポイント
• 準備から開催後までの確認項目: 学会運営チェックリスト｜準備から開催後まで抜け漏れを防ぐ確認項目（当サイト）

※分野や規模によって運用は異なります。実際の運用は所属学会の規程をご確認ください。