演題査読の進め方|主催者・事務局のための実務ガイド

演題の募集を締め切ったあと、事務局が最初に直面するのが査読の段取りです。
査読者をどう選ぶのか。評価は何段階にするのか。締切までに返ってこなかったらどうするのか。前任者からの引き継ぎが薄いまま担当になった場合、この順序すら分からないまま目の前の作業に追われることになります。
なお、学会システムは、①演題・査読・参加登録・決済・配信などを扱う学術集会運営システムと、②会員名簿・会費・刊行物を扱う会員管理システムの2つに大別されます。この記事で扱う査読は①の領域です。
この記事では、演題査読を主催者・事務局の立場で進めるための実務を整理します。
査読の全体像(募集締切から通知まで)
先に全体の流れを押さえておくと、いま自分がどの工程にいるかが分かりやすくなります。
| 工程 | 主にやること | 事前に決めておくこと |
| ①募集締切 | 演題の受付を締め切る | 締切後の問い合わせへの対応方針 |
| ②査読者の割り当て | 分野を合わせて査読者に配分する | 一人あたりの上限件数/利益相反の確認方法 |
| ③査読 | 査読者が評価を入力する | 評価項目/査読期間/リマインドのタイミング |
| ④集計 | 評価を集計する | 同点時の判断基準 |
| ⑤採否決定 | 採択・不採択を決める | 最終決定者(委員会か大会長か) |
| ⑥通知 | 結果を応募者へ通知する | 通知文面/次の手続きの案内 |
以降では、この流れのうち、事前の設計・査読の進行・採否の通知で事務局が確認したいポイントを取り上げます。
なお、受付締切後に査読を始める場合は、受付期間とは別に査読期間を確保します。
演題査読とは何か(論文誌の査読との違い)
学会の演題査読は、投稿された演題(抄録)を大会のプログラムに採択するかどうかを判断するプロセスです。
同じ「査読」という言葉でも、学術誌に投稿された論文の査読とは目的が異なります。論文誌の査読が掲載の可否と原稿の改善を主眼に置くのに対し、演題査読は、大会の方針や募集要件に照らして採否や発表形式などを判断するものです。
なお、学会や分野によっては、学術誌ほど厳密な査読を行わず、倫理的配慮がなされているか、形式を満たしているかをプログラム委員が手分けして確認する形をとる場合もあります。
なお、学術誌の論文査読を依頼された方向けの解説は別記事にあります。査読コメントの書き方については査読の書き方を解説|論文の査読をチェックする際のポイントをご覧ください。
そもそも査読を実施するかどうか
すべての学会が査読を必要とするわけではありません。
査読を実施する場合でも、システムの査読機能を使わず、メールや表計算で査読者の選定と割り当てを行うことがあります。演題数や査読者数、運営体制によっては、査読機能を持たないシステムでも運営が回るケースがあります。まず「査読を実施するか」を決め、実施する場合に「システムの査読機能を使うか、メールや表計算で行うか」を別途決めます。
演題数や査読者数が増えるほど、査読者一人あたりの負担を均等に管理する必要が生じ、進捗管理も手作業では負荷が高くなります。一方、演題数が少ない小規模な研究会では、査読というより委員会内での協議に近い形で採否を決めることもあります。
規模による違いは、おおまかには次のように分かれます。全国規模の学会では査読が行われているものとして準備を進めることになります。一方、都道府県単位の地方会などでは、査読の仕組みそのものを持たない場合もあります。自分の学会がどちらに近いかで、この後の設計の重さが変わります。
学術集会にふさわしい演題かどうかを見る、という役割
査読は研究の質を点数で比べるためだけのものではありません。その演題が学術集会の場にふさわしいかを確認するという役割もあります。
実際、学術的な裏付けのない主張や、健康食品などの宣伝(「◯◯学会で発表されました」という実績づくり)を目的とした演題が応募に紛れ込むことがあります。こうした演題が採択されると、学会そのものの信頼に関わります。
評価項目を設計するときは、研究内容の優劣を測る観点に加えて、学術集会で扱う演題として適切かを見る観点を入れておきます。
査読を始める前に確認すること(査読者側の画面)
見落とされやすいのが、査読者が見る画面と、演題登録者が見る画面は別物であるという点です。
登録者が入力した情報が査読者側にどう表示されるかを確認しないまま査読を開始すると、本来は伏せるべき情報が査読者に見えていた、という事態が起こりえます。査読者に伏せる情報は学会の査読方針によって異なります。匿名査読を採用する場合、伏せるはずの所属先などが査読者側に表示されてしまう、いわゆる非匿名化のミスが起こることがあります。
これは査読の公平性に関わる部分です。査読を開始する前に、査読者側の画面を主催者自身の目で確認しておくことをおすすめします。
システムを利用している場合、管理画面上の設定と実際の査読者向け表示が一致しているかは、テスト用のアカウントで実際に見てみないと分かりません。
査読者の選び方と割り当て
分野を合わせる
演題の分野と査読者の専門分野をできるだけ一致させることが基本です。
1演題を何人で査読するか
1つの演題を何人で査読するかも、割り当ての前に決めておきます。
1人だけで判断すると、評価がその査読者の目線に左右されやすくなります。一方で、演題数と依頼できる査読者の総人数が同じであれば、1演題に割り当てる人数を増やすほど、査読者一人あたりの担当件数が増えます。依頼・催促の負担も踏まえ、演題数と依頼できる査読者の総人数から逆算して決めます。
担当件数の上限を決めておく
それに加えて、査読者一人あたりの担当件数が偏らないよう、事前に上限件数の目安を決めておく運用が見られます。特定の査読者に集中すると、その人の遅延がそのまま全体の遅延につながります。
利益相反を避ける
共同演者や関係の近い査読者に演題が割り当たらないよう、割り当ての前に応募者・共同演者のリストと査読者リストを突き合わせて確認する作業も欠かせません。所属学会の規程に基づき、割り当て前に確認する関係性と、その申告方法を定めておきます。
この確認を省くと、査読開始後に所属学会の規程で割り当てを避けるべきとされる関係(共同演者・同一研究室など)が後から判明し、割り当てをやり直すことになります。査読が進んだ段階でのやり直しは、査読者への再依頼と締切の再設定を伴うため、影響が大きくなります。
なお医学系の学会では、利益相反の管理について指針が示されています。日本医学会のCOI管理ガイドラインでは、研究発表にかかわる関係者の利益相反を組織として管理する考え方が整理されています。所属学会が該当する場合は、学会自身の規程とあわせて確認しておくとよいでしょう。
なお、本記事では、演題を分野・テーマごとに査読者へ配分するこの作業を「査読割り当て」と呼びます。システムの機能名としては別の呼称が使われることもあります。
評価項目の設計
評価項目は、次の4つを軸にする例があります。
- 新規性・独創性
- 研究の妥当性(方法・データの信頼性)
- 発表内容の明確さ・分かりやすさ
- 学会のテーマとの関連性
この4つとは別立てで、倫理面の確認を置きます。倫理審査を受けているか、個人が特定されうる情報が含まれていないかといった点は、研究の優劣を点数で比べる話とは性質が違い、点数の高さで相殺できるものではないためです。該当するかどうかだけを見るチェック項目として扱い、査読で見るのか別の委員会で見るのかも事前に決めておきます。
そのうえで、点数評価と自由記述の欄を組み合わせます。
点数評価に加えて自由記述コメントを必須にする運用もあります。コメントを必須にするか、応募者へどこまで開示するかは、各学会の方針に合わせて決めます。点数だけでは、あとから応募者への通知文言を作成する際や、点数が割れた演題を委員会で議論する際に材料が残りません。
評価項目の具体的な設計例は、演題査読の評価項目と評価基準|主催者向け採点表の設計例で紹介しています。
採否と演題修正のルールを事前に決める
査読プロセスに入る前に決めておかないと、後の工程で判断が滞る項目があります。
採否の判断基準
- 点数が同点だった場合の採否の判断基準
- 査読者の意見が大きく割れた場合の最終判断者(委員会か大会長か)
この2つを事前に決めておかないと、査読が終わったあとに判断が止まります。査読結果が出揃ってから「誰が決めるのか」を相談し始めると、プログラム編成のスケジュール全体が後ろにずれます。
あわせて、判定の区分も決めておきます。採択と不採択の2つにするのか、「修正を条件に採択」のような中間の区分を設けるのかで、査読後の作業量が変わります。中間の区分を設けると、修正の依頼と再確認の工程が増えるためです。論文誌の例では、「採録・条件付採録・不採録」の3区分を示す規程や、A〜Dの4段階(Cは修正のうえ再審査、Dは掲載不可)で判定する規程があります(出典は前節と同じ)。
演題の修正をどこまで認めるか
- 共同演者の変更・演者交代をどこまで認めるか
- 登録後の抄録内容の修正をいつまで認めるか
これらを明文化しておかないと、開催直前に個別対応へ追われることになります。
査読が期限までに返ってこないときの対処
査読が期限内に完了しない場合に備え、決めておきたい対応を整理します。
依頼の時点で仕込んでおく
査読依頼のメールを送る段階で、締切日だけでなく「締切を過ぎた場合にどうなるか」まで明記しておく方法があります。
リマインドのタイミングを機械的に決めておく
査読者ごとの進捗を定期的に確認します。一例として期限の1週間前と前日の2回リマインドを送るなど、フォローのタイミングをあらかじめ決めておくと、抜け漏れなく管理できます。担当者の判断に委ねると、忙しい時期にリマインド自体を忘れます。
予備の査読者を確保しておく
個別に催促しても反応がない場合に備えて、あらかじめ予備の査読者を確保しておくことが有効です。
スケジュールにバッファを入れておく
査読プロセス全体のスケジュールに、多少の遅延を見込んだバッファ期間を最初から組み込んでおくと、一部の査読者の遅れが全体に致命的な影響を与えずに済みます。
それでも返ってこない場合
何度督促しても返答がない場合は、あらかじめ定めた判断ルートに沿って査読者の交代を検討します。事務局に権限がない場合は、大会長や委員会へ相談します。
採否の決定と通知
不採択通知でこそ文面に配慮する
単に「不採択」と伝えるだけでなく、査読コメントを応募者へ開示する方針であれば、コメントを添えて次への参考になるようにする方法もあります。定型文であっても感謝の言葉を添えるなど、冷たい印象を与えない表現を意識します。
次の行動を明記する
採択・不採択にかかわらず、次に何をすべきかを明記することが重要です。参加登録の案内、発表形式の確定手続きなど、通知を読んだ人がそのまま次の行動に移れる状態にしておきます。
通知の直後は問い合わせが集中しやすいタイミングでもあります。通知文に次の手続きが書かれていないと、その分だけ個別の問い合わせ対応が増えることになります。
通知のタイミングを逆算する
採否通知は、プログラム編成と参加登録の両方に影響します。通知が遅れると、採択された演者が旅費や宿泊の手配を始められません。査読のスケジュールを組む段階で、通知日から逆算して査読の締切を置くと、後工程が詰まりにくくなります。
よくあるつまずき
重複投稿
同じ演題を誤って2回登録してしまう重複投稿は、実際に起こります。
査読開始前であれば割り当てのやり直しは避けやすいものの、正式な登録の確認やデータ整理は必要になります。査読開始後に発覚すると、査読者への割り当てをやり直す手間が発生します。どちらが正式な登録かを本人に確認する必要もあります。
締切直前のアクセス集中
締切直前はアクセスが集中してシステムが重くなり、「登録しようとしたが締切に間に合わなかった」という問い合わせが寄せられることがあります。
締切後に届く「もう少し待ってほしい」という連絡
事務局に寄せられる連絡で最も多いのが、締切を過ぎてからの「あと少しなので猶予をください」というお願いです。上のアクセス集中を理由にしたものも含め、締切後の連絡はここに集中します。
一件ずつ判断していると、対応した人と対応しなかった人が出て、後から説明がつかなくなります。個別に救済するのか、一律で締切厳守とするのかをあらかじめ委員会で決め、決めた内容を募集要項にも書いておくと、届いた連絡をその場で処理できます。
抄録の文字数をめぐる問い合わせ
抄録の文字数の数え方(全角・半角の扱い、改行やスペースを含めるか)についても問い合わせが起こりえます。応募者側がワープロソフトの文字数カウント機能で数えることが多いため、件数としては締切の猶予願いほど多くはありませんが、システム側のカウントがこちらの想定と異なる数え方をしていると、締切直前に集中します。
ルールを決めたら、募集要項として告知する前に、システム上で実際にテスト入力して検証しておくと、締切直前の混乱を避けられます。
査読の進捗管理をどう回すか
ここまで見てきたとおり、査読の工程は「誰に何を割り当てたか」「誰がまだ提出していないか」を常に把握できている状態が前提になります。
この進捗確認を手作業で行っていると、確認に時間を要します。査読の進捗状況が一覧で可視化できることで、督促もスムーズに行うことが可能です。
らくらくカンファレンスには演題登録機能があり、受付期間内であれば発表者が途中保存と修正を行えます。入力項目はカスタマイズでき、文字数制限の設定や、要旨のPDFアップロードとテキスト入稿の選択ができます。
査読機能もオプションで用意されているので、お問い合わせからお気軽に対応内容をご相談ください。
参考情報
- 演題の募集開始から採否通知までの流れ: 演題登録はどう進むのか|募集開始から採否通知までの実務(当サイト)
- 査読を依頼された側(査読者本人)向けの解説: 査読の書き方を解説|論文の査読をチェックする際のポイント
- 準備から開催後までの確認項目: 学会運営チェックリスト|準備から開催後まで抜け漏れを防ぐ確認項目(当サイト)
※分野や規模によって運用は異なります。実際の運用は所属学会の規程をご確認ください。
執筆者
平 由紀子
株式会社AGRI SMILE
らくらくカンファレンス カスタマーサポート・セールス担当 / Seeds-Hub コミュニティ運営
年間60件以上の学会運営に関するご相談に対応。学会DXの現場知識をもとに、研究者と企業をつなぐコミュニティ「Seeds-Hub」の運営にも携わる。