arXiv (NLP)AI
生成AIによるオープンソースソフトウェア投稿の事前審査——BOSC 2026での実践報告
AI-assisted pre-review of open-source software submissions: an experience report from BOSC 2026
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
学術会議の査読プロセスは、生成AIの登場によって新たな課題に直面している。投稿資料の作成が容易になったことで、多くの会議が投稿数の急増を経験しており、ボランティア査読者の負担が増加しているのだ。バイオインフォマティクス分野では特にこの傾向が顕著であり、Bioinformatics Open Source Conference(BOSC)は2026年度の開催に際して、生成AIが査読プロセスの効率化に寄与できるかを実験的に検証することにした。
BOSCは既に詳細な評価ルーブリックを保有していたため、このような実験に最適な環境にあった。ルーブリックは、コードやプロジェクト関連コンテンツの公開可能性、有効なオープンソースライセンスの有無、そして「実行可能性」(プロジェクトをダウンロード、ビルド、実行することの容易さ)を含む複数の基準に基づいて投稿物を評価するものだった。
2026年度の取り組みとして、BOSCチームは「bosc-pre-review」というエージェント型スキルを構築した。これは6つの審査基準を評価するもので、同時に「Runabilly」という補助ツールも開発された。Runabillyは使い捨てのDockerコンテナ内で各プロジェクトをビルドおよびテストし、安全性を確保している。重要な点として、AIが行うのはあくまで証拠の収集と提示に留まり、投稿物の採否に関するすべての決定は人間の査読者が下すという設計になっている。
審査期間終了後に査読者に対するアンケート調査が実施された。回答者の大多数が事前審査を有用だと評価したが、興味深いことに、AIの結論を無条件に受け入れるのではなく、自らの判断と照合して検証することを好む傾向が見られたという。この結果は、AIと人間の協働による審査モデルの構築において、人間の専門的判断が依然として不可欠であることを示唆している。