LA-Bench 2025 活動報告：実験手順生成AIコンペティションを開催して学んだこと

はじめに

2025年3月にLA-Benchの構想が始まり、9月13日に公式サイトをオープン、12月20日に採点を終了しました。LA-Bench 2025は、実験手順生成AIのコンペティションです。

タスクは、実験指示・使用物品・元プロトコルの手順・期待される最終状態・参考文献を入力として、人間やロボットが実行可能な詳細な実験手順を生成するというものです。

本記事では、なぜこのコンペを始めたのか、実際にやってみてどうだったのか、そして何を学んだのかをまとめます。

なぜLA-Benchを始めたのか

原体験：科学研究の効率化への関心

私は農学部から工学部へ転学部した経験があります。2018年、北野宏明氏による「Nobel Turing Challenge」の講演を聞いたことが、科学研究の自動化というテーマに取り組むきっかけになりました。以来、「科学研究の効率化・自動化」は私のライフワークです。

気づき①：ベンチマークがない

2025年3月21日のLA勉強会で、ロボティクス研究者の松嶋達也さんと話す機会がありました。松嶋さんはロボット研究で扱うタスクとして料理と実験に注目しているとのこと。料理はイメージがつくが、実験はイメージがついていない様子でした。取り組むとっかかりに悩んでいるようでした。

また、同じ勉強会で松嶋さんは「MLの人間はタスクが定義されたら喜んで集まる」と言っていました。

この言葉にハッとしました。

AI業界には有名なベンチマークがたくさんあります。

これらがあることで、ドメイン知識がなくても、まず実装に集中できる。何かしらの結果を出せて楽しい。精度を高める過程でドメインにディープダイブしていく。

LA業界には、これに相当するものがなかった。

興味はあっても、最初の一歩が踏み出せない。これがLA業界への参入障壁になっていると気づきました。

気づき②：問題を解く側から作る側へ

当時、私はLASA AI分科会の「GenSurv」というプロジェクトで、レビュー論文の自動生成に取り組んでいました。しかし、Sakana AIの「The AI Scientist」という上位互換が現れました。

LA勉強会の翌日、2025年3月22日のGenSurv定例会議で、メンバーの尾崎さんからこんな発言がありました。

「レビューは解かれてしまったのであればレビューにこだわらなくてもいい。実験プロトコルの生成、抽出など。」

この会議で、サーベイ自動化に限定せずLAデータセット全般を作っていこうという方向性が合意されました。先行研究を調べると、「Laboratory automation dataset」「Laboratory automation shared task」で検索しても既存のものは見当たりませんでした。

また、前日のLA勉強会では神田さんから「Laboratory Automationのデータセット作りましょう」という提案もありました。

自分でAIを作り込むより、ドメイン側の人間として評価の仕組みを整えること に注力すべきではないか。

この考えから、LA-Benchを立ち上げることにしました。ただ、3月時点ではコンペをやりたいと思いつつも、どう進めればいいのか悩んでいる最中でした。

LA-Bench 2025の概要

タスク定義

実験指示や元プロトコルなどの情報を入力として、人間やロボットが実行可能な詳細な実験手順を生成するタスクです。

詳細は公式サイトをご覧ください。

参加状況

当初、15〜30チーム程度の参加を見込んでいました。結果は予想を大幅に上回りました。

登録チーム数：57チーム
Dev Phase提出：34チーム （総提出数：約500件、平均15回/チーム）
Test Phase提出：21チーム

初開催のコンペにこれだけ多くの方に参加いただけたことは、LA業界へのAI応用に対する関心の高さを示していると感じました。

受賞チーム

LA-Bench 2025の賞金内訳と受賞チーム

※専門家評価の優秀賞は同点のため両チームに授与

工夫したこと

参加ハードルを下げる

コンペの成功には参加者数が重要です。特に初開催では、できるだけ多くの人に試してもらいたい。そのために以下の工夫をしました。

1. Google Colabノートブックの提供

環境構築は参加者の大きなハードルになります。Colabで開くだけで動くノートブックを用意しました。

2. プロンプト編集から試せる設計

ベースラインコードを提供し、プロンプトを編集するだけで提出できるようにしました。プログラミング知識がなくても参加可能です。

3. 公式ページの拡充

MkDocsとGitHub Pagesで公式サイトを構築しました。実はコーディングはすべてClaude Codeに任せましたが、十分実用に足るクオリティでした。静的サイトで短期間しか利用しないページ（コンペや学会など）であれば、この構成で十分だと思います。

露出を頑張る

良いコンペを作っても、知られなければ参加者は集まりません。

人工知能学会シンポジウムへの採択 ：人工知能学会側でもアナウンスをしてくれたことで、研究者コミュニティへのリーチが広がりました。
SNS・各種コミュニティでの投稿 ：X（Twitter）、Slack、Discordなど様々な場所で告知しました。
知人への拡散依頼 ：地道ですが効果的でした。
noteでの背景記事：なぜこのコンペをやるのか、想いを綴った記事を公開しました。

参加者の声

アンケート結果をまとめます（回答数10件）。

満足度：平均4/5

良かった点：

「チュートリアルがしっかりしており、始める難易度が低かった」
「取り組みやすいnotebookを用意いただき、純粋にタスクに集中しやすかった」
「今まで体験したことのないタイプのコンペで、とても楽しかった」
「アナウンスがマメで安心感があった」
「仕様やデータセット、提出システムが明確だった」

改善要望：

データ数が少ない
LLMのAPIコストが高い（オープンソースLLM限定の検討要望）
評価ルールの明確化
CLIからの提出希望

次回参加意向：ほぼ全員「参加したい」or「必ず参加したい」

次回希望タスク（人気順）：

マルチモーダル（画像・動画を含む）実験理解
ロボットへの実験指示生成
実験結果の解釈・分析
実験の異常検知・トラブルシューティング

学んだこと

学び①：外部に晒し、フィードバックを受ける

以前からの迷い

「しっかりしたものをやらねば」という意識から、「いつか…」と動けずにいました。

転機：森下さんからの助言

2025年4月17日、機械翻訳のShared Task運営経験を持つNTTの森下さんに話を聞く機会がありました。

森下さんからは「必ずしも完璧なデータがなくても良い。ノイジーなデータをどう扱うかも腕の見せ所」「データが少なかったり、汚かったりしても、それはそれでコンペとしてテクニックを切磋琢磨するポイントになる」というアドバイスをいただきました。

この言葉に勇気づけられました。

実際どうだったか

データ数が少ないという指摘はあった
しかしコンペとして成立し、スコアに差は出た
少数データで実施したから、大量のリソースを投下する前に改善点に気づけた

私の原則

これは起業時の原体験にも通じます。当初、プロダクトを磨くことに集中してプログラムを書いていました。しかし顧客に見せたら感触は悪く、早く見せていれば時間を有効に使えたという強い反省があります。

自身の考えを外部に晒して、フィードバックを受ける必要がある。
自分の脳内でこねくり回すだけで社会に価値を提供できるものは生まれない。
社会とコミュニケーションし、磨き上げていくもの。

今回も、完璧なデータセットを作ってからコンペを開催するのではなく、まずやってみて改善点を見つける。データ量の拡充はその後で良い。この考え方が正しかったと実感しています。

学び②：役割分担と信頼

LA-Bench 2025は以下の体制で運営しました。

オーガナイザー: 山田（全体統括・最終責任）
    │
    ├── データセット作成班
    │     リーダー: 酒井さん
    │     メンバー: 尾崎さん、杉山さん、西田さん
    │
    └── システム開発・論文
          リーダー: 加藤さん

重い仕事（データセット作成、採点システム構築）は各リーダーにまるっと任せました。私は細々とした雑務（HP、参加者対応、スポンサー対応、人工知能学会への連絡）を担当しました。

データ作成班の班長を担当してくれた酒井さんには感謝してもしきれません。また、データ作成班のメンバーである尾崎さん、杉山さん、西田さんにも感謝しています。採点システムの構築と運用、論文執筆を担当する加藤さんにも深く感謝しています。機械学習研究者の視点で、我々に欠ける知見を提供してくれました。データ作成が押す中、最終的にバッファーとして働き、多大な尽力により最終評価を期日通りに終わらせてくれました。

信頼できるメンバーと、そのメンバーの中からサブリーダーを選出することの重要性 を学びました。

学び③：タスク設計の反省

課題：文章生成タスクは評価が難しい

採点者が1問当たり2名と限られ、人に依存する部分が大きかった。主観的な判断を排除しきれませんでした。

次回は、客観的に評価できるタスク設計を目指します。

LA-Bench 2026への展望

タスク設計の改善

現在:  入力 → AI → 実験手順 → 人間/LLMが評価

次回:  入力 → AI → 実験手順 → ロボットが実験 → 結果で評価
                                （収量、時間、コストなど）

最終的にロボット実験に繋げるところまでをタスクとし、実際に実験を行わせた結果で評価できれば、採点結果を客観的なものにできます。

LASAの代表である神田元紀先生（東京科学大学難治疾患研究所ロボット科学分野教授）が自身の研究室の利用を申し出てくださっています。

また、AIロボット駆動科学イニシアティブでもベンチマーク分科会が立ち上がり、私はそちらにも所属しているのでうまく連携していきたいと考えています。

運営の改善

LA-Bench 2026に向けた運営改善案

今後いろんなベンチマークを作る必要があると思っています。ベンチマークを作るハードル自体を下げるような仕組み、フレームワークを作りたい。LA-Bench 2026ではマルチトラック化を目指し、各トラックオーガナイザーが効率的に運営できるよう、公開サイトや提出サイトのテンプレートを用意するなど支援したいと考えています。

おわりに

LA-Bench 2025を開催し、57チームにご登録いただきました。

一番の学びは、まず外部に晒し、フィードバックを受ける ことの重要性です。完璧を待たず、行動から学ぶ。今回もそれを実践できたと思います。

LA-Bench 2026に向けて改善を続けます。

呼びかけ

LA-Bench 2026の運営に興味がある方

トラックオーガナイザーを募集予定
データ作成、採点、システム開発など

参加を検討されている方

2026年も開催予定
詳細は追って発表

お問い合わせ
X: @roy29fuku

感謝

参加者の皆様
57チームにご登録いただき、ありがとうございました。

運営メンバー
酒井さん、加藤さん、尾崎さん、杉山さん、西田さん

ご支援

LASA（活動資金・リソース提供）
人工知能学会（コンペティション開催支援制度）

スポンサー （アルファベット順）

株式会社ディープコア
合同会社embrio
エピストラ株式会社
HERO Impact Capital
株式会社Inner Resource
株式会社システム計画研究所
株式会社リンカーズOI研究所
Polaris.AI株式会社
プライマルキャピタル