LA-Bench: ラボラトリーオートメーションのためのベンチマークデータセット

#LA-Bench#ラボラトリーオートメーション#ベンチマーク#AI

2025年10月1日：人工知能学会 全国大会の日程を修正
2025年11月14日：Private Test Dataset公開・スケジュール変更

参加受付を開始しました！
データセットの更新や今後の案内をお送りしますのでご登録ください。
・参加登録フォーム

またスポンサーの募集も開始しました。
・スポンサー募集のご案内**
・スポンサー申し込みフォーム
**
その他お問い合せはこちらから
・お問い合わせフォーム

Laboratory Automation Benchmark (LA-Bench) を公開しました。合わせて、本ベンチマークを用いたコンペティションを開催します。本コンペティションは「人工知能学会コンペティション開催支援制度」の支援を受けており、優秀者は人工知能学会本会にて表彰と賞金の授与を行います。
ライフサイエンスやマテリアルサイエンスの現場で研究をされている方、AI技術をサイエンスに応用したい方、奮ってご参加ください！

サンプルコードをGoogle Colabで用意しています。LLMやプログラミングできない方でもドメイン知識を活用して挑戦できます！運営一同工夫して多くの方が取り組めるようにしているので是非お試しください！

自己紹介

初めまして、Science Aid株式会社 代表取締役 CEOの山田です。私は大学入学時には農学部獣医学専修に進学しアレルギーに関する研究をしていました。その後工学部に転学部し、自然言語処理に取り組み始めました。一貫して科学研究の効率化・自動化に関心があり、自身のライフワークとしています。

2018年創業当初はライフサイエンス論文内の実験条件や実験結果の抽出・構造化・identifyに取り組んでおり、論文の本文、公共データベース、オントロジーなどを取り扱っていました。

基盤モデルの普及以降は、本文以外のfigureやtable、実験動物や被験者の音声・動画解析などより広い領域にも挑戦しています。最近は科学研究を行うAIエージェント、AIサイエンティストに関する取り組みにも注力しています。

科学研究の自動化という切り口でラボラトリーオートメーションにも関心があり、一般社団法人ラボラトリーオートメーション協会（LASA）の運営にも携わっています。LASAではAI分科会のオーガナイザーを務めています。

背景

LA-Benchの紹介の前に、科学研究の自動化に関してどのような背景があるか、世の中の流れと私個人の取り組みから得た知見を述べます。

科学研究の自動化は古くからの夢

科学研究の自動化への挑戦は古くから取り組まれていますが、私自身が初めてその概念に触れたのはソニーコンピュータサイエンス研究所の北野宏明氏が提唱する「Nobel Turing Challenge」でした。端的に言えば「AIにノーベル賞を取らせよう」という挑戦であり、同氏はディープラーニングへの期待が高まっていた2016年からこの概念を提唱し、継続的に国際ワークショップを開催しています（私は2018年に起業の前後に北野さんの講演に参加し、大きく影響を受けた記憶があります）。

LLMの登場で機械学習研究の自動化が実現しつつある

その後、TransformerやBERTが登場し、大規模言語モデル（LLM）を始めとする基盤モデルへの期待が加速度的に高まり、2022年11月30日のChatGPTの登場から全世界的に生成AIがブームとなりました。今では自然言語処理⁨やAIの分野外の方にもLLMや生成AIという用語が普及しました。

基盤モデルの進化は科学研究の自動化という挑戦にも大きな影響を与えました。特に象徴的だったのは2024年8月にAIスタートアップのSakana AIが発表したThe AI Scientistでしょう。これは機械学習領域で自律的に科学的発見を遂行するフレームワークです。

The AI Scientistのワークフロー

The AI Scientistのワークフロー

その後、2025年3月にはThe AI Scientist v2が生成した論文が、機械学習の国際トップカンファレンスICLRのワークショップに採択されたことを発表しました。機械学習においてはAIエージェントが高い水準で研究を遂行できるようになったと言えるでしょう。

実験科学の自動化の実現には課題が残っている

一方で、ライフサイエンスやマテリアルサイエンスなど実験科学の研究者とディスカッションすると、同様のことが自分たちの分野で実現できるか懐疑的に見ている方が大勢でした。

The AI Scientist以降、ライフサイエンス領域でも研究にAIエージェントを利用するという研究はいくつも出てきています。

  • 2025年2月 AI co-scientist (Google)

  • 2025年5月 Robin (FutureHouse)

  • 2025年5月 Biomni (Stanford University)

  • 2025年6月 OriGene (Lingang Lab)

しかしいずれも、エージェントが遂行するのは実験前（文献調査や仮説の構築など）と実験後（データ解析や仮説の更新、執筆など）であり、肝心の実験は人間が行うこととなっています。

実験はシステムから切り離されている

実験はシステムから切り離されている

ライフサイエンス領域でのAIエージェント関連の論文は概ね以下のような内容です。

  • AIエージェントに文献、データベース、ソフトウェアなどを扱えるようツールを実装した

  • 既存ベンチマーク（GPQA: Google-proof Q&A、LAB-Bench、HLE: Humanity’s Last ExamなどQAタスクが多い）で先行研究やLLM単体を上回るスコアを達成した

  • より実際の研究に近いベンチマークを独自に作成し、同様に先行研究やLLM単体を上回るスコアを達成した

  • 実際にエージェントが計画した実験計画に従って専門家が実験をしたところ、有望な結果が得られるものもあった

全ての論文で最後の実際にうまくいった事例については、いくつかの例が紹介されているにとどまり、定量的な評価は行われていません 。

これがコンピュータ内で完結する機械学習領域と物理空間での実験が必要な実験科学の大きな違いです。実験科学では現状、AIエージェントが立てた仮説を人間が検証するために時間がかかります。このギャップを埋めるには実験の自動化、すなわちラボラトリーオートメーションをAIエージェントと高度に融合する必要があります。

気づき：ラボラトリーオートメーションのベンチマークデータセットがないのでは？

ところが、いざラボラトリーオートメーションとAIエージェントを融合しようとした時に気づくことがあります。ラボラトリーオートメーション領域に、ベンチマークデータセットと呼ばれるものがないということに 。

振り返ってみると、私が2020年にLaboratory Automation勉強会（LA勉強会）に参加して以来、ラボラトリーオートメーションに取り組んでいる人のほとんど（というか覚えている限り全て）は自らの課題を解決するために自動化に取り組んでいました 。すなわち、独自のタスク設計に独自のデータセットを構築し、独自の評価指標を採用し、先人もいなければ後続もいない領域で孤軍奮闘 しているのが当たり前でした（もちろん私も例外なくその一人でした）。

長らくそのような状況に疑問を持っていませんでしたが、2025年3月のLA勉強会にて東京大学松尾研特任助教であり現在は一般社団法人AIロボット協会（AIRoA）でCTOを務められている松嶋達也氏と懇親会で話したのをきっかけに意識が変わりました。

松嶋さんはAIとロボットを専門とされており、ドメインとして料理と実験に注目しているとおっしゃっていました。これは料理や研究が比較的規格化されているからとのことでした。しかし実験自動化に取り組むにあたって、どんな実験をモデルケースにすれば良いかわからず、とりあえず学生実験を取り上げようと考えている様子でした。

これに対してLASAの神田さんが、学生実験で扱うようなのは現場では使わないとコメントしました。私はその様子を見ていて、AIやロボット研究者は実験自動化に興味を持っても、まずお試しでできることがないことに気づきました。機械学習であれば初学者が通る、MNISTやCIFAR、Irisに相当するものがないのです 。

問題を解く側から問題を作る側へ

時を前後しますが、LASA AI分科会では2024年2月頃からAIエージェントを利用したレビュー論文の自動生成に取り組んでいました。

しかし2024年8月にThe AI Scientist (Sakana AI) という上位互換が現れ、2025年2月のChatGPT deep research (OpenAI) を皮切りに各社からサーベイ業務全般を遂行できる機能がリリースされます。

だんだん、我々がレビュー論文自動生成に取り組む意義があるのか、という疑問が生じました。「これで良くね？」と。

一方でこれらの有用なサービスに対して気になるところもあります。
「機械学習研究の自動化が達成できたということだが、ライフサイエンスではどれくらいのことができるのか？」
「包括的なサーベイをできるということだが、文献調査における網羅性はどの程度なのか？」
しかし、これらの疑問に答えてくれる人はいません。

基盤モデルが発達し、高性能なAIエージェントが登場したとしても、自分たちが関心のある領域でどの程度のことができるかは自分たちで確かめるしかありません。これは生成AI時代以前のディープラーニング時代から変わらないことです。

ドメイン側の人間として取り組むべきは評価の仕組みを整えるべきではないか、という認識がメンバー間で芽生え始め、レビュー論文自動生成のプロジェクトはクローズし、今回のベンチマークプロジェクトを立ち上げました。

ようやく本題に入ります

LA-Bench 2025: 実験手順生成AIコンペティション

LA-Benchが目指すもの

ラボラトリーオートメーションを実現するためには多岐に渡るタスクを達成する必要があります。LA-Benchではこれらのタスクに対して、再利用可能なベンチマークデータセットおよび評価指標、評価システムを構築します。

これにより以下の2つの達成を目指しています。

  1. 基盤モデルやまだ見ぬ技術をラボラトリーオートメーション実現の観点で多角的に評価し続けること

  2. ラボラトリーオートメーションに参入する研究者に対してファーストステップを提供すること

コンペ概要

第一回のコンペティションであるLA-Bench 2025では、実験手順の生成をテーマにします。

先述の通り、実験科学の自動化においては、仮説検証のために現実世界での物理的な実験が必要です。すなわち、計算機に加えて実験装置を指示通りに操作しなければいけません。

実験装置の動作プログラムを実験ごとに作成するには、実験の目的のような方向性の実験指示だけでなく、安全性やコスト、作業効率、実験精度を高める工夫を踏まえた詳細な実験手順が必要です。今のままでは、専門家が手間
をかけて詳細な手順を作成しなければならないため、研究自律化が達成できません。このギャップを埋めることが、本コンペティションの目的です。

参加者は与えられた「実験指示」、「使用する物品」、「元プロトコルの手順」、「期待される最終状態」、「参考文献」をもとに、「実験手順」を生成します。

本コンペティションは「人工知能学会コンペティション開催支援制度」の支援を受けており総額50万円の賞金を用意しています 。

賞金内訳

賞金内訳

本日Example Datasetとベースラインのコードを公開しました。OpenAI API Keyさえあれば、Google Colabで簡単に試すことができるので、興味がある方はぜひ公式ウェブサイトをご覧ください。

スケジュール

今後のスケジュールは以下の通りです。2025年10月10日のPublic Test Dataset公開以後、提出を受け付け、リーダーボードを公開します。

スケジュール表

スケジュール表

お問い合わせ

本コンペティションに関するお問い合わせは以下のフォームからお願いいたします。

https://docs.google.com/forms/d/e/1FAIpQLSdoJSoDHxWxy7bF7I-rWvs5sTQxtdzGjmAskJm1OzGd-qzkPw/viewform

最後に

本コンペティションの開催にはLASAを始めとした有志の方にご協力いただいています。ベースラインコードの開発や機械学習研究者の視点からアドバイスをいただいている加藤さん、ライフサイエンス・マテリアルサイエンス研究者の立場からデータセット構築に取り組んでくださっている酒井さん、杉山さん、尾崎さん、西田さん、堀之内さん、いつもありがとうございます。引き続きよろしくお願いします。また、機械翻訳のShared Taskを開催したご経験からアドバイスをいただいた森下さん、背中を押していただきありがとうございました。

人工知能学会には「コンペティション開催支援制度」に採択いただき、賞金の援助をしていただきます。本コンペがAI研究者とラボラトリーオートメーションの連携を強め両領域の人材交流を活発化することを目指し尽力いたします。

開発に必要なAPI費用やクラウド費用、その他費用はLASAに補助をしてもらっています。ありがとうございます。今後もいっぱい頼ります。

注釈

  • 見出し画像はGemini 2.5 Flash Image (Nano Banana) で生成しました