次のバス停に歩いて行くな
バス停で待っている時、次のバス停まで歩いてしまうことはないだろうか。
私はよくある。
そして次のバス停で後ろから来たバスに乗り、なんとなく満足する。
目的地に着く時間は変わらないのに。
下手に歩き始めてしまったために、バスに追い越されることも、しばしばある。
大人しく待っていれば良かった、と少し思う。
人生を振り返ってもそんなことがある。
せかせかと作っていたものが、大きな技術の流れによって無意味になったことがある。
生成AI時代、そんな経験をする人はますます増えるだろう。
私は今年35になる。恐れ多くも、自分より若い世代にアドバイスを求められることが増えた。
そんな時、私はよく「次のバス停に歩いて行くな」と伝えている。
ビッグテックや巨大資本が手をつけそうなところは、バス停で待っていればいい。
あなたがやろうとしていることは、あなたが解決する前にGPT-6なり7が解決しますよ、と。
これは善意から言っている。
自分自身の20代を振り返って、ここは待ってれば良かったな、わざわざ自分で頑張っても意味がないことだったな、と苦労が実らなかったことを思い出し、若者がより有意義に限られたリソースを使えれば、という老婆心だ。
本記事では、私自身の「次のバス停に歩いて行ってしまった」経験と、そこから得た教訓を共有したい。
起業の痛い記憶
最近ではファインチューニングなんて単語を聞くことが減った。
OpenAIらモデルプロバイダーによる基盤モデルの継続的なアップデートが、多少の努力を塗りつぶしてしまうからだ。
自前のデータでモデルをファインチューニングする、費用と時間をかけたにもかかわらず、数ヶ月すると新しいモデルが出てくる。
新しいモデルを試してみるとファインチューニングしたものより精度が高い…。
そんなやるせない思いをした人が増えたのだろうか、勉強会やSNSでファインチューニングが盛り上がっていることを見かけない。
私自身、この件に関しては他人事ではない。
2017年10月ごろ、ライフサイエンス論文の解析に関する構想を当時壁打ちに付き合ってくれたVCと立ち上げた。
端的に言えば、任意の実験条件に対する結果を予測するAIを作るためだった。
そのために大量の実験条件と結果のペアが必要だと考え、論文のMethodsとResultsから構造化データを作ろうと考えたのだ。
「自然言語処理（NLP: Natural Languege Processing）」この分野を指す言葉を知ることからスタートした 。
当時、私がそれに取り組むべきだと考えた理由は2点。
-
オープンアクセスの潮流があった 。ちょうど、1年間に出版される論文のうち、オープンアクセス論文が半数を超えるか否かそんな頃だった。調べれば調べるほど、これからますます論文はオープンになるという言説を目にした。
-
ディープラーニングが盛り上がっていた 。画像識別能力で人間を超えたとか、人間っぽい文章を書けるようになったとか、AIが人間の能力を超え始めているというワクワクがあった。MicrosoftがAzureのクレジットを振る舞っていたり、学生が個人レベルでも自前でモデルを構築して実験することができた。加えて起業していれば、緩い審査でAWSやGCPから数百万円相当のクレジットをもらうことができ、湯水のようにGPUを使うことができた。
私がやったことは大まかに以下の通り。
-
PubMed Centralからオープンアクセス論文を取得
-
医学部などの学生を雇用しアノテーションチームを組成、数千本の論文をアノテーション
-
そのデータを元に、実験条件抽出モデルを開発
学生レポート （2018年6月）
当時の記録はそれほど残っていない。しかし、2018年6月に書いた学生レポートが残っていた。
CHEMDNERというシェアドタスクにチャレンジした記録だ。
工学部の松尾研の実習で作成したレポートの切り抜き残念ながら元ファイルは見つからず
CHEMDNERはBioCreativeというシェアドタスクの第4回（2013年）に取り上げられたもので、開催時のベストスコアはF1 87.39%だった（人間の専門家のスコアは91%）。
私は工学部の実習の一環でこれを5年後に解き、Precision 94.14%、Recall 78.82%、F1 85.80%、2013年の参加チーム26チーム中6〜7位に相当するスコアを出した。
既にTransformerが出てはいたがBERTはまだ出ていない頃だったと記憶している。
当時基準でも最新とは言えないが、Bi-LSTM-CRFのアーキテクチャを採用した。
個人ブログを振り返ると2018年4月8日にO’Reillyの「入門 自然言語処理」を勉強し始めたことが残っていた（創業が2018年3月なので、恐ろしいことにNLPの入門書を読むことすらなく、NLPをコア技術とした事業を立ち上げようとしたのだ。この記事を書くにあたって当時の無謀さを再認識した）。
当時から学びの過程を公開するのが好きだった
NLTKやMeCab、Word2Vecなどを学び、2018年6月時点で理解が及んだのがLSTMまでだったのだろう。
夜通し学習させて、朝起きたら途中で止まっていてやり直し、なんてことを何度か繰り返した。
この学生レポートの過程で身につけた技術をベースに、独自に集めた論文に対してアノテーションを施し、実験条件と結果の抽出を試みることになる。
BERTファインチューニング時代 （2019年）
2018年10月にGoogleからBERTが発表された。
私は研究の最前線にいたわけではないので、身近な研究者がこれはすごいぞ…、と言っているのを何度か耳にするうちに存在を認知した。
しばらくするとライフサイエンスに特化したBioBERTやPubMedBERTが出始めた。
私は2019年後半あたりからライフサイエンス特化型のBERTをファインチューニングすることに躍起になっていたようだ。
この時点で、1年ほどかけて作ったBi-LSTM-CRFベースのモデルは無駄になった 。
ちなみに、当時の記憶を掘り起こす過程でX（当時のTwitter）のポストを掘り起こした。
2019年3月にBERTの勉強を始めている形跡が見て取れる。
ELMoとBERTの内容が頭に入ってこないイラストhttps://t.co/vexa55qXAh pic.twitter.com/obfSefFQHv
6月にSciBERTを動かしている。
SciBERT動かせたのでハーゲンダッツ食べる
8月に実験結果が出たようだ。
間違ってるかもなのでツイ消ししたら察して欲しいんですが 生命医学特化のBioBERTでCHEMDNERのデータセット1% 100 abstractsにfine tuningでf1 84.34%出たっぽい （2013年のSOTA 87.39%） SciBERTだと53.69% データ量正義なのか？ （BioBERT 18B words, SciBERT 3.1B words）
思えば私にこれらの最新情報を教えてくれた人たちは、PFNに行ったり、会社を立ち上げ大企業に売却したり、と華々しい成果を挙げている。
在学時に注目していた人はやっぱり優秀だったのだ。
そして、さらに1年の時を経て2020年10月14日、実験条件検索サービスSophiscopeのオープンベータ版をリリースした。
さて、複数のタスクにまたがってSoTAを叩き出した、まさに革命的なBERTは私のビジネスを加速させたかと言えば、Noだった。
ベンチマークは解けることが前提で作られている。
それに対して、現実の問題は遥かに汚い。うまく現実の問題を既存のタスクに落とし込まなくては評価もままならない。
当時は特定の疾患領域のデータセットを数千件構築し、ファインチューニングしてモデルを構築していた。
リリースしてから製薬企業の方からお問い合わせいただくことが何度かあったが、先方が希望する疾患に適用するには大量のデータを用意する必要がある（＝時間と費用がかかる）ことを伝えると話が頓挫してしまった。
もっとも、根本的な問題は技術力やデータ量ではなく、ビジネスに無知だったことだろう。
今思えば当時の手持ちでも、いかようにもビジネスができたと思うが、視野が狭く、精度を上げることに躍起になり、論文や技術記事を漁りながらあぁでもない、こうでもないと試行錯誤する日々をひたすら重ねた。
モデルの精度が出ず、プロダクトの質は上がらず、苦しい時代が続いた。
もっとたくさんデータがあれば、もっと革命的なアーキテクチャを採用すれば、うまくいくのか。
アノテーションをしながら、コードを書きながら、進んでいる実感を得られないまま数年が過ぎた。
結局、2022年12月15日にプロダクト開発を正式に断念することを、投資家に伝えた。
創業から4年と9ヶ月。創業前の構想を練る段階を含めれば優に5年が経っていた。
なお、それ自体がきっかけではなかったが11月30日にChatGPTが出た直後のことだった。
API叩くだけマン （2023年〜）
自社プロダクトを断念し、受託開発にフルコミットするという意思決定をしてから今日まで、ありがたいことに多くの仕事をいただけている。
何も生んでないように思えた私の5年間の取り組みを見ている方がいたのだ。
加えて、ChatGPTの登場が需要を喚起した。
研究者の中でもアーリーアダプター層が論文をChatGPTに突っ込んで情報を整理させることに使い始めたのだ。
そして、当時のLLMの性能で結構なことができると気づき、それを大規模にシステム化したいと私に相談をしてくれるケースが増えた。
2022年までは大量のデータでファインチューニングする必要があった。
しかし、2023年からはLLMのAPIを叩けばそれを凌駕する精度が簡単に出せてしまう時代になった。
5年かけて身につけた自然言語処理（もはや最近耳にしない単語だ）の技術のほとんどが無駄になった 。
これがまさに、後ろからバスが来るのに次のバス停に歩いて行ったことと変わらない。待っていようが目的地にたどり着く時間は変わらなかった。難しい領域に無策で突っ込むとこういうことがある。
定点観測 （2026年1月）
2026年1月、定点観測として使っているCHEMDNERを再度解いてみることにした。
Claude Code（Opus 4.5）にタスクを丸投げした。データの取得、クラウド学習環境の構築、コードの実装、学習の実行まで、すべてAIが自律的に行った。
結果、30分でF1 91.1%を達成 した。
2013年の開催時ベストスコアがF1 87.39%、人間の専門家のスコアが91%だったことを考えると、専門家レベルの精度に到達したことになる。
詳細は別記事にまとめた。
LLMに推論させるより実装させろ—7年半の定点観測で気づいたこと
2018年に数日かけて取り組んだことが、2026年には30分。しかも精度は当時を大きく上回っている。
モデルの進化とツールの進化によって、人間の努力は圧縮され続けている。
後ろからバスがやってくる
こういった経験から、自分にアドバイスを求められたときは「後ろからバスがやってくる」リスクを伝えるようになった。
BERTがその汎用性（複数のタスクでSoTAをとった）で驚かれたのは、それまでのディープラーニングはタスク特化型のモデルがSoTAをとることが一般的だったからだ。つまり、ニッチなタスクに取り組むということで生存戦略が描けた（研究としてもビジネスとしても）。
しかし今の基盤モデルは違う。汎用性の高い強い基盤モデルを開発しさえすれば、それを元に（従来よりも）低コストで特化型のサービスを作れてしまう。コーディング（Claude Code、Codex）、翻訳（ChatGPT Translate）、ブラウザ操作（Claude Cowork、ChatGPT エージェント）など、基盤モデルの能力を活かした特化サービスが次々と登場している。
議事録特化型のサービス、パワポ自動生成サービス。汎用的なビジネスシーンで明らかにニーズがある領域では、基盤モデルの登場後にいろんなサービスが出てきた。ChatGPTやClaude、Gemini本体ではカバーできなかったところにきめ細かい調整をしてサービスを作ったことが伺える。
しかし、そのような明らかに市場がある領域を大手が放っておくはずもない。しばらく経ったらGoogle Meetの議事録機能、Claude in PowerPointが出てきた。それ見たことか、と思っている。
定点観測所を作ろう
では、どうすればいいのか。
バスを作る側に回るか、バスの中で乗り合わせた別の人にガイドをするか、バスが来ないような獣道を開拓するか、仲間たちと自家用車でバスより早く走るのもいいだろう。いろいろなやり方がある。
具体的に、多くの人にお勧めするのが、定点観測所を作ること だ。
基盤モデルはこれからも進化するだろう。つい昨日（2月6日）もGPT-5.3-CodexとClaude Opus 4.6が同日リリースされた。モデルプロバイダーは様々なベンチマーク（コーディング能力のSWE-Bench、コンピュータ操作能力のOSWorldなど）でスコアを競い合っている。
しかし、重要なのは自分自身の仕事でこれらのモデルが一体どこまでのことをやってくれるのか、信頼して任せて良いのか、だ。
確かに、モデルの進化とともに、できることは増えつつある。しかし、「結構やれそう」で社内の業務を任せられるほど世の中はrisk takerばかりではない。組織において業務を変革するということはそれなりに説得力が必要だ。
結局のところ、モデルプロバイダーはベンチマークの遂行能力は示すが、あなたの仕事現場でどれだけの仕事ができるかは担保してくれない。それをやるのは自分自身しかいない。
従って、自分たちがAIを利用するにはどういうシーンでどういう人がどういう使い方をするのかを詳細にヒアリングと想像を重ねて定義し、その前提でどういう入力が入った時にどういうプロセスを経てどういう出力を返せば良いのか、をなるべく多く、詳細に定めることが重要だ。そしてデータセット化し、自動評価ができる基盤を整える。ここまでやると真にモデルの進化の恩恵を享受できる。
正直なところ、今日日LLMを組み込んだシステムは、LLMの推論能力に依存するところが大きい。つまりは、コードを一行変えて、GPT-5.2をGPT-6, 7へと変えるだけで性能向上が期待できる（時にはプロンプトエンジニアリングが馬鹿馬鹿しくなるほど）。
この時、自動評価の基盤があれば、一行書き換えたことで性能がどれだけ向上したか、あるいは複数の観点のうち悪くなったものがないか、ということが自動で評価できる。自動評価基盤がなければ、モデルを差し替えるのもドキドキものだ。ベンチマーク上、あらゆるスコアが従来モデルを上回っているように見えるが、自分たちの仕事ではむしろ悪化するかもしれないからだ（#keep4o 運動を思い出してほしい、使い方によっては従来モデルの方が良いこともあり得る、その使い方がモデルプロバイダーに想定されていないものなら尚更だ）。
まとめ
努力の中には、モデルプロバイダーやビッグテックが後から涼しい顔で抜き去ってくる方向性がある。
私自身、5年かけて身につけた自然言語処理の技術が、LLMの登場でほとんど無駄になった。まさに、次のバス停に向かって歩いている間にバスに追い越されたようなものだ。
どうせリソースを注ぐなら、自分にしかできないこと、技術の進化の恩恵を得られるところにすると良いだろう。
定点観測所を作り、モデルの進化を自分の仕事で測定できる基盤を整える。そうすれば、バスが来るたびに乗り換えて、目的地により早くたどり着ける。
それでも、なぜ人は歩くのか
ここまで書いておいて、少し自己欺瞞を感じている。
なぜなら私自身、バスに追い抜かれたことを後悔していないからだ。
今でも、後ろからバスが来そうだな、と思いつつも、バス停で待っていることができずに歩き出すことがある。移動だけが目的なら大人しくバス停で待っているのが賢い選択だろう。だがいつ来るかわからないバスを待っていられるほど枯れてもいない。早く先が見たい、バス停で座って待ってられない、とそういう時がある。
結果、後ろから来るバスに気づいて、慌てて次のバス停まで走って汗だくで乗車することもある。優雅にバス停で待っていた人からすると無駄なことをしていたように思えるかもしれない。
それでも、自分の足で歩いた確かな満足感は残っている。
合理的なリソース配分だけを考えるなら、AIがそれをできるようになった時、何を生きがいにすればいいのだろう。
バス停で待っている賢い奴らよりも今、一歩でも早く未来を見たいという衝動。それに身を任せるのもいい、と個人的には思っている。
企業という合理的な組織を相手にするときは言わないが、個人が自分の人生を楽しむために歩くことは止めないし、大いに楽しんでほしい。
もしAI for Scienceの実現に向けて自分の足で歩きたい人がいれば、一緒に働きたい。