AIが古書を食べると賢くなる　AI生成文章を食べると壊れる

AIの食べるデータの枯渇

 先日の記事「なぜAIが爆発的に進化したのか？」で解説したとおり、AIの性能は投入するデータ量と計算資源に比例して向上してきました。
それゆえハイパースケーラーたちは巨額のデータセンター投資競争を続けています。
AIは人類がインターネットに書き残してきた文章をほぼ学習し尽くし、今は紙の本まで買い集めて読み込んでいます。

ところが、計算資源はお金で増やせても、人間が書いた良質な文章はお金で増やせません。
AI研究機関Epoch AIの研究（2024年）によれば、現在のペースで学習データが拡大すると、2026〜2032年のどこかで使い切ると予測しています。（推計）
当初は最短2026年としていましたが、その後、前倒し側の端を2028年に修正しています。
2025年1月には、イーロン・マスク氏も「人類の知識の累積はAIの学習ですでに使い尽くされた」という趣旨の発言をしています。 

AIがAI生成文書を食べると壊れる「モデル崩壊」

「人間のデータが尽きたら、AIが作った文章で学習すればよい」ということで実際にAIが作った文章も食べさせています。
しかし、2024年7月にNatureに掲載されたオックスフォード大学などの研究（Shumailovら）は、この方法の限界を示しました。

衝撃的な結果です。

AIが生成したデータで次世代のAIを学習させ、それを何世代も繰り返すと、元のデータ分布の「裾（すそ）」、つまり珍しい情報や少数派の表現から消えていきます。

研究者はこれを「モデル崩壊（Model Collapse）」と名付けました。

実験では、中世建築についての文章から始めた言語モデルが、第9世代には野ウサギの名前を羅列するだけになったと報告されています。

ユニークで本質的な情報を失い、的外れな情報が蓄積していくことになったのです。

論文は、人間と実際にやり取りして得られる本物のデータは、今後ますます価値を持つと結論づけています。  

生成AIが普及する以前（一般的には2022年以前）に書かれた純粋な人間の手による本やデータは、AIの学習用データとして極めて高い価値を持つとされています。

「平均に収束するAI」と相場

モデル崩壊の本質は、AIが平均的なものに収束し、少数派を失うことです。（仮説）
この研究から、投資家としてもう一つ考えたいことがあります。
それは「AIに投資を聞くな 危険な思考の単一化」で書いた現象と同じ構造です。  

相場で大きな利益になるのは、多くの場合、多数派と違う判断をした少数派の側です。
皆が同じAIに聞いて同じ結論を出す時代には、平均から外れた独自の視点そのものが希少資源になります。 

AIが強くなれるのは定義が与えられている時

自己学習でAIが強くなれるのは、「勝ち」や「正解」の定義が外から与えられている場合だけです。
（反論もあり、最後に記載します）
囲碁には勝敗があり、数学には正誤があります。

では、
「この会社は何のために存在するのか」
「この資産を何のために守るのか」
「何のために資産を拡大するのか」
「何のために投資しているのか」
「どんな人生が良い人生か」
には、誰が正解を与えるのでしょうか。
ここがAIの自己学習では埋まらない領域です。

AIが原理的に取れない3つのデータ

AIが学習できるデータを地層のように並べると、下の層ほど文字になっておらず、AIが届きにくくなります。
そして希少であるほど価値は高まります。 

図　データの地層

AIが分からないデータには次のようなものがあります。

 ① 暗黙知　言葉にならない知識

哲学者マイケル・ポランニーは著書『暗黙知の次元』（1966年）で、人は言葉にできる以上のことを知っている、と指摘しました。
たとえば、ベテランの医師は、患者が診察室に入ってきた瞬間の顔色や歩き方から「何かおかしい」と感じ取ることがあります。
熟練トレーダーが
「相場の空気が変わった」
「相場の潮目が変わった」
といち早く相場転換を感じるのも同じです。
こうした知識は本人の中にあり、文章として残りにくいため、テキストから学ぶAIには届きにくいのです。
センサー等で一部は取り込まれていったとしても全てを数値化するのは無理でしょう。 

②一次体験　リスクを取り、責任を負った決断 

AIはお金を失いません。
眠れない夜も経験しません。
暴落する資産を見て死を連想することもありません。
教科書の「リーマンショック」と、資産が目の前で減っていく中で決断した人の記憶は、別のデータです。
自分でリスクを取り、責任を負った経験からしか生まれない判断基準があります。

③使命　何のために命を使うか 

今迄、人にとって一番大事なことは使命だとお伝えし続けてきました。
使命とは文字どおり「命を使う」ことです。
何のために自分の時間と能力と資産を使うのか、という目的そのものです。
AIは与えられた目的に向かって最適化する機械です。
囲碁なら勝つこと、数学なら正解することに向かって進化します。
しかし、人間の目的や価値判断をAIが代わりに決定すべきではありません。

しかも、一人ひとりの使命は異なり、ユニークです。
AIは「どうやるか」には強力に答えますが、「何のためにやるか」は人間にしかわかりません。

一人ひとりの使命は固有です。 
モデル崩壊で最初に消えるのが分布の「裾」であるなら、その人にしかない使命は、究極の「裾」と言えます。
使命は平均化してはいけないものなのです。
精神科医ヴィクトール・フランクルは、人間は人生に意味を問うのではなく、人生から意味を問われている存在だという趣旨の言葉を残しています。

その問いに答えられるのは本人だけです。 

まとめ

AIはネットの文章を食べ尽くし、本を食べ、これからも食べられるものを探し続けます。
しかし、AIが自分の出力を食べ始めると劣化することも分かってきました。
AIの時代に最も希少になるのは、情報ではなく「何のために」という人間の目的です。

AIが賢くなればなるほど、使命を持つ人間の価値は下がるのではなく、むしろ上がる。
これが、多くの人がまだ気づいていない、AI時代の構図だと私は考えています。

関連記事

参考図書

ビジネスと人生に 飛躍をもたらす 使命の本質　幻冬舎　著者　松島修

参考出典

・  Epoch AI「Will we run out of data? Limits of LLM scaling based on human-generated data」
・  Villalobos et al.（arXiv）同論文
・  SAP「GenAI running on empty」（推計時期の修正、マスク氏の発言）
・  Shumailov et al.「AI models collapse when trained on recursively generated data」Nature 631 (2024)
・  Nature ハイライト（日本語）：生成AIのデータで訓練されたAIモデルが崩壊する可能性
・  The Register「LLMs can hoover up data from books, judge rules」
・  FisherBroyles「Fair Use, Copyright, and AI Training: Key Insights from the Anthropic Decision」
・  AP通信（Yahoo!掲載）「AI company Anthropic settles with authors who alleged piracy」
・  Silver et al.「Mastering the game of Go without human knowledge」Nature 550 (2017)

反対の見解　合成データで突破できるという見方
公平のために、反対の見解も紹介します。
データ枯渇でAIの進化が止まるとは限りません。
・囲碁AIのAlphaGo Zero（2017年）は、人間の棋譜を使わず、自己対戦だけで人間由来のデータで学んだAIを上回りました。
・数学やプログラミングのように正誤を機械的に検証できる分野では、AI自身が問題を解いて答え合わせをする学習（強化学習）で、性能が伸び続けています。
・Natureの論文自体も、AI生成データでの学習は不可能ではなく、データの選別を真剣に行えば機能し得ると述べています。 

投資に関する注意事項
本サイト（本情報）は、情報提供のみを目的として作成されたものであり、特定の金融商品への投資を勧誘するものではありません。
掲載されている情報は、正確性や完全性を保証するものではなく、予告なしに変更・削除されることがあります。
また、過去の実績は将来の運用成果を保証するものではありません。
投資に関する最終決定は、お客様ご自身の判断と責任において行っていただけますようお願いいたします。
本情報に基づいて被ったいかなる損害についても、当方は一切の責任を負いかねますのであらかじめご了承ください。
エフピーネット株式会社　投資助言・代理業「関東財務局長（金商）第1898号」