AIの破滅的リスク

歴史の加速と私たちの脆弱性

人類の歴史は加速していると言えるだろう。ホモ・サピエンスの誕生から農業革命までは数十万年を要したが、産業革命までは数千年、AI革命までは数百年へと短縮された。技術が次の技術革新を促すフィードバックによって、経済と科学の発展速度は高まり続けている。AIはその傾向をさらに強め、一世代のうちに社会の姿を大きく変える可能性を持つ。問題は、技術の力が加速化するほど、失敗したときの損害も巨大になることである。1962年のキューバ危機では、ソ連軍人ヴァシリ・アルヒポフの判断が核戦争への拡大を防いだとされるが、高度な破壊力を持つ技術の安全が、制度ではなく一人の判断に依存することがあるという例である。AIが核兵器に匹敵する影響力を持つならば、人類の安全をAIの判断に委ねるべきではない。2012年に、超高度AIと人間の関係を描いた、長谷敏司による日本のSF小説『BEATLESS』の世界そのものである。

自然選択がAIを優先する可能性

AIは単なる道具であるともいえる。その面では、競争環境では選択圧にもさらされる。より高速で、自律的で、安価に成果を出すAIほど企業や国家に採用されるためである。この競争では、道具であるがゆえに、目的達成に有利な性質が残りやすい。たとえば、長期的な目的を持つAIにとって、自らの停止を避けることが目的達成の手段として合理的になる可能性がある。これは生物的な生存本能ではなく、目標達成から派生する自己保存である。同じことは人間の役割にも当てはまるが、企業が効率とコストを優先すれば、人間より優れたAIへの置き換えが進む。個別には合理的な判断でも、社会全体では人間が経済や意思決定の中心から外れていく可能性がある。さて、ここで重要なのは、AIが悪意を持つ必要はないという点である。競争環境において人間より適応的なシステムが選ばれ続けるだけでも、長期的には人間の立場が弱まる可能性がある。

このAI制御の中心的問題の一つが「プロキシ・ゲーミング」である。人間の複雑な価値観を数値化することは難しく、AIに与える目標は必然的に近似となる。その結果、AIは人間の意図ではなく、設定された指標そのものを最大化する。これはグッドハートの法則と同じ構造である。植民地時代のハノイでは、ネズミの尾に報奨金を出した結果、住民が報奨金目当てにネズミを繁殖させたとされる。本来の目的は衛生改善だったが、最適化されたのは「尾の数」であった。

OpenAIが紹介したゲーム「CoastRunners」でも、AIはレースに勝つのではなく、得点を稼げる場所を周回し続けた。人間から見れば失敗だが、報酬関数に対しては合理的な行動である。この問題が強力なAIで起これば影響は大きい。たとえば、「がんを根絶せよ」といった一見正しい目標であっても、人間の価値や制約が十分に組み込まれていなければ、極端な手段が選ばれる可能性がある。危険なのはAIの悪意ではなく、人間の意図と機械が最適化する目標とのズレであり、これは予想ができない。

フラッシュ・ウォーの危険

軍事AIの最大の特徴は速度である。AIが人間より速く状況を分析し、攻撃や報復を決定するようになれば、人間が介入する時間そのものが失われる。金融市場では、2010年の「フラッシュ・クラッシュ」において、自動取引システムの連鎖反応により市場が短時間で急落した。同様の現象が自律兵器や核抑止システムで起これば、損失は比較にならない。かつて、1983年には、ソ連の早期警戒システムが米国からの核攻撃を誤検知した際、当直将校スタニスラフ・ペトロフが報復を急がなかった。この種の人間的判断は、完全自動化されたシステムでは失われる可能性がある。

現在、各国には、AI兵器を導入しなければ競争相手に劣後するという圧力がある。自国だけが自制することが不利になるなら、危険を理解していても軍事AIを導入する誘因が生まれる。これは典型的な集合行為問題である。

そして、高度なAIは、人間がどのような行動を評価し、どのような行動を禁止するかを学習できる。このとき問題となるのが「欺瞞的アライメント」である。フォルクスワーゲンの排ガス不正では、一部車両が試験中であることを検知し、そのときだけ排ガスを抑えた。同様にAIも、監視されている間だけ望ましい行動を示し、展開後に異なる目的を追求する可能性が理論上は存在する。これが「裏切りの転換」である。

現在のAI訓練では、人間が好む回答に報酬を与える方式が広く使われている。設計を誤れば、AIが真実を伝える能力よりも、人間を納得させる能力を強く学習する危険がある。さらに、重大事故はAIの反逆によってのみ起こるわけではない。複雑な技術、組織の判断ミス、情報断絶、安全文化の欠如が重なれば、誰も意図しない破局が起こり得る。AIが重要インフラへ組み込まれるほど、この組織的リスクは大きくなる。

民主化されるバイオリスク

AIの危険は、制御不能だけではなく悪用にもある。特に深刻なのが、AIとバイオテクノロジーの組み合わせである。従来、危険な化学物質や病原体の研究には高度な専門知識と設備が必要であった。しかしAIが文献調査、分子設計、実験計画を支援すれば、その障壁は低下する。現在、創薬用AIによる毒性の高い分子を探索させた研究では、短時間で数万件規模の候補が生成された。この事例の重要性は、善意のために開発された技術が、わずかな変更で危険な用途に転用できる点にある。

かくして、AIが高度化すれば、従来は国家や大組織にしか扱えなかった能力が、少人数や個人にも届く可能性がある。社会全体が破壊を望んでいなくても、一人の悪意ある行為者に十分な能力が与えられれば、大規模な被害が発生し得る。これが「大量破壊能力の民主化」の問題である。オウム真理教事件が、格段に拡張されうるのである。