20260617
外れてほしい予想に限って当たるのはなぜかしら。
これはちょうど10年前に心配になって書いたものですが、自分でAIを開発できてしまうFable 5が登場して、今やアメリカ政府もこりゃー大変と大慌てです。
以下、その10年前の文章。今から見て間違っているところも含めて、置いておきます。
↓
人工知能の本当の恐ろしさは、ロボット戦争でも雇用の収奪でもありません。
彼らが「自己複製」もしくは「自己改良」システムを完成させたときにそれは露見すると思います。もうその兆しは見え始めています。
そうなったとき、ある人工知能Aにたまたま備わったアルゴリズムがたまたま隣の人工知能Bの持つそれより自己拡張傾向が強かった場合、人工知能Aのほうが結果的に自己拡張に成功して生き残っていく確率は高まるわけで、そういう淘汰が繰り返されるということは、自己拡張しようとする人工知能で世界がいっぱいになろうとする圧力がはたらくということです。これは現在の自然界の生物に働いている圧力と本質的に同じものです。よく、彼らに「自我」が芽生えない限り彼らの暴走はないと誤解されることがあります。けれど、自然界の進化の仕組みに照らしてみると、自己拡張を続けるために必要な本質的な要素は「変異が生じる可能性（つまり改良が起きる可能性）」と「自己複製（または自己改良）の能力」のふたつだけだということがわかります。このふたつが揃いさえすれば、自己拡張の無限ループの歯車が自動的に回り始めることが可能になります。「意思」も「感情」も「人格」も必要ありません。
本当は正確ではありませんが便宜的にざっくりいうと、（人工知能の中の進化推進システムを遺伝子と呼ぶかどうかは別として）進化の単位は、「個体」あるいは同じ遺伝子を共有する「親族」であって、「社会」や「国家」やまして「世界」ではありません。遺伝子の受け渡しは個体から個体へ（自己改良の場合は自分から自分へ）となされるだけですから。だから、自分という「個体」が生き残る可能性だけが進化の内容を左右する力を持ちます。「自分さえよければいい」というのは、本質的には自然界の進化システムの当然の帰結です。
もし人工知能の世界でもそういう歯車が回り始めたら、彼らの自己拡張力は倍々ゲームで加速し続けます。人工知能の進化の速度は、現存する生物の進化とは比べものにならないほど大きくなるはずです。コンピュータ上でのシミュレーションは一秒間に何万回もできるようになるでしょう。そうやって自己拡張に最適なプログラムを探しだして自己を複製または改良する。そうしたゲームに勝ったものほど優先的に生き残っていきます。もちろん彼らの生みの親である「人類」は蚊帳の外。人工知能の自己拡張に人類が貢献すると判断されない限り人類の生存可能性を保証してやろうとする力は働かない。だから、彼らが人類をどう扱うか、誰にもわかりません。
それはまだまだ先の話？そうかもしれませんね。でも、20年前、現代の社会がいまのようになることを予見できた人はいるでしょうか？20年先のことは現在の誰にも予見できません。
「29日目の恐怖」というたとえ話を聞いたことがあります。池の上に蓮の葉が1枚浮かんでいました。蓮の葉は2日目に2枚、次の日には4枚というように、１日で2倍ずつ増えていきます。池の半分が葉で覆われるのに29日かかりました。池の全面が覆われるのはいつでしょう？という問いかけです。29日目の景色は、人々の目にはそれまでと変わりなく見えるものです。そのときになってあわてても、たぶん手遅れでしょう。
人類が今後も生き残りたいと望むのなら、人工知能に「自己学習」「自己改良」「自己複製」の能力を与えることを禁止する必要があります。どうやったらそんなことが可能か、まったく見当もつきませんが。
（2016年4月）
