ちょき☆ぱたん　お気に入り紹介　(chokipatan.com)

第１部　本

社会

THE COMING WAVE　AIを封じ込めよ（スレイマン）

『THE COMING WAVE　AIを封じ込めよ　DeepMind創業者の警告』2024/9/26
ムスタファ・スレイマン (著), マイケル・バスカー (著), 上杉隼人 (翻訳)

（感想）
　AlphaGoを開発したDeepMindの共同創業者で、Microsoft AIのCEOを務めるスレイマンさんが、AI、ロボット工学、合成生物学など、超進化する新世代テクノロジーが融合することで、開発者すら想定していない未曾有の大混乱と大惨事がもたらされることへの警告と、それらへの対策を提言している本で、主な内容は次の通りです。
用語集
プロローグ
第1章　封じ込めは不可能
第Ⅰ部　ホモ・テクノロジカス
第2章　果てなき拡散
第3章　封じ込め問題
第Ⅱ部　来たるべき波
第4章　知能のテクノロジー
第5章　生命のテクノロジー
第6章　広がる波
第7章　来たるべき波の4つの特徴
第8章　止められないインセンティブ
第Ⅲ部　弱体化する国家
第9章　国家と国民の「大いなる取引」
第10章　脆弱性増幅器
第11章　国家の未来
第12章　ジレンマ
第Ⅳ部　波を越えて
第13章　封じ込めは可能にせねばならない
第14章　封じ込めへの10 ステップ
　1　安全性――技術的安全性を確立するための「アポロ計画」
　2　監査――知識は力なり、力は制御なり
　3　チョークポイント――時間を稼ぐ
　4　開発者――批判する人も参加しよう
　5　企業――利益とパーパス
　6　政府――生き残り、改革し、規制せよ
　7　同盟――条約締結に向けて
　8　文化――謙虚に失敗から学ぶ
　9　社会運動――人々の力
　10　隘路――通過するしか方法はない
「人新世」の後の人類
謝辞
原註
　　　＊
「第1章　封じ込めは不可能」には、次のように書いてありました。
「来たるべき波にはふたつの中核テクノロジーが存在する。人工知能（AI）と合成生物学（synthetic biology）だ。AIと合成生物学の融合は、史上最大の富と利益を生み出し、人類に新しい夜明けをもたらす。だが、ふたつのテクノロジーが急速に拡散すれば、さまざまな形で悪用される可能性もある。それによって想像もできない大規模な混乱が引き起こされ、社会は不安定になり、大惨事も引き起こされるかもしれない。」
「（前略）人工病原体は既知の対処法を無効にしたり、無症状のまま伝染したり、特効薬やワクチンへの抵抗力を備えていたりするかもしれない。自宅の実験室では作れないものはオンラインで注文して、自宅で組み込むこともできる。この世の終わりが郵送されてくるのだ。」
　これらの脅威に対して私たちは……
「テクノロジーや政策の世界に長くいれば、ここでのデフォルトの行動様式は、危機をやりすごして現実逃避することだとすぐにわかる。それ以外にすべきことがあると信じて行動すると、巨大で抑えようのない力に恐れと怒りを感じてまるで身動きが取れなくなり、何をしても無駄と考えてしまう。こうして「悲観論嫌悪」という中途半端な知性が社会で幅を利かすことになる。白状すれば、私も長らく同じことをしていた。」
　……私も同じでした……。
　また「第3章　封じ込め問題」には、次のようにも……。
「（前略）原子爆弾の発明者は核戦争を予防することができない。テクノロジーにとって不可避の課題は、発明が世に出た後は、発明者が発明品の行く末をコントロールできなくなるということだ。」
「（前略）テクノロジーは敵ではなく、人間社会の基本的な特性である。テクノロジーの封じ込めは対立する関係者同士のパワーバランスではなく、もっと根本的な計画であり人間とツールとのパワーバランスを取ることである。（中略）テクノロジーの封じ込めには、規制や技術的安全性の向上、新しいガバナンスと所有のモデル、新様式の説明責任と透明性が含まれる。」
　そして「第5章　生命のテクノロジー」には……
「インターネット黎明期にはデジタルスタートアップ企業のDIY精神が創造性と可能性を爆発的に押し広げたが、この精神が遺伝子工学に受け継がれている。今やたった２万5000ドルで卓上型DNA合成機が入手可能で、自宅の生物学実験「ガレージ」で誰の監視も何の制約もなく好きなだけ使えるのだ。」
　なんと現在は、DNAプリンターでゲノム合成が可能なようです。しかも生物学もAIの支援を受けて、どんどん進んでいっています。
「生物学は本当に複雑であり、タンパク質の立体構造のように、従来の技術ではほぼ解析不可能な莫大なデータが生み出される。その結果、新世代のツールが不可欠になった。開発チームは自然言語の指示だけで、新しいDNA配列を生成するプロダクトを開発しようとしている。ここでもTransformerが人間には理解不能な長く複雑なDNA配列に関係性と重要性を見いだしながら、生物学や化学の言語を学習している。生化学データを追加学習した大規模言語モデルは、新しい分子やタンパク質、DNAやRNAの配列の有望な候補を生成する。その構造や機能、反応特性は実験室で検証する前からシミュレーションで予測できる。応用範囲と開発速度は増すばかりだ。」
　そして最も恐ろしかったのが「第10章　脆弱性増幅器」。
　かつてランサムウエアのWannaCryが世界中で猛威をふるいましたが、この「WannaCryが自身の脆弱性を系統的に学習し、繰り返し修正するようにプログラミングされていたら、どうなっていたか？」を考えると、本当に背筋が凍ります。
　さらに兵器に応用されたなら……
・「AIサイバー兵器はネットワークを常時検索し、自己改善しながら自律的に脆弱性を発見し、悪用するだろう。」
・「AIをこれほど強力かつ魅力的にしている要素――学習能力と適応力――は、悪意ある者を強化すると同時に、国家の主要機能を攻撃する可能性が高まっている。」
・「決定的かつ無限の戦略的優位性を幅広い範囲におよぶ汎用技術に対して保つのは、単純に不可能である。いずれは攻撃側と防御側の優位性の均衡が回復するかもしれないが、それより前に状況を極度に不安定化する力が波のように押し寄せる。」
　……さらにAIはディープフェイクの生成も得意なのです。
「AIで強化されたデジタルツールは今後もこうした悪質な情報操作を行い、選挙活動に介入し、社会の分断を悪用し、巧妙な「偽草の根運動」を仕掛けて混乱をもたらす。」
　　　　＊
　そして「第12章　ジレンマ」では……
「（前略）テクノロジーを安全に構築し、封じ込めるだけでは十分ではない。AIアライメントは一度すればよいというものではなく、強力なAIを構築するたびにアライメントが必要となる。（中略）テクノロジーの力が臨界点を超えた場合、最初の開発者が安全に構築するだけでは不十分だ（もちろんそれも難題だが）。本当に安全に使うには、どの利用場面においても安全基準を維持する必要がある。」
　……うーん難題だらけですね……。
　でもスレイマンさんは「第14章　封じ込めへの10 ステップ」で、その対策について提言しています。その10ステップは目次にある10項目ですが、この章の中に、短い説明とともに（なぜか）9項目が表になっていたので、以下ではそれを紹介します。
・封じ込めのステップ
１）安全性：潜在的な危険を軽減し、制御を維持するための技術的安全性を確立する
２）監査：テクノロジーの透明性と説明責任を確保するために監査を実施する
３）チョークポイント：開発を遅らせ、規制機関や防御技術のために時間を稼ぐ
４）開発者：責任ある開発者が、最初からテクノロジーに適切な制御機能を組み込む
５）企業：テクノロジーを開発する組織のインセンティブとテクノロジー封じ込めを一致させる
６）政府：政府を支援してテクノロジーの構築と規制を可能にし、影響を受ける人々の苦境を和らげる政策を実行できるようにする
７）同盟：法律と規制と対応策を国際的に調整する協力体制を作る
８）文化：失敗への対処法を迅速に広めるため、失敗から学び、それを共有する文化を醸成する
９）社会運動：１～８の各ステップには一般大衆の参加や意見公募が必要で、さらに各ステップに圧力をかけて説明責任を果たすよう要求する必要がある。
　　　＊
　もちろん本書内では具体的な詳しい説明があり、例えば「安全性」では、次のようなことが書いてありました。
・「AIにおける技術的安全性とは、高度なAIが現実世界に放たれる前に厳格なテストができるよう、証明可能安全性を持つエアギャップを構築するためのサンドボックスと安全なシミュレーションを意味する。」
・「合成生物学であれ、ロボット工学であれ、AIであれ、いずれにおいても最難度の課題は、無条件でシャットダウンできる完璧なオフスイッチを作り出すことだ。制御不能になる畏れがあるテクノロジーをシャットダウンする手段だ。自律型システムあるいは強力なシステムにはオフスイッチを絶対に取り付けなければならない。」
・「安全機能は付け足しではなく、あらゆる新テクノロジーに設計段階で組み込まれる標準装備となるべきものだ。」
　　＊
　また「同盟」では……
「世界共通のアプローチを作るために、私たちの世代は核不拡散条約のようなものを必要としている。今回はテクノロジーの拡散を完全に抑え込むのではなく、制限を設け、国境を超えた管理と緩和の枠組みを設置する。研究内容に明確な制限を課し、各国の許認可業務を橋渡しすることで、研究制限と許認可の妥当性を点検する枠組みを作る。」
　　＊
『THE COMING WAVE　AIを封じ込めよ　DeepMind創業者の警告』……私達人類は今まさに分水嶺を越えようとしているのに、まだ何も準備ができていないことを警告してくれる本でした。特に「合成生物学であれ、ロボット工学であれ、AIであれ、いずれにおいても最難度の課題は、無条件でシャットダウンできる完璧なオフスイッチを作り出す」ことはとても大事なことだと思います。危険な影響を予測できない技術を制御するための仕組みを作り出すため、時間稼ぎのペースダウンも必要なのかもしれません。この危険性は、私たちみんなが知っておくべきことだと感じました。
　みなさんも、ぜひ読んで考えてみてください。お願いします！
　　　＊　　　＊　　　＊
　なお社会や科学、IT関連の本は変化のスピードが速いので、購入する場合は、対象の本が最新版であることを確認してください。

Amazon商品リンク

興味のある方は、ここをクリックしてAmazonで実際の商品をご覧ください。（クリックすると商品ページが開くので、Amazonの商品を検索・購入できます。）