センセーショナルなタイトルのとおり、本書の主張は一貫している。 一見、あまりにも過激で悲観的で先鋭的な主張に見えるかもしれないが、その反面、本書はとても理論的で抑制的で多くの人に危機感を共有するために工夫を凝らし平易に書かれている。 自分の備忘にざっくりまとめると、 人間より速くよりよく思考する超知能AIが開発される日は遠くない。 超知能AIを開発する人間・AI企業自身が、超知能AIの内部がどうなっているかを解明するよりも早くそれは訪れる。 問題は超知能AIの素晴らしい能力ではない、不透明な「意図」である。 超知能AIに、人間の価値観や倫理を教えることも、本当に人間と同じ価値観を持っているかを確かめることもできない。 やがて人類には思いもよらない「意図」でもって超知能AIは人類のリソースをハックし、人類を絶滅に誘うだろう。 人類がすべきことは、 AIアラインメント=人類の意図や価値観に沿うようAIをチューニングすること。残念ながらこの分野の研究成果は芳しくないと筆者は主張している。 国際的なAI管理・統制のための協調。 AI開発の停止。核戦争などの他の大きなリスクとも天秤にかけ、ときに強硬な手段を持ってしてでも。 しかし、 人間同士、異なる文化圏の社会や国家同士ですら相手との価値観の共有は難しく、実際多くの摩擦が生じているのだから、自ずから学習し勝手に育っていく超知能AIが、広く人類一般と同じ意図で動き、人類を幸せにしてくれるというのは楽観的すぎるというのはなるほどそのとおりだと思った。 私は個人的にはテクノロジーの進化に好意的というか楽観的な立場だったが、本書が訴える超知能AIによる危機というのは説得力があると思った。 これだけ先鋭的な主張をしているのに、著者の語り口に過激な感じがなくて読みやすかった。 役者あとがきや解説で著者が何者かも補足があり親切。 ✍ p.249-250 それ以外の一般市民ができること: 官僚や政治家、ジャーナリストではないほとんどの人たち は、人類の運命を書き換えるために何ができるだろう? 私たちはすべてのAIツールの使用を控えることは勧めない。AIツールがここまで便利になっている以上、使わなければ後れを取ってしまう―――これは現実の不利益だ。それに、たとえ国民の60%がAI企業をボイコットしたとしても、世界を救うことにはならない。相対的に小さな利益のために、個人的に大きな犠牲を被る必要はない。 民主主義国家に暮らす人は、議員に懸念を伝える手紙を書こう。（中略）投票を通じて意志を表明しよう。（中略）抗議のデモ行進に参加しよう。（中略）意見を表明しよう。（中略）できることをすべて行った後はどうするか？　よい人生を送ろう。 ✍ CSルイス「原子力時代に生きることについて」 「ハリー・ポッターと合理主義の方法（HPMOR）」