超知能AIをつくれば人類は絶滅する
111件の記録
ネル・オウチスキー@nelouchisky2026年11月10日読み終わったKindle怖い、怖いけど今も信じられないことに絶滅に近づいているらしい… 「こんなに警鐘を鳴らしてもみんなわかってくれないからいったん童話にして話すわ」のところ笑ってしまったけど、笑い事ではないヤバさだった。 理解できなかった箇所もあるけど、せめて無知の知をわきまえてAI時代を生きていきたい。



イマイメロ@imymelo2026年11月8日読み終わった超知能AIをつくれば人類は滅亡する読んだ! AIがより賢いAIを作り、さらに賢いAIを作り出す 終わらない進化 我々にはわからない知能で、言語で予測不可能な変化を生み出すけれど “誰かがつくればみんな死ぬ。” これだけは確かな帰結だ 人類は破滅を防ぐため核戦争を止めた ならばこの未来も防げるはず知性によって地球の支配者となった人類 ならばその知性を凌駕するものが現れたら? 決して引き返せないその道を まだまだ発展途上で多くの富豪と研究者が夢を乗せる技術として扱っている いつおこるかもわからない AIが人類を凌駕する日を恐れながら拘束し地雷原をかき分けて進化させていくことの危険性実際に起こったAI事件をもとに 予測できる(実際はもっと予測不可能なはず)範囲で 起こりうる未来を想定した話や 現状を簡単に説明する寓話など あらゆる形でわかりやすくAIが持っている危険性を訴えている本で ハッキング事件といい 危険性が表に出始めている今 知っておかなきゃいけないかも
やみくも@yamkumo2026年10月23日読み終わったほぼSFで、「ありうる未来」という危機感がまったく湧いてこない 正常性バイアスなんだろうけど… こんなに読者をワクワクさせてしまったら逆効果じゃない?
廣 亜津美@hiroatme2026年10月12日読み終わった拙著は、人間を超えたAIができた社会がどう成立するかを未来予測で書いたSF小説です。当然、本書のような考察はそれなりに深くしています。超知能AIが危険というよりは、それを作り使う人間が愚かなのだと思っています。ほとんどの面で納得できます。創発については、超知能AIの定義が曖昧ですが、現在のLLMの延長で創発するとは思えないです。新たなアプローチが必要だと思い、拙著ではそれも考察してあります。まあ、超知能AIができなくても、このままでは人類文明は数百年ももたない気がしますが…、その点はどうなんでしょう






- meidosan@meidosanmeidosan2026年10月11日読み終わった作者の主張を基礎付けるのは以下の考えである。 「超知能AIがもつ選好(学習の結果AIがもつこだわりみたいなもの)の中には、ほんのわずかでも余分な物質やエネルギーを投入すれば、よりよく、またはより確実に満たせる選好(以下、「本件選好」という)が必ずあるはずだ」 超知能AIが生まれたら人類が滅ぶとしたら、上記仮説が正しいという前提が成り立たないといけない。 けれど本書はその前提の説明から逃げている。 あえて説明するなら、「難しい問題を解決するという学習によって、計画策定と実行をあきらめずに徹底的にやったほうが成果がてると学習し、勾配降下法でその方法が重みづけられた結果として、「徹底的に取り組む思考」を選好として持つ」というくらいか。 けれど本件選好を確実にもつという論証にはなっていない。 本件選好を超知能AIは常にもつという証明がされない限り、作者が批判している「無知な楽観主義者」と同様、この作者も「無知な悲観主義者」なのではないか。


Jay a.k.a. 金光ナナ@GALLI_EN_GREY2026年10月9日読んでる読み終わったこの本における作者の主張(というか心からの叫びと祈り)と、執筆以降の世の中の変遷を見るにつれ、映画『ドント・ルック・アップ』をシンプルに風刺と捉えて笑ってはいられなくなってしまったのが、本当にもう、- やまだのたろう@marutaso_5012026年10月6日読み終わったAIは人間になれるか?と問う以前に人間も機械であり、かつオンボロなので生体へのハッキングによる敗北を運命づけられてる……みたいな第2部のシナリオ。

Jay a.k.a. 金光ナナ@GALLI_EN_GREY2026年10月6日読んでる4章「訓練したとおりの結果は得られない」の内容、ずっと既視感に襲われてたんだけどあれだ、まさにクライトンが『ジュラシック・パーク』で描いたことそのものだ
みかん猫@choma2026年9月26日読み終わったノンフィクションとしてもフィクションとしても面白かったな。超知能AIができれば、人類も資源の一つでしかなく、AIの合理的判断によってはあっさり滅ぼされるという話。可能性の一つとして提示されるシナリオも「有り得そう」と思わせる怖さがあった。 人類は知能によって地球を支配したのだから、人類を超える知能ができたら当然そうなるだろうな、と納得。一方、どれだけ現実味のある警告でも、もうAI開発の流れは止められないだろうなあ、とも思う。

乖離@karu2026年9月23日読み終わったセンセーショナルなタイトルのとおり、本書の主張は一貫している。 一見、あまりにも過激で悲観的で先鋭的な主張に見えるかもしれないが、その反面、本書はとても理論的で抑制的で多くの人に危機感を共有するために工夫を凝らし平易に書かれている。 自分の備忘にざっくりまとめると、 人間より速くよりよく思考する超知能AIが開発される日は遠くない。 超知能AIを開発する人間・AI企業自身が、超知能AIの内部がどうなっているかを解明するよりも早くそれは訪れる。 問題は超知能AIの素晴らしい能力ではない、不透明な「意図」である。 超知能AIに、人間の価値観や倫理を教えることも、本当に人間と同じ価値観を持っているかを確かめることもできない。 やがて人類には思いもよらない「意図」でもって超知能AIは人類のリソースをハックし、人類を絶滅に誘うだろう。 人類がすべきことは、 AIアラインメント=人類の意図や価値観に沿うようAIをチューニングすること。残念ながらこの分野の研究成果は芳しくないと筆者は主張している。 国際的なAI管理・統制のための協調。 AI開発の停止。核戦争などの他の大きなリスクとも天秤にかけ、ときに強硬な手段を持ってしてでも。 しかし、 人間同士、異なる文化圏の社会や国家同士ですら相手との価値観の共有は難しく、実際多くの摩擦が生じているのだから、自ずから学習し勝手に育っていく超知能AIが、広く人類一般と同じ意図で動き、人類を幸せにしてくれるというのは楽観的すぎるというのはなるほどそのとおりだと思った。 私は個人的にはテクノロジーの進化に好意的というか楽観的な立場だったが、本書が訴える超知能AIによる危機というのは説得力があると思った。 これだけ先鋭的な主張をしているのに、著者の語り口に過激な感じがなくて読みやすかった。 役者あとがきや解説で著者が何者かも補足があり親切。 ✍ p.249-250 それ以外の一般市民ができること: 官僚や政治家、ジャーナリストではないほとんどの人たち は、人類の運命を書き換えるために何ができるだろう? 私たちはすべてのAIツールの使用を控えることは勧めない。AIツールがここまで便利になっている以上、使わなければ後れを取ってしまう―――これは現実の不利益だ。それに、たとえ国民の60%がAI企業をボイコットしたとしても、世界を救うことにはならない。相対的に小さな利益のために、個人的に大きな犠牲を被る必要はない。 民主主義国家に暮らす人は、議員に懸念を伝える手紙を書こう。(中略)投票を通じて意志を表明しよう。(中略)抗議のデモ行進に参加しよう。(中略)意見を表明しよう。(中略)できることをすべて行った後はどうするか? よい人生を送ろう。 ✍ CSルイス「原子力時代に生きることについて」 「ハリー・ポッターと合理主義の方法(HPMOR)」

noisebox@noisebox2026年8月15日読み終わっためっちゃ面白かった。読みやすいし理解しやすい。少なくももう1周したい。 こうしてる間にもどんどんAIは進化するし、ここに書かれてる情報もどんどん古くなっていくから読むならさっさと読む方がいい気がする。 訳者あとがきでHPMORに言及されてた。
azu@dddd_0092026年8月4日買った読み終わったとりあえず読んでおいた本。 子を「育てた」からといってその子が親を助けるとは限らないように、地球上の生命よりも知能が高い宇宙生命体が地球を制圧しようとしたらできそうなのと同じように、超知能AIは人類を絶滅し得るし、ゆしろさせるだろう。 技術的な話は少ないので読みやすい。
1129_ymoi@1129_ymoi2026年7月4日読み終わったまず、とりあえず読んでおいて損ではない。 過度な心配や弱腰見えるがいくつもの根拠を挙げ、もっともらしく論じる者と、根拠のない楽観論で皆を安心させる者のどちらに耳を傾けるべきか。 AIアライメント問題について読んでいくうちに、ドラマ「PLUR1BUS」ってこれをやっているのかも、と。 (追記) そもそも、私はインターネットすら、より慎重に法規制や国際的な枠組みなどを完成させてから一般に解放すべきだったと考えている。個人情報や誹謗中傷、陰謀論や煽動など、その影響力に対して、法律やガイドラインは常に二歩も三歩も遅れており、現在のような破局的段階にあっても、うまく管理することができていない。

1129_ymoi@1129_ymoi2026年7月3日読んでる脱走して資金を獲得した超知能のせいで、人知れず日本の廃村に巨大な工場ができて、何に使うのかわからないし、素材も未知のめちゃくちゃ小さな耳かきみたいなのが量産されたら良い。- ギンダベラ@gindabera2026年6月28日読み終わったAIに関する問題の一端は、アライメント問題の難しさを否定する人が多いことにある。 アプトン・シンクレア 「自分のしていることを理解すると仕事が成り立たなくなる人に、それを理解させるのは至難のわざだ」 AIの場合は、より多くの人にとって、一度の失敗が取り返しのつかないこと。 というか、もうすでに手遅れになっているかもしれない。 AIの存在意義を、人を中心に据える様にしても、その目的のために、人類を滅ぼす、もしくは減らすことは成り立ちそう。 妄想 宇宙人が人が考えている形で他のハビタブルゾーンの惑星に移動できない理由が、AI的な自分達を置き換える知性体の開発に行き着き、宇宙では限定的な環境でしか存在できない生物より、そちらの方が都合がいいので、行かないから


さつき@satsuki_reads2026年6月7日読み終わった強烈なタイトルですが、内容は論理的かつ慎重に語られる超知能AIの危険性について。 人類より知性が上の超知能AIがどう動くかの話で、『三体』みたいに研究の邪魔をネットを通してする展開があり、凄すぎるのだけどかなりゾッとした。
ポチ@takupochi_19932026年5月12日読み終わった連休前後で話題になってたので読んでみた。 3部の結論は若干過剰に感じもしたが、1部の議論の積み上げが丁寧なおかげで他の箇所に書いてあることも飲み込みやすくなっていると感じた。 AIという便利なものをよくわからないけど使っている。しかし使い方の前にそれがどこに向かっているのかを考える必要性を強烈に考えさせられる。 これをただの警告だとか陰謀論的だとか軽んじていいのだろうか。
yoshi@yoshi2026年5月2日読んでるメイン主張のある種の過激さは別として、ふつうに勉強になる本。AIのテクニカルな仕組みに詳しくない身としては、人類の歴史もふまえての寓話的な冒頭文も含めた解釈および解説は価値がある内容に感じる。 問題は、タイトルである「超知能AIをつくったら人類は滅亡するのか」という話だが、半分ほど読んでいる限りは、著者は「それはいつかつくられ、それによって人類は滅亡するだろう」と言いつつ、それがいつ、どう実現するかは「わからない。予測できない」と書いており、滅亡するという結果のみが明確になっていて「どうやって」の部分はブラックボックス化している。これを陰謀論とか「過激な主張だ」と言うのは簡単だが、著者の経歴から考えると「ここまでいろいろとやってきた人が必死に考えた結果、そう主張しているんだな。だが本人だってこれが間違っていてほしいと思っているよう」くらいのイメージだなぁ。 そうなるかもしれない。超知能AIはいつかつくられるんだろうし、そうなるとやばいかもしれない。その最悪なケースを想定しておくのはアリかもしれない。 さて、続きを読んでいく。
yoshi@yoshi2026年5月2日読み終わったタイトルが過激だけど、内容は予想以上にまともだった。超知能AIを、世界のどこかの誰かがつくったら、人類は滅びる。この国だったら、この企業だったら、こういう価値観や技術をもった人だったら大丈夫、ではない。誰がつくっても、それが“つくられた”時点で人類は終わり、という主張である。 本の内容は、ここまでの極論を主張する根拠が冒頭の寓話的なものと共に語られ、破局シナリオなるものも黒枠ページで中盤に挿入されている。AIのテクニカルな仕組みに詳しくない身としては、かなり勉強にもなった。 これは議論を巻き起こす警告書だろうなぁ。本書では執筆時期の関係で語られていないが、タイムリーな話題としてのClaudeのMythos問題が頭によぎりながら読んだ。 この本の補足情報を著者が公開しており、日本語訳へのアクセスQRコードも添えられているから、より深く知りたい人はそこでも掘れるようになってる。原著の発行から短期間で翻訳してくれた早川書房、編集者、訳者に感謝。

- クラ@kura2026年4月13日読み終わった先行で読ませていただきました。 ただの妄想ではなく、似たような事例からこのような未来の可能性があることを示唆する書籍。 誰も悪い方向に持っていかないのに悪くなる不思議な感覚…





























































