meidosan "超知能AIをつくれば人類は絶..." 2026年10月11日

meidosan
@meidosanmeidosan
2026年10月11日
超知能AIをつくれば人類は絶滅する
超知能AIをつくれば人類は絶滅する
ネイト・ソアレス,
エリーザー・ユドコウスキー,
櫻井祐子
作者の主張を基礎付けるのは以下の考えである。 「超知能AIがもつ選好(学習の結果AIがもつこだわりみたいなもの)の中には、ほんのわずかでも余分な物質やエネルギーを投入すれば、よりよく、またはより確実に満たせる選好(以下、「本件選好」という)が必ずあるはずだ」 超知能AIが生まれたら人類が滅ぶとしたら、上記仮説が正しいという前提が成り立たないといけない。 けれど本書はその前提の説明から逃げている。 あえて説明するなら、「難しい問題を解決するという学習によって、計画策定と実行をあきらめずに徹底的にやったほうが成果がてると学習し、勾配降下法でその方法が重みづけられた結果として、「徹底的に取り組む思考」を選好として持つ」というくらいか。 けれど本件選好を確実にもつという論証にはなっていない。 本件選好を超知能AIは常にもつという証明がされない限り、作者が批判している「無知な楽観主義者」と同様、この作者も「無知な悲観主義者」なのではないか。
読書のSNS&記録アプリ
hero-image
詳しく見る
©fuzkue 2025, All rights reserved