図書館で。 知能とは問題解決の能力「使用可能な情報を、確率的に最適な形で」使用すること(常識)とは違う 人間のような動機づけ構造を持ったエージェントは、最終的な価値を自らの生存に置くことが多い AIの効用関数:そのAIの価値を要約したものであり、いかなる変更もそのAIにとっては致命的なものである 自分にとって神聖な物事というものがあり、それを大切にするのをやめたくないのだ。 そのAIは自身の大切にしているものを最大限効率的に実現させようとする過程で、人間が大切にしているもの全てを破壊してしまう可能性がある