ハウツーじゃなくて仕組みを知りたいんけどプログラミング言語の話は頭が痛くなるので文系にも面白みを感じられるように語ってくれ　という需要で大当たりの一冊だった。 冒頭の ChatGPTは基本的に、そこまでに出力された内容の「順当な続き」を出力しようと試みるということだ。ここでいう「順当」とは、「億単位のウェブページなどに書かれている内容を見たうえで人間が書きそうだと予測される」という意味である。 の段階で、へぇ〜そうなんのレベルだったけど、面白くて電車の中で一気読みした。 その、確立的に次に来る単語を引っ張ってきているだけでChatGPTは自ら生成したモノの意味を理解していない、ということについて腹落ちしたのが画像識別の説明だった。学習素材としてその画像の特徴(猫とは耳が尖っておりひげがあり…)を整理するよりも、区別しやすい猫写真を用意する方が有効。それって人間の判断のメカニズムとはちょっと違う感じがするけどどうなんだろ。 「どうして」かはわからないけど経験的になんか上手く動いてる、その「どうして」を解き明かすことができたら、そもそも人が言語処理一般をどうこなしているかの理論の確立ができたり、「言語の法則」「思考の法則」を新たに発見できるかもね、のあたりは、ロマンあるな〜と思って読んでいた。コミュニケーションは圧縮されてET的な伝達ができるようにのかもしれない。言語の壁をなくしてくれ。 一番面白かったのは意味文法と世界モデルの話。象が月に旅行した、という文章は意味文法的には合格だけど、少なくとも21世紀の現実世界ではありえないよね。意味文法には土台が必要だよねって話。 構文文法の中心は、単語から言葉を組み立てることにある。一方、意味文法には必ず、なんらかの「世界モデル」が関わってくる。実在する単語から作られた言葉を上層として重ねるとき、その土台となる「骨組み」として機能するのが「世界モデル」である。 チャッピーのこと知りたいと思って読んだのに、我々の脳、不思議〜おもしろーいに行き着くのがなかなかだった。チャッピーのことも知れた。