ChatGPT を始めとする Large Language Model は、ブラックボックスであることが問題視されている。モデルの開発に必要な要素であるアルゴリズムとトレーニングデータが開示されていないが故に、モデルが出力する結果がどうしてそうなったのか、説明が不可能だからだ。
例えば、あるモデルが融資の申し込みの与信の結果を判定するとする。その結果が不適切だと判断された場合、どう思うだろうか。理由を知りたいと思うのが普通ではないだろうか。また、医療データをもとに不健康だと判断された場合、その原因を知りたいと思わないだろうか、という議論だ。
しかし私は、この議論に、実は大事な観点が抜けているのではないか、という違和感を持っている。その違和感の前提にあるのは、「知識」や「科学」を絶対視する風潮が前提にあると感じている。
そもそも、高度に文明化したポストモダン社会において、多くのシステムは複雑であり、幾重にも抽象化されたシステムの入れ子構造で構成されている。自動車一つとっても、内燃機関から電気系統それぞれのシステムは大いに複雑で、全てを理解している人は少ない。それでも、大半の人は日常的に自動車を使いこなすことができる。飛行機のような乗り物から、天気、金属加工、建築、交通・運搬など、あらゆるシステムは一人の人間が理解できる以上に複雑に作られている。そもそも人間は、自分自身の脳神経や身体についてだって、完全に理解できていない。
それでも私たちが問題なく日常を過ごしているのは、システムを完全に理解しなくても、とりあえず使ってみて、動作や反応からフィードバックを通じて学習し、経験則を導き出し、目的に沿った使い方を習得できるからだ。
"Antifragile" において Nassim Taleb は、理論が実践を生み出すのではなく、あくまで実践が先で、理論がそれを追うように組み立てられていく様子を説いた。そして、理論や学問を盲信する姿勢を否定し、"知識のための知識"は必要なく、何かの結果が好ましいものかどうかを判断できるほどの知恵があれば良いと指摘した。
If you "have optionality", you don't have much need for what is commonly called intelligence, knowledge, insight, skills, and these complicated things that take place in our brain cells. For you don't have to be right that often. All you need is the wisdom to not do unintelligent things to hurt yourself (some acts of omission) and recognize favorable outcomes when they occur. (The key is that your assessment doesn't need to be made beforehand, only after the outcome.) (p180)
この前提をもとに、私たち人間の Large Language Model との付き合い方を再考してみたい。思考実験として、あるモデルがあなたの与信能力なり健康状態なりについて判断を出すとする。果たしてこの時、モデルの実装について完全に理解していた場合、その結果に心から納得できるのだろうか。私は、モデルについて完全な知識を備えているということと、その結果をもとにより最適な行動を取れるということは、別だと感じている。
であるが故に、真に私たちに求められるのは、モデルの判断結果を盲信するのではなく、あくまでモデルの判断結果を参考程度にとどめ、その結果が自分にとって好ましいものかどうかを見極める姿勢ではないだろうか。Large Language Model は神託ではない。その判断は絶対ではない。人は考えることをやめた時、盲信して従おうとする。自分の理解を超えたものに神秘性を見出し、考えることをやめてしまう。だからこそ、Large Language Model はブラックボックスで良いという割り切りが必要なのだ。その"神託"から返ってくる結果を判断できるだけの知恵さえ、失ってはいけない。
For Tony, the distinction in life isn't True of False, but rather sucker or nonsuckers. (p259)