生成AIは、使えば使うほど怖くなります。便利すぎて、気づいたら自分の頭で考えることをやめてしまうのではないか――3年近く使い続けてきた今、最も強く感じるのはその怖さです。
便利さや奥深さは、実際に使ってみなければ実感しにくい面があります。しかも成果は、指示の出し方の微調整や検証の反復といった「勘所」に大きく左右され、その勘所は皮肉にも暗黙知の領域に属します。結果として、使い込む人とそうでない人のあいだでスキルの格差が急速に広がりやすい。ただし、ユーザーが自覚的に距離を取らないと、依存度が必要以上に――場合によっては自分にとって有害なほどに――高まってしまいます。スキル面だけでなく、依存の自己管理という面でも差がつき得るという点で、これは看過できない危険性をはらんでいます。
さらに、AIに考えさせることが習慣化すると、AIを使わない場面での思考力や判断力が落ちていくのではないかという懸念があります。たとえば翻訳で言えば、「訳し起こし」の局面で、まず自分の頭で筋を立てる前にAIに下書きを作らせ、それを手直しする流れが常態化しやすい。書きたいことと原文の両方が存在する翻訳でさえそうなのですから、ゼロから文章を書かなければならない研究者や企業アナリストの皆さんにとっては、潜在的な問題はさらに深刻かもしれません。端的にいえば、「使わない能力は衰える」ということで、これはスマートフォンなどでも議論されてきた「考える手順の外部化」に近い問題であり、生成AIでも同様のことが起きうると考えられています。
LLMの出力は、少なくとも人間的な意味での「意味理解」とは異なるプロセスで生成されている可能性が高いです。その内部動作については研究者の間でなお議論が続いています。
ただ、与えられた文脈や言語の慣習に沿って確率的に語を選び、文を組み立てるプロセスが中心的な役割を果たしていることは、広く認められています。この性質から派生して、生成AIには従来から知られているハルシネーション（幻覚）やコンフュージョン（混乱）といった欠陥に加え、以下のような構造的な問題があると思われます。
第一に、ユーザーに受け入れられやすい回答を目指すあまり、表面的に辻褄の合う出力を確率的に生成してしまう傾向があります（迎合バイアス）。正しさよりも「もっともらしさ」や「受け取りのよさ」が前に出やすくなるのです。これは「人間に好まれる応答」を高く評価する訓練設計に起因すると思われる問題です。
第二に、文脈が長くなったり抽象度が上がったりする局面では、「語り手の立場」や「感情のニュアンス」など、表面から一歩踏み込んだ視点を安定して取り込むことが難しくなる傾向があります（文脈把握限界バイアス）。生成AIが長いやり取りの前半を「忘れているように」見える問題です。ただしこの点はモデルによって差があり、改善も進んでいるようです。
第三に、ユーザーが新たな視点や批判的な問いを投げかけるまでは、AIが自発的に深い分析や留保を示すことが少ない傾向があります（追随バイアス）。利用者が問いを深めたり新しい視点を提供せずに黙っていると、それまでのやり取りの延長線上で「それらしく」まとめてしまう傾向のことです。一部では改善も見られますが、なお残る傾向です（なお、括弧内の呼称はいずれも私（鈴木）の造語であり、定着した用語ではありません）。
以上の三点は出力の質・精度に関わる技術的問題ですが、これとは性格の異なる構造的問題がもう一点あると思います。出力そのものには責任主体が内在しないため、誤りや偏りが生じても制度的に誰も咎められない構造になっているという点です。これはバイアスの問題というより、ガバナンス上の欠陥——責任空白——と呼ぶべきものだと思います。たとえば、医療・金融・行政手続きのように誤りのコストが高い領域で不適切な助言が出ても、そこで生じた損害の「責任の所在」は曖昧になりやすい。利用者が全責任を負うのか、提供者がどこまで負うのか、この問いに答える制度的な枠組みを早急に整える必要があるのではないでしょうか。
こうした限界を踏まえると、少なくとも現段階では「生成AIへの丸投げはできない」というのが、一利用者としての偽らざる実感です。もちろん、こうした性質を理解した上で利用していれば、ユーザーは自分の考えを深め、広げることが可能です。だからこそ、出力を鵜呑みにするのではなく、前提条件を点検しながら一定の距離感を保つことが重要になります。
たとえば『生成AI時代の教養 技術と未来への21の問い』（IT批評編集部 編、桐原永叔著（風濤社））で指摘されているように、「科学技術が発展していく中で、人間の主体性を確保しておく必要がある」という認識は、個々の利用者の問題にとどまらず、社会的・制度的な課題でもあります。ELSI（倫理的・法的・社会的課題）の視点を欠いたまま生成AIの普及が進めば、その影響は利用者個人の範囲を超えて広がりかねません。
この点で、次の言葉が示唆に富むと感じています。「生活の上でいろいろ頼りにするものができるのはいいことなんだけど、『すがりはしない』よう気をつけている。頼りにはするが、すがらない」（白央篤司『はじめての胃もたれ』p.195）。この姿勢こそ、生成AI時代を生き抜くための、最もシンプルで、最も難しいルールだと思うのです。
以上が、ChatGPT登場から3年弱、毎日使い続けてきた一利用者の、現時点での結論です。
