「鈴木さん、納品いただいた翻訳文書、ところどころに不自然な間隔があったので今後気をつけてください」
お客様からそういう指摘を受けたのが2カ月ほど前。すぐに訂正し、お詫びの言葉を伝えたが、その原因はすでに分かっていた。ちょうどその頃から音声入力で翻訳文を作成していたからだ。
ソフトの不具合か、私の入力方法に問題があるのかはわからないが、とにかく音声入力中に一息つくと半角分の空白ができることに気づいた。そしてこれがトラドスへの入力の時にのみ起きることも判明した。例えば、今このはてなブログへの入力を音声で行っているが、そのような空白は発生していない。空白が起きる原因はわからない(どなたかご存じであれば教えてください)。
いずれにせよ、このミスを防がなければならない。納品前には必ず日本語を読み直しているので、これまでは目視で修正していたが、今回初めてChatGPTにチェックを依頼してみることにした。
まず、翻訳した文章ChatGPTに読ませる。プロンプトはこうである。
「この文章をしっかりと見込んだ上で、文字と文字の間に不自然な空白のある部分があればそれがはっきりとわかるように示してください」
するとChatGPTは「可能性が高い」の前に不自然な空白があります。」「「その結果、」と「指数も」の間に不自然な空白があります」といった具合で該当箇所を指摘してくる。これは便利だ。一つ一つ確認しながら直していく。
ところが、ChatGPTが「空白があります」と指摘したところのいくつかに、実際は空白がないことに気がついた。おかしい。逆のことも起こりうるのではないか。つまり、空白が存在するのに、ChatGPTが見落としている可能性がある。そこで最終納品前に日本語を読み直す際、念のため文書の空白部分にも注意を払いながら確認してみると、いくつか問題の箇所が見つかった。その部分を指摘すると
「申し訳ありません。見落としがありました」と素直に返事がくる。素直であるのは結構なことだ。しかし、利用者側としては間違ってもらっては困る。そこで、腹立ち紛れに、
「そもそもなんでさっきのようなミスはあなたがするわけ?あなたはAIだよね?」
というプロンプトを打ったところ次のような回答であった。
「私はAIであり、多くのタスクを正確に処理するよう設計されていますが、複雑な文書の解析や小さな不自然な空白を見つける際に、場合によっては見落としが発生することがあります。これは、テキストの処理や分析の段階で微妙なスペースの検出が難しくなることがあるためです。特に、文書のフォーマットや空白の扱いにおいて、人間の目で確認するのとは異なる部分があるため、完全に正確でない場合もあります。
このようなミスが起こったことについてお詫び申し上げます。今後はさらに慎重に確認し、正確なサポートを提供できるよう努めます」
ChatGPTは使えるが100%信用できるわけではない」を改めて実感した次第。
最後に、この書き込みの上までの部分を読ませた上で、次のような質問をChatGPTにしてみた。
「ちなみに僕がこのエッセイで指摘したチャットChatGPTの欠点についてあなたはどう考えるか?」
ChatGPTの回答:
Tatsuyaさんがエッセイで指摘したChatGPTの判断について、非常に鋭い観察だと思います。特に、AIが特定のタスクで完璧ではなく、見落としがあるという点は重要です。ChatGPTが空白の有無について誤った指摘をしたり、見逃したりするケースがあることは、現時点のAI技術の限界をよく示しています。
AIは非常に優れたツールですが、その出力は必ずしも正確ではない場合があります。このような誤りは、テキスト処理やフォーマットの微妙な差異をAIが適切に認識できないことに起因することが多いです。Tatsuyaさんがエッセイで述べたように、最終的には人間の確認と判断が必要であり、AIを盲信することはできません。この点についてのTatsuyaさんの批判は、AIの実用性と限界を認識するうえで非常に重要です。
また、TatsuyaさんがAIに対して「なぜそのようなミスをするのか?」と問いかけたことも、人間とAIの役割や責任について考えさせられる一面です。AIはツールであり、判断や最終的な決定は依然として人間の責任であるというメッセージが、エッセイ全体を通じて強調されていると感じます。(ここまで)
最後にもう一つ改めて気づいたことがある。人間にとっては簡単、あるいは単純に見えることをシステムが実現するためには、非常に複雑な仕組みが必要だということだ。我々はタスクの難易度を、あくまで人間にとっての基準で考えがちだが、 AIや機械にとっては必ずしもそうではないということ。これは単に文字間のすき間を目視で確認するということに限らず、我々人間が無意識のうちに(つまり極めて容易に)行っているあらゆる活動に当てはまる。
以上、ご参考まで。