金融翻訳者の日記/A Translator's Ledger

自営業者として独立して十数年の翻訳者が綴る日々の活動記録と雑感。

生成AIは「任せっ放し」にはできない(2024年2月9日)

試みにChatHubを使って六つの生成AIに同じ文章を読ませ、「最も重要な一文をそのまま抜き出せ」というプロンプトを入力すると、すべてが違った文章を選ぶことがある(重なることはもちろん多い)。またChatGPTを使う場合にも、使う時間によって回答が異なることもよくある。これはなぜ起きるのだろう?

同じプロンプトでも尋ねたタイミングによって、あるいは利用する生成AIの種類によって回答が違ってくる理由は、必ずしも生成AIが「間違っている」からではなく(もちろんそういうこともある)、生成AIのその時の状況(種類、タイミング、学習状況等)によって捉え方の価値観が異なるからではないか、というのがこれまでの経験から得た仮説である。

それを防ぐ(i.e:自分の求めていた回答の方向性になるべく近づける)方法は二つあると思う。
①プロンプトの指示内容(特に回答に当たって配慮すべき観点)を可能な限り細かくする。
②生成AIの回答を「自分(プロンプトを出す側)の感覚や観点に合わせて調整していく。

①も②も必要だと思うけどとりわけ②が重要。というのも、①には限界があるからだ。

つまり出てきた答えが、自分がプロンプトを入力していた時に狙っていたポイントから明らかに違う(ずれている)場合には明示的に結果を変更できるが、「ん?よくわからないけど自分が求めていたこととちょっと違うな」ということも往々にしてあるからだ。その「感覚の違い」とは、さまざまな経験を通じて自分には身に着いているのだが、体内(あるいは脳内)に定着しちゃって意識の底に沈んでいる「観点」ではないだろうか。そしてこの観点は「価値観」と言い換えられると思う。

そうした「価値観」をすべて事前に意識上に顕在化させてプロンプトに反映させるのは無理がある。きりがない。したがって利用する側としては、プロンプトを作成する際にはポイントをある程度絞るかカバーすべき価値観をなるべく広げるかのどちらかしかないがそこは無理せず、その時にできる範囲にとどめてまずはプロンプトを実行させ、あとは生成AIの回答が出た後で、その回答を自分の知識や理性(意識上にあるもの)と感覚(普段は意識下に沈んでいる物)をフル活用して修正していく、ということだと思う。そうしないと狙っていたものとずれてしまうからだ。その意味では最終チェック者としての人間がどうしても必要だ。

ChatHubに様々な文章を要約させているうちに気が付いた仮説です。

tbest.hatenablog.com

 

tbest.hatenablog.com

chromewebstore.google.com