公開日
この記事をシェアする 
新しい研究によると、研究者らは、人工知能（AI）のテキストモデルがいつ「幻覚を起こす」可能性があるかを予測できる方法を検討した。
新しい研究によると、オックスフォードの研究チームが開発した手法は、AIモデルが特定の種類の幻覚や不正確な答えである「作話」を防ぐ可能性があるという。
生成人工知能 (genAI) に対する誇大宣伝が続く中、AI モデルの幻覚に関する批判が高まっています。これらは、OpenAI の GPT や Anthropic の Claude などの大規模言語モデル (LLM) からの、もっともらしく聞こえる誤った出力です。
これらの幻覚は、医学、ニュース、法律問題などの分野に関して特に問題となる可能性があります。
「『幻覚』は非常に幅広いカテゴリーであり、ほぼあらゆる種類の大規模な言語モデルが間違っていることを意味する可能性があります。私たちは、LLM が理由もなく間違っているケースに焦点を当てたいと考えています（たとえば、間違ったデータで訓練されたために間違っているのではなく）」とオックスフォード大学コンピューターサイエンス学部のセバスチャン・ファークハー博士はユーロニュースに語った。次。
「以前のアプローチでは、モデルが何を言うべきか不確実であるか、どのように言うべきかが不確実であるかの違いを区別することはできませんでした。しかし、私たちの新しい方法はこれを克服します」と、本日ジャーナルに掲載された研究に関する声明で彼は付け加えた自然。
「LLM から回答を得るのは低コストですが、信頼性が最大のボトルネックです。」
この方法は、意味エントロピーを通じて出力の意味の不確実性または変動性を測定することによって機能します。
単なる単語の並びではなく、応答の意味の不確実性に注目します。
たとえば、言語モデルに質問があり、いくつかの考えられる応答が生成される場合、意味論的エントロピーは、これらの応答が意味の点でどれだけ異なるかを測定します。
意味が非常に類似している場合、エントロピーは低く、意図された意味に対する信頼度が高いことを示します。意味が大きく異なる場合、エントロピーが高く、正しい意味が不確実であることを示します。
「LLM が質問に対する回答を生成するとき、何度も回答してもらいます。次に、さまざまな答えを相互に比較します」とファーカー氏は言いました。
「これまで、人々は、自然言語では同じことを言うのにさまざまな方法があるという事実を正していませんでした。これは、モデルの出力が明確である他の多くの機械学習の状況とは異なります。」と彼は付け加えました。
6 つの LLM (GPT-4 および LLaMA 2 を含む) でテストしたところ、この新しい方法は、Google 検索から引き出された質問、技術的な生物医学的な質問、および誤った回答を引き起こす可能性のある数学的問題を見つける点で、他の方法よりも優れていました。
ただし、この方法では、単純なテキスト生成と比較して、より多くのコンピューティング リソースが必要になります。
「LLM から回答を得るのは低コストですが、信頼性が最大のボトルネックです。信頼性が重要な状況では、意味論的な不確実性を計算することは小さな代償です」と、この研究の主著者であるヤリン・ガル教授は述べた。
幻覚は、LLM に対する主な批判の 1 つです。 Googleは最近、誤解を招く回答に対する反発を受けて、新しいAI概要機能を無効にした。
