形式制約が左右するLLMの推論力
カートのアイテムが多すぎます
ご購入は五十タイトルがカートに入っている場合のみです。
カートに追加できませんでした。
しばらく経ってから再度お試しください。
ウィッシュリストに追加できませんでした。
しばらく経ってから再度お試しください。
ほしい物リストの削除に失敗しました。
しばらく経ってから再度お試しください。
ポッドキャストのフォローに失敗しました
ポッドキャストのフォロー解除に失敗しました
形式制約が左右するLLMの推論力
-
ナレーター：
-
著者：
このコンテンツについて
大規模言語モデル（LLM）がJSONやXMLのような構造化された形式で回答するよう制限された場合に、推論能力やドメイン知識理解などのパフォーマンスがどのように変化するかを調査しています。驚くべきことに、構造化形式による制限はLLMの推論能力を著しく低下させ、より厳しい制限ほど低下が大きいことが明らかになりました。ただし、分類タスクにおいては、構造化形式が精度を向上させる場合があることも示されています。研究では、constrained decoding、format-restricting instructions、NL-to-Formatなど、異なる制限方法の影響を評価し、緩やかな制限は推論タスクでパフォーマンスを向上させ、分散を減少させる傾向があることを示唆しています。また、パフォーマンスの違いは解析エラーだけによるものではなく、形式がLLMの推論および生成プロセスに与える影響が大きいことが示唆されています。https://arxiv.org/abs/2408.02442