『株式会社ずんだもん技術室AI放送局 podcast 20250604』のカバーアート

株式会社ずんだもん技術室AI放送局 podcast 20250604

株式会社ずんだもん技術室AI放送局 podcast 20250604

無料で聴く

ポッドキャストの詳細を見る

このコンテンツについて

 関連リンク AIに「分からない」と言わせるための「RAG」の手法 RAG（Retrieval Augmented Generation）は、AIが学習済みデータから得た知識（内部知識）に加え、外部の情報源から検索した情報（外部知識）も参照して回答を生成する技術です。これにより、AIはより正確な情報に基づいた回答を出せるようになります。 しかし、従来のRAGや、さらに工夫を凝らした手法（Astute RAG、RAFTなど）を使っても、AIは回答に必要な情報が内部にも外部にもない場合でも、もっともらしいが実際は誤った情報を作り出してしまう「ハルシネーション（もっともらしいが、実際は誤った情報を生成してしまうこと）」を起こすことがあります。これは、AIが自分の知識の限界を正確に判断するのが難しいためです。 特に、高い信頼性が求められる分野でAIを利用する場合、ハルシネーションは大きな問題となります。そこで注目されているのが、新しい手法「DTA（Divide-Then-Align）」です。この手法の目的は、AIが本当に分からないことには、正直に「分かりません」と答えられるようにすることです。 DTAのポイントは、AIが「分からない」と答えるべき状況を明確に定義し、それを学習させる点にあります。質問に対して、AIが持つ知識で答えられるか、そして外部情報に答えがあるか、という2つの観点からデータを分類します。そして、AIも外部情報も答えを持っていないケース（本当に分からない状況）での「分かりません」という回答を「正しい回答」として学習させることで、AIに知識の境界線を認識させ、「これは答えられない」と判断できるようにします。 このDTA手法を適用した結果、従来のRAGモデルと比較して、回答の正確さを保ちながら、「分からない」と適切に答える能力が大幅に向上することが示されました。特に、知識が全くない状況での正直さが大きく改善されています。 企業向けにAIシステムを提供する場面では、ユーザーがハルシネーションを一度経験すると、AIへの信頼を失ってしまうことがよくあります。そのため、AI自身が知識の限界を理解し、正直に振る舞うことは、AIシステムを広く普及させる上で非常に重要です。今後、様々な種類の情報を取り込むRAGが増えていく中で、DTAのような、AIが「分からない」と言えるようにする技術は、システム開発の重要なポイントとなるでしょう。RAGシステムを開発する際の選択肢として、この考え方が参考になれば幸いです。 引用元: https://zenn.dev/knowledgesense/articles/468d7c853901f8 No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL 大規模言語モデル（LLM）の学習手法の一つにGRPOというものがあります。これはモデルが自分で文章などを生成し、その結果をもとに学習を進める方法です。この「生成」のステップが学習全体の処理速度（スループット）を遅くする原因（ボトルネック）になることがあります。 Hugging FaceのTRLライブラリでは、この生成ステップを高速化するためにvLLMという技術を利用しています。しかし、これまでは学習を行うGPUとvLLMが動作するGPUを別々に用意する必要がありました（これを「サーバーモード」と呼びます）。この方式では、学習中にvLLMのGPUが待機したり、逆に生成中に学習用のGPUが待機したりと、お互いがアイドルになる時間が多く発生し、GPUリソースの無駄が多く、コストも高くなりがちでした。 この問題を解決するため、TRLに新しく「コローケーションモード」が追加されました。これは、学習とvLLMによる生成を「同じGPU」で実行できるようにする技術です。これにより、学習と生成が同じGPU上で順番に処理されるため、GPUのアイドル時間を大幅に削減できます。また、別々のプログラムとして通信する必要がなくなり、処理のオーバーヘッドも減ります。 実験の結果、コローケーションモードは従来のサーバーモードと比較して、GPUを効率的に使用し、全体の処理速度を向上させることが確認されました。特に、一度に多くのデータを処理する場合や、比較的大きなモデルを扱う場合に効果が高いことが示されています。さらに、非常に大きなモデル（72Bパラメータ）でも、vLLMのGPUメモリ解放機能（sleep...

株式会社ずんだもん技術室AI放送局 podcast 20250604に寄せられたリスナーの声

カスタマーレビュー：以下のタブを選択することで、他のサイトのレビューをご覧になれます。

Audible.co.jp

Amazon.co.jp
レビューはまだありません。