Meta REFRAG: 30x Faster and Smarter Knowledge Access
カートのアイテムが多すぎます
カートに追加できませんでした。
ウィッシュリストに追加できませんでした。
ほしい物リストの削除に失敗しました。
ポッドキャストのフォローに失敗しました
ポッドキャストのフォロー解除に失敗しました
Meta REFRAG: 30x Faster and Smarter Knowledge Access
-
ナレーター：
-
著者：
このコンテンツについて
Tune into "REFRAG: Rethinking RAG Decoding" to discover a cutting-edge framework revolutionizing Retrieval-Augmented Generation (RAG) in Large Language Models (LLMs). Learn how REFRAG tackles the challenges of long-context inputs, which typically cause high latency and memory demands.
This podcast explores REFRAG's innovative "compress, sense, and expand context" approach, leveraging attention sparsity in RAG contexts. We'll discuss its use of pre-computed chunk embeddings and a lightweight reinforcement learning (RL) policy to selectively determine necessary token input, reducing computationally intensive processes.
Discover how REFRAG achieves up to 30.85× time-to-first-token (TTFT) acceleration (3.75× over previous methods) and extends LLM context size by 16× without losing accuracy. Join us to understand how REFRAG offers a practical and scalable solution for latency-sensitive, knowledge-intensive LLM applications