עונה 3 פרק 13 - סוף עונה חלק ב - אופטימיזציה של מודלי בינה מלאכותית - פרופ׳ ניר שביט
カートのアイテムが多すぎます
カートに追加できませんでした。
ウィッシュリストに追加できませんでした。
ほしい物リストの削除に失敗しました。
ポッドキャストのフォローに失敗しました
ポッドキャストのフォロー解除に失敗しました
עונה 3 פרק 13 - סוף עונה חלק ב - אופטימיזציה של מודלי בינה מלאכותית - פרופ׳ ניר שביט
-
ナレーター：
-
著者：
概要
בפרק הסיום שלנו אנו שוברים את המיתוס שמודלים חייבים להיות מפלצות GPU. פרופ’ ניר שביט, מייסד-שותף של Neural Magic וכיום ברד האט, חושף כיצד Sparsity ו-Quantization מצמצמים את משקל המודל, חוסכים בזיכרון ובכסף – ומשאירים את הביצועים בשיא. ניר מסביר למה vLLM הוא ה”לינוקס” של עולם ה-LLM: שכבת אינפרנס פתוחה שמסתירה את כאב-הראש של חומרה משתנה ומנהלת זיכרון, תזמון ומשאבים על פני כמה GPUs, תוך תחרות צמודה מול TensorRT והפתרונות הסגורים. בהמשך, אנחנו מדברים על העתיד: האם נגיע ל-AGI דרך מודל אחד ענקי, או דווקא בזכות אקו-סיסטם של “מיקסטר אוף אקספרטס” – הרבה מודלים קטנים וממוקדים שכל אחד מצטיין בתחומו? ניר טוען שהכול עניין סטטיסטי, ושמה שחסר לנו הוא בעיקר עוד דאטה משוכלל, לא מודעות עצמית. סיום עונה שמוכיח שאפשר לעשות יותר עם פחות – ושהמרוץ אחר מודלים יעילים רק מתחיל.