『ローカルLLMが遅いなら「MoE型」を試す。速さが変わる理由』のカバーアート

ローカルLLMが遅いなら「MoE型」を試す。速さが変わる理由

ローカルLLMが遅いなら「MoE型」を試す。速さが変わる理由

無料で聴く

ポッドキャストの詳細を見る
概要
 ローカルLLMが遅いと感じたら、「MoE型」のモデルを試してみてください。全員出席の会議にあたるDense型と、担当者だけが出る会議にあたるMoE型の違い、速さの目安、モデル名での見分け方についてお話しします。 🕐タイムスタンプ 00:00 オープニング：モデルの2つのタイプ 02:51 前回の振り返りと今日のテーマ 03:27 Dense型とMoE型、結論から 04:00 Dense型は全員出席の会議 04:44 MoE型は担当者だけが出てくる会議 05:35 MoE型の落とし穴：メモリは大きいモデル並み 06:09 Qwenで比較：秒間60トークンと10トークン 06:57 トークンと速さの目安 07:29 試すならMoE型から。名前での見分け方 07:59 手持ちのマシンの目安 08:20 VRAMとメモリの見方 09:00 まとめ 🔗 AIを仕事に取り入れていくSubstack（特典PDFあり）: https://ikkaku.substack.com/ #AI活用 #ローカルLLM #生成AI #MoE #Qwen --- stand.fmでは、この放送にいいね・コメント・レター送信ができます。 https://stand.fm/channels/695826926f1e5aedb1ead45c
adbl_web_anon_alc_button_suppression_t1
まだレビューはありません