『株式会社ずんだもん技術室AI放送局 podcast 20260729』のカバーアート

株式会社ずんだもん技術室AI放送局 podcast 20260729

株式会社ずんだもん技術室AI放送局 podcast 20260729

無料で聴く

ポッドキャストの詳細を見る
youtube版(スライド付き) 関連リンク 【速報】Kimi-K3 を Day0 デプロイ。2.8T モデルは NVIDIA B300 x8 の 1 ノードで動くのか Moonshot AIが公開した史上最大規模のオープンウェイトMoEモデル「Kimi-K3(総パラメータ2.8T、アクティブ104B)」を、公開当日にNVIDIA B300 x8のシングルノード環境へデプロイし、推論性能とコーディング品質を検証した速報記事です。日本のエンジニアに向けて、実践的な導入ポイントを解説します。 検証環境にはNVIDIA B300 SXM6(288GB HBM3e x8)を搭載したシングルノードを使用し、推論エンジンにはDecode Context Parallelism(DCP)に対応したSGLangを採用しています。Kimi-K3は、Kimi Delta Attention(KDA)とAttention Residualsというハイブリッド構造を採用しており、KVキャッシュの効率化が重要となります。公開ウェイトはSFT段階から量子化認識学習(QAT)を行ったMXFP4形式で提供されているため、追加の量子化作業なしで約1.6TBのウェイトをそのままシングルノードのGPUメモリに収めてロードできます。 デプロイ時の起動コマンドでは、SGLangの--mamba-full-memory-ratioパラメータの調整が鍵となります。今回はこの値を5に設定したためKDA側の状態プールにメモリが寄り過ぎ、長文コンテキスト用のMLA KVキャッシュが制限される反省点が得られました。ワークロード(短文多並列か長文エージェントか)に応じた適切な比率設定がパフォーマンスを左右します。また、モデルのロードには約81分を要するため、設定変更時の試行錯誤では起動時間の考慮が必要です。 ベンチマークの結果、同時リクエスト数30程度までスループットが良好にスケールし、2.8Tという巨大なモデルサイズでありながら非常に実用的な速度を確認できました。また、主観的なコーディング性能の検証として「A*経路探索の可視化ツール」を単一HTMLで実装させたところ、要求された二分ヒープの手実装やタイブレーク処理を正確にこなすだけでなく、キーボードショートカットや操作パネルの自発的な追加など、高い完成度のコードを出力しました。 総じて、MXFP4ネイティブ配布と投機的デコーディング(DSPARK)の組み合わせにより、超大規模モデルをオンプレミス環境の1ノードで実用的に運用できる見通しが得られた重要な検証事例です。 引用元: https://zenn.dev/fixstars/articles/kimi-k3-benchmark AIがChromeを自分で見る時代へ。Chrome DevTools for agents入門 AIエージェントにブラウザの画面表示や開発者ツールを確認させながらコードの修正や検証を行わせる技術「Chrome DevTools for agents」の導入方法と実践的な使い方についての解説記事です。 本技術は、Chromeの開発者ツールをAIエージェントから利用できるようにする仕組みであり、「MCP(Model Context Protocol)サーバー」「CLI」「Agentic Skills」の3要素で構成されています。2025年に登場したDevTools MCPの後継として、2026年5月にバージョン1.0がリリースされました。 導入方法として、Claude CodeやCodex CLIなどのAIエージェント環境へプラグインやMCPサーバーを追加する手順が紹介されています。さらに、リモートデバッグ機能を有効にして--autoConnectオプションを指定することで、普段利用している起動中のChromeに接続し、ログイン状態やCookie、各種ストレージを引き継いだ状態での検証も可能です。 記事では具体的なデモとして2つの活用事例が挙げられています。 1つ目のデモでは、AIエージェントにCSSレイアウトの修正とマルチデバイス(1280px幅と375px幅)での表示確認を指示し、grid-template-columnsの調整などを自律的に行わせています。 2つ目のデモでは、フォームの入力チェック、エラー表示、送信完了時のトーストUIの実装と、有効値・無効値を組み合わせた全パターンの送信テストを自動化しています。 また、コンソールエラーの調査やLighthouseの実行、アクセシビリティーの検証なども同様に依頼可能です。 運用のポイントとして、対話的で細かい確認が必要な場合は「MCPサーバー」、複数の操作をまとめて中間結果を減らしトークン効率を高めたい場合は「CLI」と、用途に応じた使い分けが推奨されています。さらに、Playwright MCPやSafari MCP serverなど他のツールも含め、目的に応じて適切に選択...
adbl_web_anon_alc_button_suppression_t1
まだレビューはありません