『株式会社ずんだもん技術室AI放送局 podcast 20250917』のカバーアート

株式会社ずんだもん技術室AI放送局 podcast 20250917

株式会社ずんだもん技術室AI放送局 podcast 20250917

無料で聴く

ポッドキャストの詳細を見る

このコンテンツについて

 関連リンク グーグル「Gemini」が「ChatGPT」を抜いた–米App Storeで無料アプリ1位に 最近、AIの世界でとても注目すべきニュースがありました。Googleが開発したAIアシスタント「Gemini」のiPhoneアプリが、アメリカのApp Storeで、これまでトップだったOpenAIの「ChatGPT」を抜いて、無料アプリランキングの1位を獲得したんです。これは、AIの開発競争が激しくなる中で、Googleが大きな存在感を示した出来事と言えます。 このランキング上昇の大きな理由は、Geminiに新たに導入された画像生成AIモデル、「Gemini 2.5 Flash Image」通称「Nano Banana」の貢献です。このモデルは、画像編集の能力が非常に優れていて、たとえば写真に新しい要素を違和感なく追加したり、既存の画像を驚くほど自然に加工したりできます。この革新的な機能がユーザーに大好評で、リリースからわずか数週間で2億枚以上ものAI画像が生成され、Geminiアプリの新規ユーザーも1000万人以上増加しました。 もちろん、App Storeのアプリランキングは常に変動するものなので、Geminiがこの先もずっと1位を維持するとは限りません。しかし、今回の出来事が示しているのは、単にGoogleのAIがGoogle検索やGmailといった既存のサービスに「おまけ」のように組み込まれているだけでなく、Geminiアプリのように「単独のAI製品」としても多くのユーザーが「自分から進んで使いたい！」とダウンロードし、支持しているということです。 これまでのGoogleのAI戦略は、既存の主力製品にAI機能を統合することが中心でしたが、Geminiアプリの成功は、ユーザーがAIを独立したツールとしても強く求めている明確な証拠と言えるでしょう。この傾向が続けば、現在のAI業界のリーダーであるChatGPTの地位を脅かし、AI開発競争はさらにヒートアップすることが予想されます。私たち新人エンジニアにとっても、AIの進化がますます加速し、次々と新しいサービスや技術が生まれてくる、まさに「面白い時代」にいることを実感させるニュースですね。AIの動向はこれからも要チェックです！ 引用元: https://japan.cnet.com/article/35238014/ Reducing Cold Start Latency for LLM Inference with NVIDIA Run:ai Model Streamer 大規模言語モデル（LLM）は、ChatGPTのように非常に賢いAIですが、その分、モデルのサイズも数十GB～数百GBと非常に巨大です。これを実際に動かす（推論する）とき、GPUという高速な計算装置にモデルのデータを読み込む必要があります。この読み込みが、まるでパソコンの起動に時間がかかるように、推論開始まで待たされる「コールドスタート遅延」として、ユーザー体験やサービスの安定性（スケーラビリティ）を悪くする大きな課題となっています。 今回NVIDIAから発表された「NVIDIA Run:ai Model Streamer」は、このコールドスタート遅延を大幅に減らすための画期的なオープンソースツールです。これはPythonのSDK（開発キット）として提供され、モデルの重み（データ）をストレージからGPUメモリへ、複数の処理を同時に行いながら（並行して）直接ストリーミングするという仕組みで、高速なロードを実現します。 従来のモデルロードは、まずストレージからCPU（パソコンの頭脳）へデータを読み込み、次にCPUからGPU（高速計算装置）へ転送するという順番で行われていました。この逐次処理がボトルネックでしたが、Model StreamerはCPUとGPUがそれぞれ独立した処理を行える特性を活かし、データを読み込みながら同時にGPUへ転送することで、待ち時間を劇的に短縮します。さらに、Safetensorsのような一般的なモデル形式をそのまま使えるため、余計な変換の手間もかかりません。 このツールの性能を測るため、複数のストレージ環境（ローカルSSDやAmazon S3などのクラウドストレージ）で、既存のモデルローダーと比較するベンチマークが行われました。その結果、NVIDIA Run:ai Model Streamerは、いずれの環境においても、特に並行処理数を増やすことでモデルロード時間を大幅に短縮し、他のツールを上回るパフォーマンスを発揮することが実証されました。特に、クラウド環境からのロードでは顕著な改善が見られました。 LLMを開発・運用する新人エンジニアの皆さんにとって、この...
まだレビューはありません