エピソード

  • ローカルLLMが遅い？「推論エンジン」で速さが変わる

    ローカルLLMが遅い？「推論エンジン」で速さが変わる
    2026/11/05
    ローカルLLMの「推論エンジン」とは何か、言葉の定義からお話ししています。モデルはファイルで、それを動かすのが推論エンジン。音楽のMP3とプレイヤーにたとえながら、同じモデルでも動かす仕組みで速さが変わる理由と、遅いと感じたときに見直す順番を整理しました。 🕐タイムスタンプ 00:00 オープニング：推論エンジンって何？ 00:53 OllamaとStrataは何が違うのか 01:13 結論：モデルはファイル、動かすのは推論エンジン 01:25 そもそも「推論」とは何か 02:23 ダウンロードするモデルの正体 03:12 MP3とプレイヤーのたとえ 03:37 推論エンジンがやっていること 04:00 言葉の整理：モデル・推論エンジン・実行環境・ハーネス 05:37 なぜ推論エンジンはいろいろあるのか 06:06 違い1：どの機械向けに作られているか 06:41 違い2：メモリの使い方 06:53 違い3：モデルのタイプに合わせた工夫 07:35 Ollamaが悪いわけではない 07:50 遅いと感じたら、買い替える前にできること 08:45 注意点：エンジンを変えても賢さは変わらない 09:36 まとめ 🔗 AIを仕事に取り入れていくSubstack（特典PDFあり）: https://ikkaku.substack.com/ #ローカルLLM #AI活用 #推論エンジン #Ollama --- stand.fmでは、この放送にいいね・コメント・レター送信ができます。 https://stand.fm/channels/695826926f1e5aedb1ead45c
    続きを読む 一部表示
    10 分
  • ローカルLLMは本当に外に出ない？安全の基本は「つながない」

    ローカルLLMは本当に外に出ない？安全の基本は「つながない」
    2026/11/04
    ローカルLLMは本当に外に出ないのか、よく聞かれる質問についてお話ししています。「外に出ない」というより「外がない」状態をどう作るのかを、つながない環境で動かすことと、必要なものしか与えないことの2つに分けて整理しました。 🕐タイムスタンプ 00:00 オープニング：ローカルLLMは外に出ないのか 01:42 1つ目：ローカルLLMはつながなくても動く 02:40 出ないように気をつけるより、外をなくす 03:26 社内LANに置くだけでは閉域にならない 04:45 Ollamaの設定だけでは完結しない 05:29 つなぐときの手順を決めておく 05:51 入れるモデルは出所の分かるものだけ 06:39 つながらなくても更新は必要 07:10 2つ目：道具・資料・使う人を絞る 07:40 Ollamaにログインの仕組みはない 08:19 まとめ 🔗 AIを仕事に取り入れていくSubstack（特典PDFあり）: https://ikkaku.substack.com/ #ローカルLLM #AI活用 #Ollama #AIセキュリティ --- stand.fmでは、この放送にいいね・コメント・レター送信ができます。 https://stand.fm/channels/695826926f1e5aedb1ead45c
    続きを読む 一部表示
    9 分
  • 社内資料で答えるAI「RAG」って何？Difyなら画面で作れる

    社内資料で答えるAI「RAG」って何？Difyなら画面で作れる
    2026/11/03
    「RAG（ラグ）」は、AIに資料を見ながら答えさせる仕組みです。資料持ち込みOKの試験にたとえて中身を整理し、ローカルLLMとの相性、Difyでの作り方、Gemini Notebookとの違いをお話しします。 🕐タイムスタンプ 00:00 オープニング：RAGって何？ 00:30 うちの資料をAIに使わせたい、という相談 01:04 名前の意味：探す・足す・答えを作る 01:57 たとえるなら資料持ち込みOKの試験 02:53 RAGの中で起きていること 03:50 なぜRAGがいるのか 04:35 ローカルLLMと相性がいい 05:04 どうやって登録するのか：Difyというツール 05:57 Difyの使い方：資料を入れて、つないで、質問する 06:25 イメージはGemini Notebook 07:10 まとめ 🔗 AIを仕事に取り入れていくSubstack（特典PDFあり）: https://ikkaku.substack.com/ #AI活用 #RAG #Dify #ローカルLLM #生成AI --- stand.fmでは、この放送にいいね・コメント・レター送信ができます。 https://stand.fm/channels/695826926f1e5aedb1ead45c
    続きを読む 一部表示
    8 分
  • ローカルLLMが遅いなら「MoE型」を試す。速さが変わる理由

    ローカルLLMが遅いなら「MoE型」を試す。速さが変わる理由
    2026/11/02
    ローカルLLMが遅いと感じたら、「MoE型」のモデルを試してみてください。全員出席の会議にあたるDense型と、担当者だけが出る会議にあたるMoE型の違い、速さの目安、モデル名での見分け方についてお話しします。 🕐タイムスタンプ 00:00 オープニング：モデルの2つのタイプ 02:51 前回の振り返りと今日のテーマ 03:27 Dense型とMoE型、結論から 04:00 Dense型は全員出席の会議 04:44 MoE型は担当者だけが出てくる会議 05:35 MoE型の落とし穴：メモリは大きいモデル並み 06:09 Qwenで比較：秒間60トークンと10トークン 06:57 トークンと速さの目安 07:29 試すならMoE型から。名前での見分け方 07:59 手持ちのマシンの目安 08:20 VRAMとメモリの見方 09:00 まとめ 🔗 AIを仕事に取り入れていくSubstack（特典PDFあり）: https://ikkaku.substack.com/ #AI活用 #ローカルLLM #生成AI #MoE #Qwen --- stand.fmでは、この放送にいいね・コメント・レター送信ができます。 https://stand.fm/channels/695826926f1e5aedb1ead45c
    続きを読む 一部表示
    10 分
  • 「ローカルLLM」はどの現場で求められる？医療・士業から広がる理由

    「ローカルLLM」はどの現場で求められる？医療・士業から広がる理由
    2026/11/01
    「ローカルLLM」は、どんな現場で求められているのか。今日参加したセミナーの熱気も踏まえて、外に出せない情報を持つ医療・士業・設計・自治体から広がっていく理由と、メモリが高騰している今の試し方についてお話しします。 🕐タイムスタンプ 00:00 オープニング：ローカルLLMはどの現場で求められる？ 01:16 ここ数回のローカルLLMの話の続き 01:34 今日参加したローカルLLMのセミナー 02:12 なぜローカルモデルを入れたいのか 02:57 漏れる前提の設計と、ローカルLLM 03:14 求められる現場：医療・士業 04:01 求められる現場：設計・製造業・建築 04:24 求められる現場：自治体 04:45 普及の変数は機材とメモリの価格 05:17 メモリが高騰している背景 06:09 今のおすすめ：手持ちのマシンで試す 07:25 31万円のWindows PCで動かしてみた実感 07:48 ポイントはGPUのメモリ（VRAM） 08:12 注目度はかなり高い 09:10 まとめ 🔗 AIを仕事に取り入れていくSubstack（特典PDFあり）: https://ikkaku.substack.com/ #AI活用 #ローカルLLM #生成AI #情報漏洩 #ゲーミングPC --- stand.fmでは、この放送にいいね・コメント・レター送信ができます。 https://stand.fm/channels/695826926f1e5aedb1ead45c
    続きを読む 一部表示
    10 分
  • 「情報漏洩」は防ぎきれない。会社は今から何を整える？

    「情報漏洩」は防ぎきれない。会社は今から何を整える？
    2026/10/31
    「情報漏洩」は、もう完全には防ぎきれない時代になってきました。個人情報保護委員会の最近の動きも踏まえて、会社が今から整えておきたい「被害を小さくする設計」と「起きた時に説明できる体制」についてお話しします。 🕐タイムスタンプ 00:00 オープニング：情報漏洩は防ぎきれない前提で 01:09 最近いちばん多い相談「どうやって守ればいい？」 01:27 結論：被害を小さくする設計と、説明できる体制 01:54 Claude Codeでアプリを公開したい、という相談 02:50 情報漏洩を完全に防ぐのは、ほぼ無理ゲー 03:45 国も「入られても広げない」方向へ 04:38 対策1：そもそも置かない、使ったら消す 06:28 対策2：外に出さない、出すなら暗号化 07:27 起きた時に説明できるか 07:58 漏えい時の報告義務と期限 08:51 改正法で課徴金が新設 09:24 「ここまでやっていました」と言えるか 09:45 まとめ 🔗 AIを仕事に取り入れていくSubstack（特典PDFあり）: https://ikkaku.substack.com/ #AI活用 #情報漏洩 #個人情報保護法 #セキュリティ対策 --- stand.fmでは、この放送にいいね・コメント・レター送信ができます。 https://stand.fm/channels/695826926f1e5aedb1ead45c
    続きを読む 一部表示
    12 分
  • 大きなAIが手元のPCで動く理由、「量子化」は写真の画質と同じ

    大きなAIが手元のPCで動く理由、「量子化」は写真の画質と同じ
    2026/10/30
    ニュースでよく見る「量子化」「4ビット版」「1ビットで動く」を、スマホ写真の画質にたとえて一言で説明します。本来は自宅のパソコンに入らないほど大きなAIが、なぜ手元で動くのか。画質を落としすぎるとどうなるのか、用途での選び方までお話しします。 🕐タイムスタンプ 00:00 オープニング：大きなAIがなぜ普通のパソコンに入るのか 01:09 前回さらっと出した「量子化モデル」 01:43 手元で動くAIには、サイズの壁がある 02:06 中身が公開されたオープンウェイトのモデル 02:36 手元で動かすと何がいいのか 02:50 性能が高いAIほどファイルが大きい 03:15 量子化は、写真の画質を落とすのと同じ 04:12 4ビット、1ビットは画質の設定 04:24 メタやGemmaの例 04:55 Ollamaのモデルは、最初から量子化版が多い 05:34 画質を落としすぎると、細かいところで粗が出る 05:56 用途で画質を選ぶ 06:26 ニュースで「1ビットで動く」と見たら 06:51 まとめ 🔗 AIを仕事に取り入れていくSubstack（特典PDFあり）: https://ikkaku.substack.com/ #AI活用 #量子化 #ローカルLLM #オープンウェイト --- stand.fmでは、この放送にいいね・コメント・レター送信ができます。 https://stand.fm/channels/695826926f1e5aedb1ead45c
    続きを読む 一部表示
    7 分
  • 最近の情報漏洩騒ぎを見て、もううんざりな理由

    最近の情報漏洩騒ぎを見て、もううんざりな理由
    2026/10/29
    情報漏洩が起きても、謝罪と「お見舞い3000円」で終わってしまう。そんな今の仕組みにうんざりしている理由を、正直にお話しします。「周りも出ているから仕方ない」という空気、自分で動いても守られない被害者の現状、漏れた免許証の画像で本人確認が通ってしまう問題。そして、チームみらいの安野貴博さんの提言から、社会全体で変えていきたい方向を3つ紹介します。 🕐タイムスタンプ 00:00 オープニング：情報漏洩騒ぎにうんざりしている理由 01:30 悪夢のような状況、みんな対処法がわからない 02:10 結論：セキュリティだけでなく社会の仕組みも変える 02:34 うんざり①謝罪と3000円で終わる 03:35 うんざり②「周りも出ているから仕方ない」という空気 04:18 うんざり③自分で動いても守られない 05:47 漏れた画像で本人確認が通ってしまう 06:43 本人確認のあり方そのものが破綻している 07:07 チームみらい・安野貴博さんの提言 07:50 提言①守るほうが安い、にする 08:25 提言②被害者が自分で動かなくていい 09:04 提言③そもそも画像を持たない 09:48 システムを直せば済む話ではない 10:09 まとめ 🔗 AIを仕事に取り入れていくSubstack（特典PDFあり）: https://ikkaku.substack.com/ #情報漏洩 #個人情報 #本人確認 #セキュリティ --- stand.fmでは、この放送にいいね・コメント・レター送信ができます。 https://stand.fm/channels/695826926f1e5aedb1ead45c
    続きを読む 一部表示
    11 分