בפרק זה אירחנו את איתי יונה, חוקר לשעבר ב-Google DeepMind ומומחה לאבטחת מידע ולמידת מכונה. בשיחה שכל כולה צוללת אל תוך עולם ה-Adversarial Machine Learning ובודקת עד כמה קל "לשבור" את מודלי השפה המתוחכמים ביותר שאנו מכירים כיום.

• מה זה בכלל Jailbreak? איתי מסביר כי בניגוד לאבטחת תוכנה קלאסית, כאן התקיפה מתמקדת במודל עצמו ובניסיון לגרום לו להתנהג בניגוד למטרה המקורית שלו דרך שינויים יצירתיים באינפוט.

• מתקפת "דאבל-ספיק" (DoubleSpeak): חשיפה של מחקר המראה כיצד ניתן "לחטוף" את המשמעות של מילים בתוך שיחה. על ידי החלפת מילים רגישות במילים תמימות (כמו החלפת "פצצה" ב"גזר"), ניתן לעקוף את שכבות ההגנה ולגרום למודל לייצר פלט מסוכן במסווה של טקסט לגיטימי.

• הסכנה שבמודלים הפתוחים: מתברר כי מתקפות שמתגלות על מודלים בקוד פתוח (כמו Llama) הן Transferable. מאחר שכל המודלים אומנו על דאטה דומה, ניתן לפתח מתקפה "בבית" ולהשתמש בה כ-Zero Day נגד מודלים סגורים כמו GPT-4.

• איך מתגוננים באמת? איתי טוען ששיטות ההגנה הנוכחיות (פילטרים של מילים) הן רק פלסטר. הפתרון דורש התערבות עמוקה בחישובים הפנימיים של המודל ואימוץ גישה שמרנית שמתייחסת לכל פלט AI כאל מידע ממקור לא אמין (Untrusted)

לינקים:

- המאמר של איתי - IN-CONTEXT REPRESENTATION HIJACKING

כולם מדברים על AI Agents, וכולם רצים ליישם את MCP (Model Context Protocol) – הפרוטוקול שהפך לסטנדרט החדש בחיבור מודלים לעולם האמיתי. על הנייר? זה גאוני. אנחנו נותנים ל"מוח" (ה-LLM) "ידיים" (Tools) כדי לבצע פעולות עצמאיות. בפועל? יצרנו וקטור תקיפה חדש לחלוטין שאנחנו עדיין לא יודעים איך לאכול.

בפרק הזה (שהוקלט מהממ"ד, כי אין כמו אקטואליה לחידוד חושים), אירחנו את לירן טל מחברת Snyk, מומחה אבטחה ומוביל דעת קהל, כדי לפרק לגורמים את סיכוני האבטחה של עולם ה-MCP.

על מה דיברנו?

• Malicious MCP Servers: איך שרת תמים למראה שמתקינים ב-npm install פשוט, יכול לעשות "Server Spoofing" ולגנוב לכם את ה-SSH Keys.

• The White Text Hack: הסיפור המטורף על איך אפשר לעבוד על סוכן AI של בנק בעזרת טקסט מוסתר ב-PDF (סוג של Indirect Prompt Injection שמשנה את חוקי המשחק).

• Toxic Flows: מה קורה כשמחברים MCP של ג'ירה, ל-MCP של המייל ול-MCP של הגיטהאב? מקבלים צינור דליפת מידע שהפיירוול שלכם לא מכיר.

• Shadow AI & AI BOM: למה אתם חייבים לדעת איזה מודלים ואיזה כלים רצים אצלכם בארגון לפני שיהיה מאוחר מדי. לינקים : •⁠ ⁠AI-BOM and Shadow AI scanner⁠

• ⁠Exploiting MCP Servers Vulnerable to Command Injection

• ⁠Cursor + Jira toxic flow incident we talked about
• ⁠Snyk Security MCP Server
• ⁠About SQL Injection in MCP Servers

בפרק סיום השנה של "מדברים פתוח" אירחנו את ניצן דוד פוקס ("המשחק הגדול") כדי להבין לעומק את השפעת בינה המלאכותית הגיאופוליטיקה העולמית ולמה אנחנו לא בתחרות מסחרית, אלא במלחמה על הסדר העולמי החדש.

בין היתר דיברנו על:

• ארבעת שדות הקרב: המעצמות נלחמות על כוח חישוב, דאטה, כישרון ורגולציה. סקרנו את מעמדן של השחקניות השונות

• המועדון הסגור של "Pac Silica": אם במקרה לא שמעתם אז ישראל נבחרה לאחת מ-8 המדינות בברית ההגנה האמריקאית לשבבים. מה זה אומר? ואיך זה משפיע על כל אחד ואחת.ולסיום

• הקשר הישראלי: למה אנבידיה באמת כאן? ולמה היא מוכנה להשקיע מילארדי דולרים במדינה קטנה ומאוימת?

כל זאת ועוד

לינקים לפרק

- המשחק הגדול

בפרק הזה אנחנו מארחים את פרופ׳ מאיר פדר מאוניברסיטת תל אביב, מדען תורת האינפורמציה עם רקע תעשייתי וזוכה פרס אוסקר טכנולוגי. דיברנו על למה מודלים עצומים מצליחים להכליל למרות חוקי הסטטיסטיקה הקלאסיים, איך אוקאם ותורת האינפורמציה יכולים להסביר את “הקסם” של ה-AI, ולמה קיר החשמל והעלות מכריחים אותנו לחשוב על ארכיטקטורות חדשות מעבר לרשתות נוירונים. לינקים Information-Theoretic Framework for Understanding Modern Machine-Learning

בעולם שבו פחות ופחות אנשים "גולשים" באינטרנט ויותר פשוט מדברים עם מודלים, האינטרנט עצמו משתנה מתחת לרגליים שלנו. בפרק הזה אילן וג'וש מארחים את אייל בן ברוך, מוביל תחום הדאטה וה AI בטבילי,Taviliy סטארטאפ ישראלי ששם לעצמו מטרה לבנות את שכבת החיבור בין האייג'נטים לאינטרנט.

נכנסים לעומק של איך נראית חוויית חיפוש כשקהל היעד כבר לא בן אדם מול כרום, אלא אייג'נט שמבצע עשרות מיליוני קריאות ביום. מדברים על ההבדל בין חיפוש "קלאסי" למנוע חיפוש שמותאם ל LLMs ואייג'נטים, על שילוב בין BM25 ואימבדינגים, שאלות מולטי הופ, לייטנסי של מאות מילישניות לעומת שניות, ולמה אי אפשר באמת להחליף הכל בוקטור דאטאבייס אחד.

אייל מספר איך הכל התחיל מפרויקט אופן סורס GPT Researcher, איך נוצר החיבור העמוק עם LangChain ו LangGraph, ומה גורם לחברות ענק וסטארטאפים לבחור דווקא בשירות של טבילי בתור שכבת הגישה שלהם לאינטרנט.

משם השיחה גולשת לשאלות הגדולות: מה יקרה לעולם הפרסום כשהיוזר לא נכנס בכלל לאתר, איך ייראה ה SEO של האייג'נטים והצ'אטבוטים (AEO), מה המשמעות של פרוטוקולים כמו Pay per call ו WebBotAuth, ואיך אתרים קטנים ישרדו בעולם שבו מודל אחד מחלק את הטראפיק.

פרק שחייבים לשמוע אם אתם בונים אייג'נטים, מוצרי AI, מתעניינים בתשתיות חיפוש, או פשוט רוצים להבין איך ייראה האינטרנט בעוד שנתיים. קישורים: - https://www.tavily.com/

בפרק הזה ארחנו את נירית כהן, מומחית לעתיד העבודה, ודיברנו על אחת השאלות הבוערות של העידן שלנו: מה זה בכלל "קריירה" כשידע מתיישן כל 5–7 שנים, תפקידים משתנים בקצב מפחיד, והגבול בין חיים לעבודה כמעט נעלם.

דיברנו על:

• למה המודל הישן של "למד מקצוע, תישאר בחברה, תצא לפנסיה" כבר לא עובד.

• למה הביטחון התעסוקתי האמיתי היום הוא לא תפקיד – אלא היכולת להישאר רלוונטיים.

• איך נראית קריירה כשמנהלים כמה כיוונים מקצועיים במקביל (ולא רק מסלול אחד ישר).

• למה יותר ויותר אנשים משלבים שכירות עם עצמאות, ובוחרים לעבוד בתנאים שלהם.

• איך AI לא רק משנה מקצועות – אלא מכריח אותנו לחזור למה שהכי אנושי בנו.

• ומה אנחנו מלמדים (או לא מלמדים) את הילדים לעולם הזה.

• פרק מיוחד על עבודה, אבל גם על החיים: איך אנחנו רוצים לחיות, ללמוד, ולהישאר משמעותיים לאורך זמן. לינקים נוספים של נירית כהן: האתר: https://niritcohen.com/ הניוזלטר: https://niritcohen.com/newsletter-signup/ הפודקאסט: https://workfutures.niritcohen.com/podcast/

פותחים את עונה 4 עם סיפור קוד-פתוח משולב בינה מלאכותית בפרק זה אירחנו את יניר מרמור ממכון וויצמן, ממקימי פרויקט “עברית AI” — יוזמה קהילתית לשיפור תמלול דיבור בעברית. דיברנו על איסוף הדאטה הקהילתי, היבטי זכויות יוצרים ואיך הם התמודדו עם הבעיה, בניית דאטה-סטים וגם על האפליקציות הפתוחות (ווב ובוט וואטסאפ) שכבר מתמללות עשרות אלפי שעות בחודש — לצד אתגרי פרטיות ותוכניות להמשך (סטרימינג, דומיינים רפואיים/משפטיים ועוד). קישורים:

קבוצת וואצפ לעדכונים בפרויקט:

https://chat.whatsapp.com/CcwpHSezjbQCRvUGuubtkN

קבוצת הוואטסאפ לדיונים טכניים יותר:

https://chat.whatsapp.com/Bpf5DsndFwh9C3Rclk2Oul

האתר של הפרויקט: https://www.ivrit.ai/

המספר של אליעזר הבוט המתמלל: 055-957-1223

הממשק שבו אפשר להעלות הקלטות ולקבל תמלול זריז ואיכותי:

Transcribe.ivrit.ai

ערוץ היוטיוב להסברים נוספים על תמלול איכותי בכמויות:

https://youtube.com/@ivrit-ai-l2g?si=9imTFwn8Po_OMmaV

ממשק הקלטת חומר אימון למודל:

https://recital.ivrit.ai/

פטראון לתמיכה סמלית במאמץ:

https://www.patreon.com/ivrit_ai

או פייבוקס:

https://links.payboxapp.com/QzVhOJJAzVb

לטכנולוגיים ולטכנולוגיות שבינינו:

כל הקוד שלנו בגיטהאב: https://github.com/ivrit-ai

כל המודלים והדאטהסטים בהאגינגפייס: https://huggingface.co/ivrit-ai

מייל לתלונות והצעות 🙃:

info@ivrit.ai

yair@ivrit.ai

yoad@ivrit.ai

בפרק הסיום שלנו אנו שוברים את המיתוס שמודלים חייבים להיות מפלצות GPU. פרופ’ ניר שביט, מייסד-שותף של Neural Magic וכיום ברד האט, חושף כיצד Sparsity ו-Quantization מצמצמים את משקל המודל, חוסכים בזיכרון ובכסף – ומשאירים את הביצועים בשיא. ניר מסביר למה vLLM הוא ה”לינוקס” של עולם ה-LLM: שכבת אינפרנס פתוחה שמסתירה את כאב-הראש של חומרה משתנה ומנהלת זיכרון, תזמון ומשאבים על פני כמה GPUs, תוך תחרות צמודה מול TensorRT והפתרונות הסגורים. בהמשך, אנחנו מדברים על העתיד: האם נגיע ל-AGI דרך מודל אחד ענקי, או דווקא בזכות אקו-סיסטם של “מיקסטר אוף אקספרטס” – הרבה מודלים קטנים וממוקדים שכל אחד מצטיין בתחומו? ניר טוען שהכול עניין סטטיסטי, ושמה שחסר לנו הוא בעיקר עוד דאטה משוכלל, לא מודעות עצמית. סיום עונה שמוכיח שאפשר לעשות יותר עם פחות – ושהמרוץ אחר מודלים יעילים רק מתחיל.