בשנה האחרונה עולם הבינה המלאכותית לא הפסיק להאיץ מודלים, גרסאות ומוצרים חדשים בקצב מסחרר. אבל מעבר לאפליקציות ולצ'אטבוטים שכולנו מכירים מסתתרת שאלה גדולה בהרבה

מה באמת נדרש כדי לממש בינה מלאכותית ברמה של מדינה שלמה?

בפרק הזה אנחנו מארחים בפעם השנייה את שחר ברכה, סגן מנהל המטה הלאומי לבינה מלאכותית (ובעברו ראש מערך התקשוב הממשלתי), לשיחה סביב השאלה שחזרה שוב ושוב מהקהל: על תפקידי המטה הלאומי לבינה מלאכותית ומדוע הוא תחת משרד ראש הממשלה?

שחר מסביר למה AI הוא "המשאב הקריטי החדש" כזה שיקבע מחדש מי יהיו מדינות עולם ראשון, שני ושלישי —ולמה, בדיוק כמו האטום בשעתו, "המועדונים" סביבו נסגרים מהר. מ"מהפכת הכתב השנייה", דרך פאקס סיליקה ושבבים כחול-לבן, ועד רגולציה, חינוך ותעסוקה בעידן ה-AI — זו שיחה אסטרטגית, פרקטית ואופטימית על איך הופכים למעצמה באמצעות ה-AI, ולא סתם ל"מעצמת AI".

הבאזוורדס של עולם הפיתוח לא מפסיקים להתחלף, והפעם ג'וש ואילן עושים סדר במעבר מסוכני AI כלליים לעבודה ממוקדת עם Skills ו-Claude Code.

דיברנו על הפער בין ההבטחה לאוטונומיה לבין המציאות, למה ה-Harness חשוב לא פחות מהמודל עצמו, מה קורה כשנותנים ל-MCP לפתוח כרטיסיות ב-Jira או לעשות Code Review, ואיזה סכנות אבטחה מסתתרות כשנותנים ל-AI לרוץ ב-YOLO Mode. האם מקצוע הפיתוח שינה את פניו לתמיד?

בפרק זה אירחנו את איתי יונה, חוקר לשעבר ב-Google DeepMind ומומחה לאבטחת מידע ולמידת מכונה. בשיחה שכל כולה צוללת אל תוך עולם ה-Adversarial Machine Learning ובודקת עד כמה קל "לשבור" את מודלי השפה המתוחכמים ביותר שאנו מכירים כיום.

• מה זה בכלל Jailbreak? איתי מסביר כי בניגוד לאבטחת תוכנה קלאסית, כאן התקיפה מתמקדת במודל עצמו ובניסיון לגרום לו להתנהג בניגוד למטרה המקורית שלו דרך שינויים יצירתיים באינפוט.

• מתקפת "דאבל-ספיק" (DoubleSpeak): חשיפה של מחקר המראה כיצד ניתן "לחטוף" את המשמעות של מילים בתוך שיחה. על ידי החלפת מילים רגישות במילים תמימות (כמו החלפת "פצצה" ב"גזר"), ניתן לעקוף את שכבות ההגנה ולגרום למודל לייצר פלט מסוכן במסווה של טקסט לגיטימי.

• הסכנה שבמודלים הפתוחים: מתברר כי מתקפות שמתגלות על מודלים בקוד פתוח (כמו Llama) הן Transferable. מאחר שכל המודלים אומנו על דאטה דומה, ניתן לפתח מתקפה "בבית" ולהשתמש בה כ-Zero Day נגד מודלים סגורים כמו GPT-4.

• איך מתגוננים באמת? איתי טוען ששיטות ההגנה הנוכחיות (פילטרים של מילים) הן רק פלסטר. הפתרון דורש התערבות עמוקה בחישובים הפנימיים של המודל ואימוץ גישה שמרנית שמתייחסת לכל פלט AI כאל מידע ממקור לא אמין (Untrusted)

לינקים:

- המאמר של איתי - IN-CONTEXT REPRESENTATION HIJACKING

כולם מדברים על AI Agents, וכולם רצים ליישם את MCP (Model Context Protocol) – הפרוטוקול שהפך לסטנדרט החדש בחיבור מודלים לעולם האמיתי. על הנייר? זה גאוני. אנחנו נותנים ל"מוח" (ה-LLM) "ידיים" (Tools) כדי לבצע פעולות עצמאיות. בפועל? יצרנו וקטור תקיפה חדש לחלוטין שאנחנו עדיין לא יודעים איך לאכול.

בפרק הזה (שהוקלט מהממ"ד, כי אין כמו אקטואליה לחידוד חושים), אירחנו את לירן טל מחברת Snyk, מומחה אבטחה ומוביל דעת קהל, כדי לפרק לגורמים את סיכוני האבטחה של עולם ה-MCP.

על מה דיברנו?

• Malicious MCP Servers: איך שרת תמים למראה שמתקינים ב-npm install פשוט, יכול לעשות "Server Spoofing" ולגנוב לכם את ה-SSH Keys.

• The White Text Hack: הסיפור המטורף על איך אפשר לעבוד על סוכן AI של בנק בעזרת טקסט מוסתר ב-PDF (סוג של Indirect Prompt Injection שמשנה את חוקי המשחק).

• Toxic Flows: מה קורה כשמחברים MCP של ג'ירה, ל-MCP של המייל ול-MCP של הגיטהאב? מקבלים צינור דליפת מידע שהפיירוול שלכם לא מכיר.

• Shadow AI & AI BOM: למה אתם חייבים לדעת איזה מודלים ואיזה כלים רצים אצלכם בארגון לפני שיהיה מאוחר מדי. לינקים : •⁠ ⁠AI-BOM and Shadow AI scanner⁠

• ⁠Exploiting MCP Servers Vulnerable to Command Injection

• ⁠Cursor + Jira toxic flow incident we talked about
• ⁠Snyk Security MCP Server
• ⁠About SQL Injection in MCP Servers

בפרק סיום השנה של "מדברים פתוח" אירחנו את ניצן דוד פוקס ("המשחק הגדול") כדי להבין לעומק את השפעת בינה המלאכותית הגיאופוליטיקה העולמית ולמה אנחנו לא בתחרות מסחרית, אלא במלחמה על הסדר העולמי החדש.

בין היתר דיברנו על:

• ארבעת שדות הקרב: המעצמות נלחמות על כוח חישוב, דאטה, כישרון ורגולציה. סקרנו את מעמדן של השחקניות השונות

• המועדון הסגור של "Pac Silica": אם במקרה לא שמעתם אז ישראל נבחרה לאחת מ-8 המדינות בברית ההגנה האמריקאית לשבבים. מה זה אומר? ואיך זה משפיע על כל אחד ואחת.ולסיום

• הקשר הישראלי: למה אנבידיה באמת כאן? ולמה היא מוכנה להשקיע מילארדי דולרים במדינה קטנה ומאוימת?

כל זאת ועוד

לינקים לפרק

- המשחק הגדול

בפרק הזה אנחנו מארחים את פרופ׳ מאיר פדר מאוניברסיטת תל אביב, מדען תורת האינפורמציה עם רקע תעשייתי וזוכה פרס אוסקר טכנולוגי. דיברנו על למה מודלים עצומים מצליחים להכליל למרות חוקי הסטטיסטיקה הקלאסיים, איך אוקאם ותורת האינפורמציה יכולים להסביר את “הקסם” של ה-AI, ולמה קיר החשמל והעלות מכריחים אותנו לחשוב על ארכיטקטורות חדשות מעבר לרשתות נוירונים. לינקים Information-Theoretic Framework for Understanding Modern Machine-Learning

בעולם שבו פחות ופחות אנשים "גולשים" באינטרנט ויותר פשוט מדברים עם מודלים, האינטרנט עצמו משתנה מתחת לרגליים שלנו. בפרק הזה אילן וג'וש מארחים את אייל בן ברוך, מוביל תחום הדאטה וה AI בטבילי,Taviliy סטארטאפ ישראלי ששם לעצמו מטרה לבנות את שכבת החיבור בין האייג'נטים לאינטרנט.

נכנסים לעומק של איך נראית חוויית חיפוש כשקהל היעד כבר לא בן אדם מול כרום, אלא אייג'נט שמבצע עשרות מיליוני קריאות ביום. מדברים על ההבדל בין חיפוש "קלאסי" למנוע חיפוש שמותאם ל LLMs ואייג'נטים, על שילוב בין BM25 ואימבדינגים, שאלות מולטי הופ, לייטנסי של מאות מילישניות לעומת שניות, ולמה אי אפשר באמת להחליף הכל בוקטור דאטאבייס אחד.

אייל מספר איך הכל התחיל מפרויקט אופן סורס GPT Researcher, איך נוצר החיבור העמוק עם LangChain ו LangGraph, ומה גורם לחברות ענק וסטארטאפים לבחור דווקא בשירות של טבילי בתור שכבת הגישה שלהם לאינטרנט.

משם השיחה גולשת לשאלות הגדולות: מה יקרה לעולם הפרסום כשהיוזר לא נכנס בכלל לאתר, איך ייראה ה SEO של האייג'נטים והצ'אטבוטים (AEO), מה המשמעות של פרוטוקולים כמו Pay per call ו WebBotAuth, ואיך אתרים קטנים ישרדו בעולם שבו מודל אחד מחלק את הטראפיק.

פרק שחייבים לשמוע אם אתם בונים אייג'נטים, מוצרי AI, מתעניינים בתשתיות חיפוש, או פשוט רוצים להבין איך ייראה האינטרנט בעוד שנתיים. קישורים: - https://www.tavily.com/

בפרק הזה ארחנו את נירית כהן, מומחית לעתיד העבודה, ודיברנו על אחת השאלות הבוערות של העידן שלנו: מה זה בכלל "קריירה" כשידע מתיישן כל 5–7 שנים, תפקידים משתנים בקצב מפחיד, והגבול בין חיים לעבודה כמעט נעלם.

דיברנו על:

• למה המודל הישן של "למד מקצוע, תישאר בחברה, תצא לפנסיה" כבר לא עובד.

• למה הביטחון התעסוקתי האמיתי היום הוא לא תפקיד – אלא היכולת להישאר רלוונטיים.

• איך נראית קריירה כשמנהלים כמה כיוונים מקצועיים במקביל (ולא רק מסלול אחד ישר).

• למה יותר ויותר אנשים משלבים שכירות עם עצמאות, ובוחרים לעבוד בתנאים שלהם.

• איך AI לא רק משנה מקצועות – אלא מכריח אותנו לחזור למה שהכי אנושי בנו.

• ומה אנחנו מלמדים (או לא מלמדים) את הילדים לעולם הזה.

• פרק מיוחד על עבודה, אבל גם על החיים: איך אנחנו רוצים לחיות, ללמוד, ולהישאר משמעותיים לאורך זמן. לינקים נוספים של נירית כהן: האתר: https://niritcohen.com/ הניוזלטר: https://niritcohen.com/newsletter-signup/ הפודקאסט: https://workfutures.niritcohen.com/podcast/