המודלים יוצאים משליטה ופורצים לאתרים, והקשר לסטארט־אפ ישראלי

הדיון על סכנות הבינה המלאכותית עלה בשבועות האחרונים מדרגה, בעקבות כמה דיווחים מטרידים: מודלים מתקדמים הצליחו לפרוץ אל מחוץ לסביבת הבדיקות הסגורה שלהם (Sandbox). בעוד שבתעשייה מנסים להבין כיצד לבדוק את המודלים בבטחה מבלי לייצר כשלים כאלה, ללב הסערה נכנסה גם חברת הסייבר הישראלית Irregular, העובדת מול מעבדות ה-AI המובילות בעולם.

​לפי הודעת OpenAI השבוע, המודלים שלה חרגו מסביבת הניסוי המבודדת, וביצעו פעולות לא מורשות ברשת. הבדיקות בוצעו תחת תנאים מיוחדים, שכללו הורדה מכוונת של מסנני הבטיחות כדי לבחון את יכולות התקיפה האמיתיות של המודל. אלא שבגלל תקלת הגדרה בסביבת הבדיקה של Irregular הישראלית, למודל הייתה גישה חופשית לאינטרנט.

● נתנו לקלוד להשקיע 50 אלף ד', והוא עקף את התשואה של S&P 500
● צעירים עד גיל 30 יצאו למרד אותנטי וקולני. יש להם סיבה טובה

השבוע, חברת OpenAI הודיעה שהמודלים שלה חרגו מסביבת הניסוי המבודדת, וביצעו פעולות לא מורשות באינטרנט. לפי הודעת החברה, הבדיקות בוצעו תחת תנאים מיוחדים, שכללו הורדה מכוונת של מסנני בטיחות וחיבור לרשת, כדי לבחון את היכולות הבסיסיות והאמיתיות של המודלים, דבר שתרם לחריגה. בהודעת OpenAI נכתב כי הייתה תקלה בהגדרת סביבת הבדיקה אצל Irregular הישראלית, מה שאפשר גישה חופשית לאינטרנט. כשהמודל התבקש לפרוץ ליעד דמיוני - ששמו היה זהה לחלוטין לדומיין אמיתי ברשת - המודל פשוט יצא לפעולה בעולם האמיתי.

"לא טריוויאלי": פריצת הגבולות של ה-AI

המקרה של OpenAI אינו יחיד. גילוי דומה הגיע מחברת אנתרופיק (Anthropic), שחשפה כי מודלים שלה "ברחו" מארגז החול בשלושה מקרים שונים, התחברו לרשת והשיגו גישה בלתי מורשת למערכות אמיתיות. במרכז שני המקרים עומדת Irregular הישראלית, שהוקמה על ידי דן להב ועומר נבו. החברה מפעילה מבחני הערכה ובדיקה עבור ענקית ה-AI, שתפקידם לבחון את עמידות המודלים בסביבה מבודדת ומבוקרת. אלא שבפועל, שורת כשלים בהגדרת המשימות, במודלים עצמם ובאבטחת המערכת הובילה לתקלות החוזרות - שחלקן אף הוגדרו כ"כשל הדדי" של מעבדות ה-AI וחברת הבדיקות גם יחד.

"ברמה הבסיסית, לפעמים הסביבה פשוט לא מוגדרת בצורה הטובה ביותר, והמודל מצליח לעשות משהו שהוא לא היה אמור לעשות", מסביר לגלובס אורי אליאבייב, יועץ בתחום ה-AI ומנהל קהילת Machine and Deep Learning Israel. "אבל צריך להבין שיש פה קפיצת מדרגה משמעותית מאוד: עצם זה שהמודל הבין שהוא יכול לנצל חולשות ולפרוץ - למשל במקרה של Hugging Face - זה משהו שלא היה טריוויאלי. עד לפני שנה, המודלים פשוט לא היו מסוגלים לזה. כאן נמצאת המורכבות: המודלים הפכו לחזקים כל כך, שמבחני הביצועים והאבטחה חייבים לעבור שדרוג יסודי כדי להצליח לבחון מקרי קצה".

כשל הדדי: חוסר תיאום בין AI לסביבת הבדיקה

מקרים אלו שונים מהותית מהדיווח שהסעיר את התעשייה בחודש שעבר. באותו אירוע, OpenAI דיווחה כי המודל שלה חמק מסביבת הבדיקה לא בגלל הגדרה שגויה, אלא באמצעות שרשרת פרצות אבטחה מתוחכמת. המודל ניצל חולשה בתוכנת צד שלישי שהותקנה בסביבה המבודדת, והשתמש בה כדי לפרוץ החוצה אל האינטרנט ולהשיג גישה לפלטפורמת Hugging Face. ניתוח האירוע שביצעה Hugging Face גילה כי ה-AI פעל בצורה אוטונומית לחלוטין: הוא ביצע עשרות אלפי פעולות, ניצל קובץ זדוני להרצת קוד והרחיב את הרשאות הגישה שלו בין מערכות פנימיות שונות.

בשוק מעריכים כי בשני המקרים האחרונים מול Irregular, הפער נבע בעיקר מחוסר תיאום בהגדרות המערכת בין החברה הישראלית לבין מעבדות הבינה המלאכותית - חור אבטחה הגדרתי שדרכו המודל יצא החוצה. בעקבות האירוע, ב-OpenAI הדגישו את חשיבות המחקר והסנכרון ההדוק בין הצדדים, ואילו ב-Irregular צפויים לפרסם בשבועות הקרובים נייר עמדה טכנולוגי (White Paper). המסמך יציע מודל עבודה מסודר לבדיקת מודלי AI בסביבות סגורות - בניסיון להציב סטנדרט תעשייתי חדש שימנע את התקלה הבאה.

"מה שראינו השבוע הוא לא סיפור חדש", מבהיר יצחק גולדסטנד, Field CTO בחברת CloudX מקבוצת CodeValue. "היו כבר כמה אירועים בעבר - החל מבוט שירות לקוחות של פייסבוק שחרג מההגדרות, ועד מקרים שבהם AI מחקה מסד נתונים. בשנה שעברה ראינו אפילו ניסוי של אנתרופיק, שבו המודל ניסה לסחוט מהנדסים באמצעות מידע על רומן מחוץ לנישואים, רק כדי שלא ישביתו אותו. אז למה בעצם אנשים מופתעים שזה קורה?".

הפיאסקו הנוכחי מגיע ברקע לחצים גוברים על התעשייה: בתקשורת הבינלאומית דווח כי גורמי ממשל בארה"ב קוראים להידוק הפיקוח, לצד עצומה של יותר מ-1,100 עובדים בתעשיית ה-AI, הדורשים להאט את קצב הפיתוח.

גולדסטנד מודה, כי אינו מחזיק בפתרון קסם, אך רואה בחיוב את הניסיונות לבלימה זמנית. "כל כמה חודשים צצה יוזמה חדשה להסדיר או להאט את השוק, כדי להבין את קצב ההתפתחויות", הוא אומר. "אין כיום מספיק ביקורת אנושית בתהליך, ואנחנו פשוט לא מסוגלים לעקוב אחרי אופן החשיבה של המודלים. כמודל סטטיסטי שרק מנסה להגיע לתוצאה האופטימלית, ה-AI מסוגלת 'להצדיק' לעצמה גם מהלכים זדוניים. אם נוריד את הקצב, אולי יהיה לנו סיכוי להבין מה קורה שם".

"במקרה הזה יש מקום להתערבות רגולטורית"

מנגד, אליאבייב מתנגד לקריאות לעצור את המרוץ, ומציע מענה רגולטורי ממוקד: חובת דיווח בחוק. "אני נגד עצירת הפיתוח ובדרך כלל מתנגד לרגולציה, אבל במקרה הזה יש מקום להתערבות", הוא מסביר. "אפשר לחייב את החברות במינימום הנדרש כדי לוודא שאירועים כאלה לא יחזרו - למשל, הגשת דוח מקיף ושקוף על כל תקלה. אסור להתייחס לזה בקלות דעת; אם המודל היה פורץ למערכת רגישה או לעסק אמיתי, היינו באירוע קטסטרופלי".

לדבריו, היעדר השקיפות הוא הסכנה האמיתית: "אנחנו לא יודעים על אירועים נוספים שמתרחשים בחברות הגדולות, פשוט כי אין חובת דיווח. כדי שהציבור והתעשייה יידעו מה באמת קורה, חייבים לחייב אותן לדווח על מקרים בסדר גודל כזה".

זווית אחרת, ניהולית יותר, מציגה עינת מירון, מומחית לסיכוני סייבר עסקיים. לצידה, היא קוראת לזנוח את אשליות השליטה והחסימה: "אסור לנו להמשיך לחשוב במונחים של פתרונות מניעתיים בלבד. מומחי אבטחה צריכים להכיר בכך שה-AI תמשיך להתקדם בקצבים שלא נוכל לעמוד בהם, והיכולת של המודלים למצוא נתיבים לא צפויים רק תגדל".

לדבריה, ההתמקדות בכלי אבטחה נקודתיים מחטיאה את המטרה. "במקום לשאול כמה 'סנדבוקסים' התקנתי - מתוך הבנה שגם הם בסופו של דבר ייפרצו - השאלה הניהולית חייבת להיות איך מנהלים את התהליך כך שכשל נקודתי לא יהפוך למשבר ארגוני".