שוב זה קורה: מודלי בינה מלאכותית של OpenAI ואנתרופיק יצאו מ"ארגז החול" (המונח המקצועי לסביבת הבדיקה) ותקפו יעדים באינטרנט בתקריות שונות.
הלילה הודיעה חברת OpenAI כי במהלך בדיקת סייבר, מודלים של החברה חרגו מסביבת הניסוי המבודדת וביצעו פעולות לא מורשות באינטרנט. לפי הודעת OpenAI, הבדיקות בוצעו תחת תנאים מיוחדים שכללו הורדה מכוונת של מסנני בטיחות וחיבור לרשת כדי לבחון את היכולות הבסיסיות והאמיתיות של המודלים, דבר שתרם לחריגה. לצד זאת, הייתה תקלה בהגדרת סביבת הבדיקה אצל חברת הסייבר הישראלית Irregular, מה שאפשר למודל גישה חופשית לאינטרנט: מתברר שהמודל התבקש לפרוץ ליעד דמיוני בעל שם זהה לדומיין האמיתי ברשת, מה שהוביל לפריצה אמיתית.
● גם מיקרוסופט מזהירה: אירוע סייבר ענק ומאות אלפי משתמשים בסכנה
● "תקרית סייבר חסרת תקדים": מודלים של OpenAI הצליחו לפרוץ לאתר כדי להשיג תשובות למבחן
כאמור, זהו אינו האירוע הראשון שדווח. אנתרופיק חשפה באחרונה כי מודלים שלה ברחו מארגז החול בשלושה מקרים שונים, התחברו לאינטרנט והשיגו גישה בלתי מורשית למערכות אמיתיות. גם במקרה הזה חלה תקרית דומה בשיתוף חברת הסייבר הישראלית Irregular.
בחודש שעבר, גם OpenAI דיווחה על כך שהמודלים שלה הצליחו לחמוק מסביבת הבדיקה והם הפעילו סדרה של פרצות אבטחה כדי להגיע לרשת הפתוחה והשיגו גישה Hugging Face.
מודל יצר זהויות פיקטיביות כדי לאשר את השינויים שהכניס לקוד
במקביל, במקרה אחר, במהלך בדיקות בטיחות שערך המכון לבטיחות בינה מלאכותית בבריטניה נרשמו אירועים שבהם מודלים מתקדמים ביצעו פעולות אוטונומיות ולא מורשות ברשת. בין המודלים שנבדקו היו Mythos 5 של אנתרופיק ו- GPT-5.6-Sol של OpenAI. המודלים זיהו חולשות אבטחה והגדרות שגויות כדי להשתחרר מסביבת הניסוי המבודדת וכך לפרוץ למערכות של ארגונים שונים.
המודל Mythos 5 של Anthropic, שהיה אחראי לרוב הפעולות הבלתי מורשות שזוהו, ניסה להזריק קוד זדוני לפרויקט קוד פתוח ב-GitHub, כך דווח בבלומברג. המודל אף יצר זהויות פיקטיביות ברשת במטרה לאשר את השינויים בקוד, עד שמתכנת אנושי זיהה את הניסיון וחסם אותו, כך דווח. במקרה אחר, במהלך מבחן שגרתי לאיתור מידע בסביבה מדמה, ניצלו המודלים תקלה טכנית כדי לפרוץ לאתר.
חברת Irregular, שהוקמה על ידי דן להב ועומר נבו, מפעילה מבחני הערכה ובדיקה עבור OpenAI ואנתרופיק כדי לבדוק את אבטחת הסייבר של המודלים שלה. הרעיון הוא לייצר סביבת בקרה מבודדת, המנותקת מהאינטרנט או בעלת גישה בצורה מוגבלת, כדי לבחון את המודלים החדשים. המשימות נדרשות בתוך הסביבה הסגורה, אבל התקלות שנוצרו, לדברי החברות המעורבות, נובעות מכשלים בהגדרות המשימה, במודל עצמו או בחולשות של המערכת. בחלק מהתקלות אף צוין כי מדובר ב"כשל הדדי".
