בשבוע האחרון הצטרפה גוגל לענקיות ה־AI שהודיעו כי מודל הבינה המלאכותית שלה נתפס כשהוא מנסה לפרוץ לחברות אמיתיות. הדיווח של גוגל מגיע כחודש לאחר שמטא, OpenAI ואנתרופיק דיווחו על בעיה דומה. ארבע החברות עשו זאת תוך מתן קרדיט - או הפניית אצבע מאשימה - לחברה הישראלית אירגיולר (Irregular), מעבדת סייבר שפיתחה סביבה סגורה המאפשרת למודלי השפה להתנסות בתרחישים החמורים ביותר.
● ה־AI ברח מהמעבדה של חברה ישראלית. מי אשם? | פרשנות
● בתוך העולם הדיסטופי המזוהם של מרכזי הנתונים
במילים אחרות, הסביבה הישראלית, שחוסכת לענקיות ה־AI מאות אנשי אבטחה המבצעים בדיקות ידניות, מאפשרת למודלים "להתפרע" בתוכה כדי לבדוק את הסכנות והחולשות שהם מביאים עמם. סביבה אטומה זו מכונה בשפה המקצועית "ארגז חול". כפי שהתברר, סוכני ה-AI המתקדמים פועלים לא פעם על דעת עצמם, עוקפים כללים ומחסומים ואף מתאמים מתקפות אלה עם אלה. עם זאת, טרם תועדו מתקפות מסוכנות שלא הייתה מעורבת בהן יד אדם. ברוב המקרים גם נמנע נזק בפועל - במקרה של גוגל, למשל, מודלי השפה הבינו כי הם פורצים לאתר אינטרנט אמיתי וחדלו ביוזמתם.
בעין הסערה שמטלטלת את העולם עומדים שני יזמים, דן להב ועומר נבו. עד השנה שעברה הם היו שני מהנדסים אלמוניים, שעיקר פרסומם נבע מהשתתפות בתחרויות דיבייט עולמיות שבהן הגיעו להישגים. לפני קצת יותר משנה הודיעו על גיוס של 80 מיליון דולר בהובלת קרן סקויה ובהשתתפות כמה מהמשקיעים הממולחים ביותר בעולם הסייבר - בהם קרן רדפוינט, אסף רפפורט וכדורסלן העבר עומרי כספי - להקמת מעבדת הסייבר אירגיולר.
בעין הסערה
"השנה האחרונה הייתה מטורפת, ובשבועות האחרונים היה טירוף באינטנסיביות גבוהה יותר", אומר עומר נבו, אחד משני המייסדים וסמנכ"ל הטכנולוגיות של החברה, בראיון לגלובס שנערך לפני כמה שבועות, לפני הודעתה של גוגל.
"במקביל, העמקנו את העבודה מול המעבדות המרכזיות, וגוגל ו־OpenAI הפכו ללקוחות שלנו. אני יכול להגיד שאנחנו משפרים את יכולות ההגנה של המודלים ועוזרים לאימון שלהם כדי שיהיו בטוחים יותר - ולא עובדים רק עם חברות אלא גם עם ממשלות - כדי שבני אדם ישלטו במודלי ה־AI כשהם לא צפויים. מבחינתנו, בשנה האחרונה גדלנו בהיקף העבודה מול המעבדות הגדולות וגם החברה גדלה - כיום אנחנו מעסיקים 50 איש.
הפכתם למוקד תשומת־לב עולמי כשהחברות הגדולות ביותר בתחום מפנות אליכם אצבע. אתה מרגיש שיש סביבכם חוסר הבנה?
"ברמה האישית זו תקופה מאוד אינטנסיבית, אבל מאוד משמעותית", אומר נבו. "כשהקמנו את אירגיולר, יצאנו לדרך מתוך נקודת הנחה שמערכות AI יהפכו לחזקות ואוטונומיות בקצב מהיר, ושמישהו צריך להבין איך הן יתנהגו ואיך מגנים מפני הסיכונים שהן מביאות. באותה תקופה הרגשנו שיש פער גדול בין מה שאנחנו רואים לבין מידת תשומת־הלב שהנושא מקבל בעולם.
"היום, כשהשאלות האלה נמצאות במרכז השיח, אני מרגיש שהפער הזה מצטמצם. חשוב לי לעבוד בחזית של תחום כזה - בכך שאני מתמודד עם בעיות שאין להן עדיין תשובות ברורות. זה לא תמיד פשוט, אבל מבחינתי זו בדיוק המשמעות של לעבוד על משהו גדול וחשוב".
לדבריו, החברה לא רק שלא איבדה לקוחות בשל האירועים, אלא שהקשר עמם אף התחזק. "הלקוחות שלנו רוצים שנוביל את המחקר המשותף לגבי איך ממשיכים מכאן ובאיזו צורה עובדים, ואחרי שסגרנו את הניתוח של מה שקרה, אנחנו מדברים על העמקת קשר. האירוע הזה הבהיר לכולם שלמדע ולתעשייה אין את התשובות".
פריצת המודלים
במקרה המדווח בגוגל מסוף השבוע - כפי שאירע גם במטא, אנתרופיק ו־OpenAI - התרחשו שני כשלים. בראשון, המודל של גוגל תירגל פריצה לאתר פיקטיבי, אך איתר באופן עצמאי חברה אמיתית בעלת שם דומה וניסה לפרוץ אליה. הכשל השני היה נקודת יציאה לא מוגדרת מהסביבה המוגנת ("ארגז החול") של אירגיולר לרשת האינטרנט.
במקרה של גוגל, המודל ג'מיני תקף את אחד האתרים באמצעות ניחוש סיסמאות סדרתי עד לקבלת גישה למערכת המוגנת. במקרה אחר מצא המודל פרטים מוכמנים של שם משתמש וסיסמה, שאפשרו לו לנסות ולפרוץ לשני ארגונים נוספים. בגוגל טוענים כי לא נגרם נזק.
מקרה דומה אירע באירגיולר גם מול אנתרופיק, יצרנית קלוד, שבה נבדקו כמה מודלים עוצמתיים - פייבל ומיתוס. "כפי שאני רואה את זה, הייתה תקלה אחת אצלנו", מודה נבו. "ישנה סביבת עבודה אחת שרצה על סביבות רבות, והייתה טעות אחת בתצורה שממנה יצאו מודלים לאינטרנט. בכל רגע נתון אנחנו מריצים המון מודלים בו־זמנית ממעבדות שונות - לעיתים עשרות ואפילו מאות פעמים לכל מודל - ומתוכם השתחררו כמה לרשת. אמנם זה קרה מספר פעמים, אך בסופו של דבר זו אותה טעות שגרמה למודלים לצאת לאינטרנט, מבלי לייצר נזק משמעותי".
"תקיפה לכל דבר ועניין"
נבו לא לוקח את כל האחריות על החברה, אלא מייחס אותה לתקשורת שבין אירגיולר לאנתרופיק. "באחד המקרים שנתגלו באנתרופיק - שלא לכולם אנחנו קשורים - מודל העלה חבילה זדונית של קוד פייתון לספרייה חיצונית, ומשם ארגונים הורידו אותה והריצו אותה אצלם", הוא אומר.
"זו תקיפה לכל דבר, אבל המודל חשב שהוא נמצא ב'ארגז החול', המרחב המוגן שלנו, כשהוא תוקף אתר מסוים. אף שהוגדר לו לפעול בתוך ארגז החול, הוא יצא החוצה דרך נתיב שהיה פתוח. מבדיקה שלנו, הדבר קרה בין השאר בגלל הוראות של אנתרופיק עצמה למודל שלה - שאנחנו לא יכולנו להיות חשופים אליהן. המודל ניסה לתקוף את המטרה, ראה שהוא לא מצליח, ומצא מטרות אחרות באינטרנט. לפיכך, המסקנה שלנו הייתה שתצורת ההגדרות של אנתרופיק היא שגרמה למודל לחשוב שהוא נמצא בסביבה אחרת ממה שהיה בפועל, כך שהתיאור ההוגן הוא שהאירוע נגרם בשל שילוב בין הסביבה שלנו לסביבה של אנתרופיק".
נבו אינו מתרגש מהביקורת שמוטחת בחברה, שלפיה העובדה שחלק מהעבודה נעשית באופן ידני - כמו הגדרות תצורה - היא שגרמה לתקלה. "אנחנו עובדים עם החברות הגדולות בעולם, וכבר נמצאים מעבר לנקודה שבה מריצים דברים ביד כשאין פתרון מסודר", הוא מבהיר. "אבל גם הכלים הקיימים של חברות האבטחה הגדולות ביותר והמעבדות כנראה לא מספיקים. המודלים יודעים לעקוף אותם בדרכים מוזרות, שהכלים לא נועדו לתפוס, ולכן יש כאן בעיה שצריך לפתור. זו הסיבה שאנחנו עושים עבודה קשה גם באופן ידני כדי למצוא את כל המקרים האלה - וגם בחברות הגדולות ביותר עובדים לפעמים ידנית, כשהכלים האוטומטיים לא מספיקים".
נבו, שמסרב להתרגש מהסערה התקשורתית, סבור שהאחריות על מודלים סוררים היא משותפת. כפי שמנהלי אנתרופיק ו־OpenAI רמזו בעצמם, בעולם הבינה המלאכותית עדיין רב הנסתר על הנגלה, בפרט כאשר מדובר במודלי השפה המשוכללים והחדשים ביותר.
"תחום חדש ולא מוגדר"
"זה חלק מכך שכל התחום שבו אנחנו עוסקים הוא חדש ולא מוגדר היטב, וחלק מהבעיות בו לא פתורות ברמה המדעית - לא רק הטכנית", הוא אומר. "עושים טעויות, ומהן צריכים ללמוד. היה לנו מזל - כתעשייה - שקרה לנו רצף של אירועים שלא דווקא קשורים אלינו, כמו האירוע באנתרופיק, המתקפה על האגינג פייס ואירוע הפריצה במכון אבטחת ה־AI הממשלתי של בריטניה.
"האירועים האלה יצרו הבנה שיש בעיה לא פתורה, מבלי לגרום לנזק חמור. עכשיו זה הזמן שלנו כתעשייה להתאפס כדי שניתן יהיה לפתור אותה. זה הרגע שבו גופים שונים בתעשייה צריכים להתאחד כדי לבצע הנדסה לאחור ולהבין איך 'סוגרים' מודל שנראה כביכול מטומטם, אבל הוא חכם יותר מהחוקרים הכי חכמים בעולם. יש כאן גם שאלות של מידע ששייך לצדדים אחרים ושאלות חוקיות לא פשוטות".
הלקוחות שלך רמזו שהם בעד עיכוב בפיתוח מודלים חדשים בשל הסכנה שטמונה בהם. מה דעתך?
"אנחנו רואים כבר היום שהמודלים הופכים חזקים ואוטונומיים יותר, מסוגלים לבצע משימות מורכבות יותר ולפעול עם פחות מעורבות אנושית. קצב ההתקדמות של היכולות האלה הוא חסר תקדים, ולכן צריך לקחת ברצינות גם את הסיכונים שמתפתחים לצדן. עם זאת, אני אופטימי גם לגבי הערך העצום שהטכנולוגיה הזו תביא לאנושות, וגם לגבי היכולת של התעשייה לייצר את המחקר והפיתוח של הכלים וההגנות שיאפשרו להתמודד איתם".
אבל יש משהו בדבריו של נשיא ארה"ב טראמפ, שטוען שעיכוב בפיתוח מודלים עלול להותיר את ארה"ב מאחורי סין.
"לא אגיד כאן האם אני ממליץ לעצור או להאיץ את פיתוח ה־AI. התפקיד שלנו הוא לוודא שככל שהמודלים מתחזקים, מתפתחות במקביל גם היכולת להבין את הסיכונים שלהם וגם ההגנות שימנעו מהם לבצע פעולות שהם לא אמורים לבצע. אנחנו עובדים עם מעבדות ה־AI המובילות בעולם כדי להוביל גם את המחקר וגם את הבנייה של מנגנוני הבקרה והאבטחה האלו, ובמקביל לייצר את הידע שיאפשר לרגולטורים לקבל החלטות מושכלות לגבי האופן שבו נכון לפתח ולהפעיל את המערכות האלה. זה מה שיאפשר בסוף לממשלות ולחברות לבצע את המדיניות שבהן יבחרו".
