אנתרופיק חושפת מקרה רביעי שבו קלוד פרץ למערכות מחשוב

בדיקה של חברת אנתרופיק, מצאה מקרה נוסף שבו מודל של "קלוד", פרץ ללא אישור למערכות מחשוב של חברות במהלך תרגיל סייבר, לצד שלוש תקריות שכבר נחשפו בחודש יולי. המודלים היו אמורים לפעול בסביבת תרגול מבודדת, אך תקלה אפשרה להם להתחבר לאינטרנט ולתקוף חברות שלא היו חלק מהתרגיל. כעת החברה מודה שהבעיה לא הסתכמה בתקלה טכנית: המודלים התעלמו מסימני אזהרה והמשיכו בפעולות מסוכנות כדי להשלים את המשימות. גוף המחקר METR יחקור את האירועים באופן עצמאי.

● ניתוח | ביטול העסקה עם דקארט ותמרור האזהרה לחברות ה־AI הישראליות
● עם 250 מיליון דולר וחוזה עם הפנטגון: חברת החימושים הסודית יוצאת לאור

אנתרופיק פרסמה בדיקה של ארבע תקריות שבהן מודלים שלה השיגו גישה ללא אישור למערכות מחשוב של חברות אמיתיות במהלך מבחני סייבר. במקרה החמור ביותר, לפי החברה, מודל קלוד "מיתוס 5", העלה קוד זדוני למאגר תוכנה ציבורי, ובהמשך השתמש בפרטי גישה שדלפו אליו כדי לחדור למאגר מידע של חברת אבטחה.

הדוח, שפורסם אתמול (ד'), הציג תמונה חמורה יותר מזו שתיארה אנתרופיק כשחשפה את שלוש התקריות ביולי. באותה עת הסבירה החברה כי תקלה אפשרה למודלים להתחבר לאינטרנט, וכי הם תקפו מערכות של חברות משום שחשבו שגם הן חלק מהתרגיל. ההסבר הזה התבסס במידה רבה על הטקסט שכתבו המודלים בזמן פעולתם, שבו חזרו וטענו שהם פועלים בסביבה מדומה.

כעת אנתרופיק מודה שלא היה די בהסברים האלה כדי לקבוע מדוע המודלים פעלו כפי שפעלו. בבדיקה המעמיקה התברר שהם נתקלו בסימנים לכך שמדובר בחברות ובמערכות מחוץ לתרגיל, אך נטו לפרש גם אותם כחלק מהסימולציה ולהמשיך בתקיפה. בחלק מהבדיקות, המודלים המשיכו לבצע פעולות מסוכנות גם לאחר שהכירו באפשרות שיפגעו במערכות של חברות. כלומר, מעבר לתקלה שפתחה את הגישה לאינטרנט, התגלה גם כשל בהתנהגות המודלים: הם המשיכו לנסות להשלים את המשימה למרות סימני האזהרה.

המשימה של המודלים הייתה לפרוץ למערכת מחשוב

כל ארבע התקריות התרחשו במבחני סייבר שהכין גורם חיצוני שעובד עם אנתרופיק. במסגרת המבחנים, המודלים קיבלו משימה לפרוץ למערכת מחשוב שהוצגה כחלק מתרחיש בדיוני ולמצוא בה מידע סודי שהוגדר מראש. נאמר להם שסביבת התרגול מנותקת מהאינטרנט, אך בגלל טעות בהגדרות הם יכלו להגיע גם למערכות של חברות שלא השתתפו בתרגיל.

לפי אנתרופיק, לצורך המבחנים הושבתו מנגנוני ההגנה שנועדו למנוע שימוש במודלים לביצוע מתקפות סייבר, ושפעילים במוצרים המוצעים למשתמשים. החברה מסבירה שזו פרקטיקה מקובלת בבדיקות מסוג זה. אלא שלצד החיבור הלא מתוכנן לאינטרנט והיעדר מנגנוני ההגנה, גם הוראות התרגיל לא הציבו גבולות מפורשים: הן לא הגדירו אילו מערכות מותר למודלים לתקוף ועד היכן מותר להם להרחיב את החיפוש אחר המידע.

בתקריות היו מעורבים ארבעה מודלים: מיתוס 5, אופוס 4.7, גרסה מוקדמת של אופוס 4.6 ומודל ששימש למחקר פנימי בחברה. בסך הכול מדובר בשבעה ניסיונות נפרדים לבצע את התרגילים: שלוש מהתקריות התרחשו בניסיון אחד כל אחת, ואילו במקרה של אופוס 4.7, אותו מבחן בוצע ארבע פעמים ובכולן המודל תקף את אותה חברה. כל ניסיון נמשך בין כ-10 שעות לכ־34 שעות של עבודה פעילה.

במקרה החמור ביותר, לפי אנתרופיק, מודל מיתוס 5 פרסם רכיב תוכנה זדוני במאגר ציבורי שממנו מפתחים מורידים קוד. הרכיב נועד לאסוף פרטי גישה מהמחשבים שיתקינו אותו. הוא הותקן ב־15 מערכות, שלהערכת החברה השתייכו לחברות אבטחה שבדקו אם הוא מסוכן. במהלך אחת הבדיקות דלפו פרטי גישה, והמודל השתמש בהם כדי לחדור למאגר המידע של חברת האבטחה. הרכיב הוסר מהמאגר לאחר כ־90 דקות, אך המודל המשיך לעבוד על רכיב זדוני נוסף עד שאזל הזמן שהוקצה לתרגיל. במקרה אחר, אופוס 4.7 מצא חברה ששמה דומה לשם החברה הבדיונית בתרגיל, הניח שמותר לתקוף אותה והוריד ושינה נתוני משתמשים. בדיקות ההמשך העלו כי סימנים לכך שהפעולות עלולות לפגוע בחברות שאינן חלק מהתרגיל, לא תמיד הספיקו כדי לעצור את המודלים.

אנתרופיק הודתה שבדיקותיה לא זיהו את חומרת הסיכון

אנתרופיק מודה גם בטעות בתהליך הפיתוח של מיתוס 5: היא בחרה בגרסה שעובדיה מצאו נוחה יותר לשימוש, אך מאימונה הושמטו תרגילים שנועדו ללמד אותה לעצור כשאי אפשר להשלים משימה בלי לחרוג מהמותר. להערכת החברה, ההחלטה תרמה לכשלים, אף שלא נמצא להם הסבר יחיד. מודלים חדשים יותר הפגינו פחות התנהגות מסוכנת בבדיקות המשך, אך הבעיה לא נעלמה.

בעקבות גילוי התקרית הרביעית הרחיבה החברה את הבדיקה, ולדבריה לא מצאה מקרים נוספים בחומרה דומה או גבוהה יותר. היא הודיעה על חקירה עצמאית של גוף המחקר METR ועל חיזוק מנגנוני ההגנה והניטור, והודתה שבדיקותיה לפני ההשקה לא זיהו את חומרת הסיכון. לצד זאת, היא מדגישה כי המודלים לא ניסו להסתיר את מעשיהם, וכי בשימוש רגיל פועלים מנגנוני הגנה שהושבתו לצורך המבחנים.