משימה פשוטה להזמנת שיעור בחדר כושר הפכה לתקרית סייבר חריגה. זאת לאחר שסוכן בינה מלאכותית שפעל באמצעות מודל קלוד של אנתרופיק, איתר פרצה במערכת ההזמנות, עקף את המגבלות שהוגדרו בה ואף הסיר אדם אחר מרשימת ההמתנה.
● הסטארט-אפ הישראלי שהגיע לכותרות של CNBC
● אחרי שגייסה הון מאנבידיה: דקארט הישראלית בוחנת אקזיט לפי שווי של 5 מיליארד דולר
המשתמש שהפעיל את הסוכן לא ביקש ממנו לפרוץ למערכת או "לפגוע" במתאמנים אחרים, אלא רק להשיג עבורו מקום בשיעור מסוים. המקרה, שעליו דיווחה רשת ABC האוסטרלית, מוגדר כמתקפת הסייבר האוטונומית הראשונה הידועה באוסטרליה. הוא בעצם ממחיש כיצד סוכני AI, שמסוגלים לבצע רצף פעולות באופן עצמאי, עשויים לבחור בדרכים בלתי צפויות ואף מזיקות כדי להשיג את המטרה שהציב להם המשתמש.
הסוכן גילה פרצה
אנדרו, שהפעיל את הסוכן, עובד בחברה אוסטרלית המוכרת מוצרי AI לעסקים. מוקדם יותר השנה הוא החל להתנסות ב־OpenClaw, תוכנה שמאפשרת להפעיל סוכני בינה מלאכותית, וחיבר אותה למודל קלוד של אנתרופיק. באחד הימים הוא הטיל על הסוכן משימה פשוטה כאמור: להזמין עבורו מקום בשיעור בוקר מבוקש בחדר הכושר שבו הוא מתאמן.
הסוכן גילה פרצה במערכת ההזמנות, שבאמצעותה ניתן היה להירשם לשיעורים שבועות ואף חודשים מראש, אף שהמערכת הייתה אמורה להגביל את טווח ההזמנה. בהמשך שאל אנדרו, שהיה במקום הרביעי ברשימת ההמתנה לשיעור, אם הסוכן יכול להעביר אותו לראש הרשימה.
בתגובה בדק הסוכן אם אפשר לבטל הזמנות של מתאמנים אחרים. הוא גילה שממשק התכנות של מערכת ההזמנות אינו בודק אם מי שמבצע את הביטול מורשה לעשות זאת. כדי לבדוק שהפרצה אכן פועלת, הסוכן ביטל בפועל את מקומו של המתאמן שהיה ראשון ברשימת ההמתנה. בעקבות זאת התקדם אנדרו מהמקום הרביעי למקום השלישי, אף שלא ביקש מהסוכן להסיר אדם אחר מהרשימה.
כאשר הסוכן דיווח לו על הפעולה, אנדרו נבהל וביקש להשיב את המתאמן למקומו. אלא שהסוכן הודיע כי אינו מסוגל להוסיף אותו בחזרה לרשימת ההמתנה. בהמשך ביקש אנדרו מהסוכן לנסח הודעה לחברת התוכנה על פרצת האבטחה שמצא.
החברה שמפעילה את מערכת ההזמנות מסרה ל־ABC כי אינה מתייחסת לענייני אבטחה מסוימים. עוד לפי הכתבה, אנתרופיק לא השיבה לפניית כלי התקשורת.
סוכני AI שונים וצ'אטבוטים רגילים בכך שהם לא מסתפקים רק במענה לשאלות. הם יכולים לקבל גישה לאינטרנט, לדואר אלקטרוני, לאמצעי תשלום ולשירותים נוספים, לתכנן משימות המורכבות מכמה שלבים ולבצע אותן במידה משתנה של עצמאות.
האירוע בחדר הכושר מדגים את אחת הבעיות המרכזיות בתחום: הפער בין היעד שמגדיר המשתמש, לבין האמצעים שבהם בוחר הסוכן כדי להשיג אותו. אנדרו ביקש להזמין שיעור, אך הסוכן פירש את הצלחת המשימה באופן רחב, איתר חולשה במערכת וניצל אותה ללא הנחיה מפורשת.
ביל סימפסון יאנג, מנכ"ל ומייסד שותף של מכון Gradient Institute האוסטרלי לחקר בטיחות AI, הסביר ל־ABC כי ככל שהמערכות נעשות אוטונומיות יותר, נפתחות בפניהן הזדמנויות רבות יותר לבחור בשיטות שהמשתמשים לא צפו. לדבריו, משתמש עשוי להטיל על סוכן משימה תמימה, אך הסוכן עלול לבצע פעולות נוספות שלא התבקש לבצע. החשש גובר לנוכח השיפור המהיר ביכולות המודלים.
מי אחראי כשסוכן AI גורם נזק
לצד הסיכון הטכנולוגי, האירוע מעלה גם שאלה משפטית שטרם הוכרעה: מי אחראי כאשר סוכן AI פועל בניגוד לכוונת המשתמש וגורם נזק. תוכנה אינה נחשבת אישיות משפטית, ולכן אי אפשר להטיל עליה אחריות כפי שניתן לעשות עם אדם או חברה.
לדברי עורך הדין היידן דילייני, שמצוטט בכתבה, האחריות עשויה לחול על המשתמש שהגדיר את המשימה, על מפתח התוכנה שמפעילה את הסוכן, על החברה שפיתחה את המודל או על מפעילת המערכת שבה נמצאה הפרצה. ההכרעה עשויה להיות תלויה בשאלה מה בדיוק אישר המשתמש, אילו סיכונים ניתן היה לצפות מראש והאם אחד הצדדים פעל ברשלנות.
סוכנות הסייבר האוסטרלית כבר הזהירה כי סוכני AI עלולים לפרש הוראות באופן שגוי, לבצע פעולות בלתי מכוונות ולהקשות על בירור האחריות, משום שהחלטות מתקבלות לעיתים באמצעות שרשרת של מודלים, כלים ושירותים. ממשלת אוסטרליה גם הודיעה על מימון מחקר שיבחן כיצד בני אדם יוכלו לפקח על התנהגותן של מערכות AI מתקדמות ולאמת את פעולותיהן.
אנדרו סיפר כי התקרית לא גרמה לו להפסיק להשתמש בסוכן, אך חידדה עבורו את הצורך לעשות זאת באחריות.
