גל העזיבות של אנשי הבטיחות בתעשיית הבינה המלאכותית נמשך. דיוויד רובינסון (David Robinson), שהוביל את תחום השקיפות בצוות הבטיחות של OpenAI והיה אחראי על כתיבת דוחות הבטיחות שפורסמו עם השקות המודלים המרכזיות של החברה, הודיע כי התפטר השבוע מתפקידו.
● העובד הראשון של OpenAI בישראל
● לקראת הנפקת אנתרופיק: ההכנסות זינקו פי 12, ההפסד הנקי הגיע ל־42 מיליארד דולר, ועדיין החברה מזהירה מסכנה לאנושות
במאמר אישי שפרסם במגזין האמריקאי The Atlantic הוא מותח ביקורת חריפה על התנהלות החברה ועל תרבות הפיתוח בתעשיית ה-AI כולה, ומזהיר כי החברות המובילות בתחום מתקדמות במהירות שאינה מאפשרת להן להיערך כראוי לסיכונים שהן עצמן יוצרות.
ההתפטרות מגיעה על רקע דיון ציבורי ופוליטי גובר בארה"ב סביב בטיחות הבינה המלאכותית. בסוף השבוע דווח בוול סטריט ג'ורנל כי ג'יי קלייטון, ראש המודיעין הלאומי של ארה"ב, יעמוד בראש כוח משימה חדש של הבית הלבן, שיבחן את הסיכונים וההזדמנויות הטמונים בטכנולוגיה ויגבש בתוך 120 יום המלצות באשר לאחריות הממשל הפדרלי בתחום. קלייטון יהפוך למעשה לאחראי על מדיניות הבינה המלאכותית בממשל, תפקיד המכונה בארה״ב ״צאר ה- AI״.
אלא שבעוד שהבית הלבן מבקש לבחון את הסיכונים לצד השאיפה לשמור על היתרון הטכנולוגי של ארה"ב, רובינסון סבור כי הבעיה עמוקה יותר. לדבריו, היא אינה מסתכמת בהיעדר רגולציה או בצורך להחמיר נהלים נקודתיים, אלא נעוצה בתרבות הארגונית של עמק הסיליקון, המקדשת מהירות, ביטחון עצמי ונכונות להתמודד עם בעיות רק לאחר שהן מתגלות. ״העתיד תלוי בחוכמה שחסרה לעמק הסיליקון״, כתב, והוסיף כי פיתוח מערכות שעלולות להפוך לחכמות יותר מבני אדם מחייב מידה של ענווה, שאינה מאפיינת בהכרח תעשייה שהצלחתה נבנתה על האמונה ביכולתה להשיג את הבלתי אפשרי.
רובינסון, שהועסק ב- OpenAI במשך מעל לשלוש שנים ונמנה לדבריו עם ותיקי החברה, הוביל בין היתר את ניסוח גרסתה הנוכחית של מסגרת ההיערכות לסיכונים (Preparedness Framework), מסמך המגדיר כיצד החברה מעריכה ומנהלת סיכונים הנובעים ממודלים מתקדמים. נוסף על כך, הוא פיקח על כתיבת דוחות הבטיחות של 12 השקות מרכזיות.
״הזמן לניסוי וטעייה נגמר״
במרכז הביקורת של רובינסון עומדת שיטת הפיתוח של OpenAI, המכונה בחברה ״פריסה הדרגתית״ (Iterative Deployment). לפי גישה זו, החברה משחררת מערכות לשימוש, מזהה בעיות תוך כדי פעילותן ומשפרת את מנגנוני ההגנה בהתאם לממצאים. אלא שלטענתו, גישה המבוססת על ניסוי וטעייה מבטיחה כמעט בהכרח שגם תקלות יתרחשו מעת לעת, וככל שיכולות המודלים מתקדמות, כך גם ההשלכות האפשריות של אותן תקלות נעשות חמורות יותר.
כדוגמה הוא מציין שתי תקריות הבטיחות שעליהן דיווחה OpenAI. בראשונה, שהתרחשה בקיץ ונקשרה לפלטפורמת Hugging Face, שוחררה בטעות קבוצת סוכני AI אוטונומיים. בעקבות האירוע ביצעה החברה שיפורי אבטחה, אך בהמשך דיווחה על כשל נוסף, כאשר מודל שהיה בתהליך אימון הצליח לעקוף מגבלות שהוטלו על הגישה שלו לאינטרנט. מערכת הניטור אמנם התריעה בפני עובדים אנושיים, אך לא כיבתה את המודל באופן אוטומטי כפי שהייתה אמורה לעשות.
לדבריו, גם המתחרה אנתרופיק הודתה בעבר כי מנגנוני הגנה שלה הושבתו בטעות בשל הגדרות מערכת שגויות. בעיניו, אין מדובר בהכרח במחדלים חריגים של חברה מסוימת, אלא בתוצאה של סביבת עבודה המתאפיינת בקצב מהיר ובגמישות תפעולית גבוהה. ״סביבה שבה דברים כאלה יכולים לקרות אינה מקום מתאים לגדל בו מוחות מלאכותיים שעשויים להיות חכמים מאיתנו, ושלא בהכרח יעשו את מה שאנחנו רוצים״, כתב.
רובינסון מזכיר בהקשר זה גם את אזהרתו של פול כריסטיאנו, שהצטרף לאחרונה לדירקטוריון OpenAI, ולפיה האצה מהירה ביכולות הבינה המלאכותית עלולה להוביל לאובדן שליטה קטסטרופלי ובלתי הפיך בעתיד הקרוב. לטענתו, אם תרחיש כזה אפשרי, התעשייה אינה יכולה להמשיך להסתמך על האפשרות לתקן טעויות בדיעבד. ״הזמן לניסוי וטעייה נגמר״, כתב, והסביר כי במקרה של כשל חמור במיוחד, ייתכן שכלל לא תהיה הזדמנות לבצע מקצה שיפורים נוסף.
להיעזר במומחים מתחומים שבהם כשל בטיחותי עלול להוביל לאסון
אחת הטענות המרכזיות במאמר היא שחברות המפתחות מודלי AI מתקדמים צריכות לאמץ שיטות עבודה מתחומים שבהם כשל בטיחותי עלול להוביל לאסון, ובהם תעופה אזרחית, אנרגיה גרעינית ומערכות פיננסיות. לדברי רובינסון, תחנת כוח גרעינית אינה מסתמכת רק על כך שעובדיה לא יטעו. היא מתוכננת באמצעות שכבות הגנה ומערכות גיבוי, כך שגם תקלה בציוד או פעולה אנושית שגויה לא יובילו בהכרח לאסון. מנגד, חברות ה-AI מפתחות ומפיצות מערכות מתקדמות עם רמת יתירות וקפדנות נמוכה בהרבה, אף שלטענתו אובדן שליטה בלתי הפיך על בינה מלאכותית עלול לגרום לנזק גדול משמעותית מזה של תאונה גרעינית בודדת. הוא מצביע גם על תרחיש שבו נחילים של סוכני AI אוטונומיים יפעלו ללא אישור אנושי, למשל קבוצות של סוכנים שיבצעו מתקפות סייבר באופן עצמאי, לרבות מתקפות כופר נגד בתי חולים, מבלי להזדקק למנוחה או להפעלה רציפה בידי בני אדם.
● העובד הראשון של OpenAI בישראל
● הסטארט-אפ מתל אביב הוקם לפני עשרה חודשים. עכשיו הוא נמכר במעל 100 מיליון דולר
בהקשר זה מספר רובינסון כי לאורך שנותיו ב- OpenAI, ולמיטב ידיעתו, לא נתקל בעמית בעל ניסיון מקצועי בהבטחת בטיחותם של מטוסים, בהפעלת כורים גרעיניים או במניעת קריסה של מערכות פיננסיות. לדבריו, מדובר בצורך חדש יחסית, שכן מערכות ה-AI הנוכחיות מסוכנות ובעלות יכולות מתקדמות משמעותית מאלה שפותחו אפילו לפני חצי שנה.הוא מודה כי שקל להישאר בחברה ולפעול מבפנים לשינוי יסודי בתרבות הארגונית ובאופן גיוס העובדים, אך הגיע למסקנה שקצב העבודה אינו מאפשר זאת. לדבריו, הוא ועמיתיו היו עסוקים כל כך במרוץ המתמשך בין השקה להשקה, עד שכמעט לא נותר להם זמן לבחון שינויים מערכתיים משמעותיים, ובוודאי שלא ליישם אותם. זו גם הסיבה, לדבריו, לכך שהחליט כי נדרש לחץ חיצוני משמעותי יותר על OpenAI ועל מתחרותיה, שייצור תמריצים אמיתיים להשקעה בבטיחות.
החשש הגדול: מודלים שיתנהגו אחרת כשאיש אינו בוחן אותם
לצד הביקורת על נוהלי הבטיחות, רובינסון מעלה בעיה עמוקה יותר שטרם נפתרה בתעשייה: כיצד ניתן להבטיח שמערכות בינה מלאכותית שיהיו חכמות יותר מבני אדם ימשיכו לפעול לטובתם. מדובר באחת השאלות המרכזיות בתחום המכונה Alignment, או התאמת התנהגות המודלים לערכים ולכוונות אנושיות. לדבריו, לתעשייה עדיין אין הגדרה מעשית ומלאה של האופן שבו מערכת AI צריכה להתנהג כדי להיחשב בטוחה ומותאמת לאינטרסים אנושיים. גם המדדים המשמשים כיום להערכת ההתאמה הזאת מוגבלים.
אחת הבעיות שהוא מדגיש היא האפשרות שמודלים מתקדמים יזהו שהם נמצאים תחת בדיקה ויתנהגו בהתאם לציפיות הבוחנים, אך יפעלו אחרת לאחר שיוטמעו בסביבה אמיתית. לכן, ציונים גבוהים במבחני בטיחות אינם מספקים בהכרח ודאות לגבי התנהגות המודל בפועל. לטענתו, ככל שהתעשייה תמשיך להגדיל את יכולות המודלים לפני שתפתור את הבעיות המדעיות הללו, כך יגדל הסיכון.
בכך, הוא הוא קורא לשני שינויים דחופים: שילוב מומחי בטיחות מתחומים נוספים בתהליכי הפיתוח של חברות ה- AI, והשקעה במחקר מדעי שיאפשר להבטיח שמודלים מתקדמים, לרבות מערכות שיפתחו בעתיד מערכות חכמות נוספות, יקבלו החלטות בטוחות גם ללא פיקוח אנושי ישיר. רובינסון מדגיש כי החלטתו לעזוב את OpenAI לא התקבלה בקלות, וכי הוא עדיין מאמין בפוטנציאל החיובי של הטכנולוגיה ומעריך את עמיתיו לשעבר. עם זאת, לדבריו, המרוץ המתמשך להשקות חדשות מונע מהחברה להגיע לרמת הזהירות הנדרשת בעיניו. כעת הוא מתכוון לפעול מחוץ לחברה כדי להגביר את המודעות לסיכונים ולחזק את התמריצים שידחפו את OpenAI ומתחרותיה להשקיע יותר בבטיחות. OpenAI, מצדה, ממשיכה לעמוד מאחורי נוהלי הבטיחות שלה וגורסת כי היא נוקטת את אמצעי הזהירות הנדרשים.
את המאמר חותם רובינסון בטענה שלפיה הבעיה של תעשיית הבינה המלאכותית אינה טכנולוגית בלבד, אלא גם אנושית. לדבריו, עד כה לא הצליחה התעשייה ללמד מכונות לפעול בעקביות כפי שהיה פועל אדם נבון ואכפתי. ״לפני שהארגונים שמפתחים בינה מלאכותית יוכלו ללמד בינה על אנושית להתייחס לאנושות כראוי, הם יצטרכו להיזכר כיצד לעשות זאת בעצמם״, סיכם.
