גלובס - עיתון העסקים של ישראלאתר נגיש

עמוד הבית  טכנולוגיה

ה-Ai ברח מהמעבדה של חברה ישראלית. מי אשם?

גוגל מצטרפת ל-OpenAI ואנתרופיק ומודה שמודל הבינה המלאכותית שלה יצא מסביבת הניסויים האטומה של אירגיולר ופעל על דעת עצמו ברשת ● למרות חלוקת האחריות על המחדל, הסטארט-אפ הישראלי נהנה מחשיפה פומבית של רשימת הלקוחות הגדולה ביותר שניתן לבקש ● התקריות מוכיחות כי בהיעדר סטנדרט ורגולציה מחייבת, ענקיות הטכנולוגיה קובעות בעצמן את התזמון והקריטריונים לדיווח על כשלים מסוכנים

דן להב (מימין) ועומר נבו, מייסדי Irregular / צילום: בן חכים
דן להב (מימין) ועומר נבו, מייסדי Irregular / צילום: בן חכים

במהלך השבת הצטרפה גוגל למקהלת ענקיות ה- AI שהודיעו כי מודל הבינה המלאכותית המתקדם שפיתחו נתפס כשהוא מנסה לפרוץ לחברות אמיתיות - בהצתה מאוחרת, לאחר OpenAI ואנתרופיק הודיעו על אותה הבעיה לפני כחודש. שלוש החברות עשו זאת תוך מתן קרדיט - או הפניית אצבע מאשימה - לחברה הישראלית אירגיולר (Irregular), שפיתחה סביבת אבטחת מידע סגורה לכאורה המאפשרת למודלי השפה החזקים ביותר - בהם מיתוס של אנתרופיק או אסטרה של OpenAI - להתנסות במעשים הכי חמורים שהם יכולים לבצע.

סירי המשופרת כבר פה. האם אפל עומדת בציפיות?
המחליף של באפט: חקלאי, צלם ופילנתרופ

במילים אחרות, הסביבה הישראלית, שחוסכת לענקיות ה-AI מאות אנשי אבטחה שמבצעים בדיקות ידניות - מאפשרת למודלים להתפרע בתוך הסביבה האטומה לכאורה שלה, במה שמכונה בשפה המקצועית כ"ארגז חול" (Sandbox) - כדי לבדוק את הסכנות והחולשות שהן מביאות איתן. כפי שהתברר בשבועות האחרונים מאז הדיווח הקודם - סוכני ה- AI המתקדמים של ענקיות הבינה המלאכותית פועלים לא פעם על דעת עצמם, עוקפים כללים ומחסומים ומתאמים אלה עם אלה מתקפות - אם כי טרם תועדו מתקפות אוטונומיות מסוכנות שיד אדם לא היתה מעורבת בהם.

פרסומת חינם בלב המשבר: רשימת הלקוחות של אירגיולר נחשפת

ובכל זאת, טוב עשו ארבע ענקיות הטכנולוגיה שהודו ביכולת הזדונית של המודלים שלהם - ובכך שהפנו חלק מהאחריות גם למעבדה הישראלית "אירגיולר" שהקימו היזמים דן להב ועומר נבו ולה גייסו 80 מיליון דולר ממשקיעי צמרת כמו קרן סקויה, רדפוינט, אסף רפפורט ועומרי כספי. ההצטרפות של גוגל לקבוצת החברות שמודות כי המודלים שלהם "ברחו" מהקופסה השחורה של אירגיולר, מהווה בפועל מודעת פרסום חינמית נוספת שממנה נהנית החברה הישראלית. לא בגלל הנזק שאירע - בגוגל טוענים שהנזק נמנע לאחר שהמודל שלה הבין שהוא פורץ לאתר של חברה אמיתית - אלא בגלל העובדה שרשימת הלקוחות של אירגיולר רק הולכת ונחשפת - ואלה הלקוחות הגדולים ביותר שניתן להעלות על הדעת. גם אם נראה שתדמיתה של אירגיולר רק הולכת ונסדקת עם עוד לקוח שיוצא לאור ומחלק איתה את האחריות על מודלי השפה הסוררים - ההסבר למעשה טמון באותו האירוע שאירע כבר בחודש יולי השנה.

אירגיולר קימצה במידע על הפריצה ורק מסרה כי "מדובר באותו אירוע נקודתי שכבר דווח בעבר ולא באירוע נפרד ומהותי. כל מעבדות ה- AI הרלוונטיות עודכנו בסוף יולי וכל הבעיות הידועות שהיו בצד שלנו טופלו ונפתרו כבר לפני מספר שבועות". אלא שאחד מחוקרי החברה הרחיב על כך בתגובה ברשת אקס: "בין יתר הדברים שאנחנו עושים, יצרנו סט אתגרים שמדמים חברות אמיתיות ואנחנו נותנים למודלים הכי מתוחכמים בעולם, כאשר הם פועלים בהגדרות הכי מאפשרות שלהם, להדגים כמה רחוק הם יכולים להגיע כאשר נותנים להם אתגרי אבטחת מידע מורכבים. בחלק מהאתגרים הללו הגישה לאינטרנט הכרחית על מנת לאפשר למודלים לפעול במלוא היכולת שלהם. באחד מהאתגרים הייתה גישה לא מכוונת לאינטרנט ומדובר באותה תקלה נקודתית כמו באירועים הקודמים שפורסמו לפני חודשיים, וכמובן שהבעיה תוקנה מאז. הסנדבוקס שלנו דווקא מחזיק מעמד יופי".

הכשל הכפול: כך ג'מיני יצא מהמרחב המוגן למתקפה אוטונומית

במקרים המדווחים בגוגל - כפי שאירע גם במטא , אנתרופיק ו-OpenAI - התקיימו שני כשלים: המודל תירגל פריצה לאתר כלשהו בעל שם פיקטיבי, אלא שבאופן אוטונומי הוא איתר חברה אמיתית בעלת שם דומה וניסה לפרוץ אליה. הכשל השני כלל, כפי שציין אותו עובד באירגיולר, נקודת יציאה מהמרחב הדיגיטלי המוגן לרשת האינטרנט שלא הוגדרה במקומה. במקרה של גוגל, ג'מיני תקפה את אחד האתרים על ידי ניחוש ססמאות סדרתי עד קבלת גישה למערכת המוגנת, ובמקרה אחר מצא המודל פרטים מוכמנים של שם משתמש וססמה, שאפשרו לו לנסות ולפרוץ לשני ארגונים אחרים. גוגל טוענת שנזק לא נגרם וכי היא עצרה את הפריצה עוד לפני שזו הספיקה לגבות מחיר.

מקרה דומה קרה לאירגיולר גם עם אנתרופיק, יצרנית קלוד וגם כמה מהמודלים העוצמתיים ביותר שנבדקו באירגיולר - פייבל ומיתוס. בבלוג של אירגיולר הסבירו כבר לפני כחודשיים בילבול בכתובת של אתר אינטרנט חיצוני הביא לכשל. הרשומה בבלוג ייחסה את הכשל במרומז לגורם האנושי וטענה שכתובת האתר האמיתי לא הייתה ידועה והקשר בינה לבין החברה לא זוהה בסקירה הראשונה שלה. במקרה אחר העלה המודל של אנתרופיק העלה בטעות חבילת קוד פייתון זדונית לספריה שהביאה אתרים אחרים להוריד אותן. האשם, הוא, כאמור, באותה דלת אחורית שהושארה פתוחה ואפשרה למודל לצאת החוצה מהקופסא השחורה המוגנת - החוצה. במקרה זה מפנים האחראים את הבעיה לא רק כלפי עצמם, אלא גם כלפי תצורת המערכת של אנתרופיק שהביאה להתנהגות הזדונית של המערכת - ובמשתמע, במי שפיתח את אותה התצורה.

בכל המקרים הללו, לא נרשמו נזקים חמורים - ואולי זו הסיבה שהחברות המדוברות - גוגל, אנתרופיק או אירגיולר עצמה - הרשו לעצמן להתייחס למקרים האלה ללא חשש. בגוגל התגאו במיוחד שהמודלים הפסיקו את פעילותם כאשר הבינו כי פרצו לאתרים אותנטיים. דווקא המודל המתקדם פחות של אנתרופיק, אופוס 4.7 המשיך בתקיפה לאחר שהבין את הטעות, אך מודל מיתוס 5 המתקדם יותר עצר את עצמו בפרץ.

הבעיה טמונה לא רק בכך שחברה אחת משרתת כ"ארגז החול" של כל יצרניות המודלים האמריקאיות הגדולות, אלא בכך שחברות משחררות הודעות על מודלים סוררים בהתנדבות: הן קובעות את התנאים, הקריטריונים והתזמון לשחרור ההודעה. כך קרה שגוגל הרשתה לעצמה לתאר מקרה שקרה כבר לפני חודשיים, באירוע שכבר דווח עליו על ידי שתיים מהמתחרות הגדולות שלה. ואם להאמין לבכירי החברות - ובפרט לדריו אמודאי, מנכ"ל אנתרופיק וסאם אלטמן, מנכ"ל OpenAI, השליטה על מודלי השפה איננה מוחלטת ועשויה להפתיע לרעה. כשאין רגולציה ואין סטנדרט - השקיפות היא סלקטיבית, וזאת בענף שהפך את עורו ממיזם מדעי למכונת מזומנים מסחרית. קריאתו של טראמפ לזנוח את השיקולים המוסריים סביב פיתוח בינה מלאכותית בשל חשש מיתרון סיני, מבטיחה שהתעשייה תמשיך להתנהל באופן שכזה גם בשנים הקרובות.

עוד כתבות

דונלד טראמפ/ צילומים: רויטרס, שאטרסטוק

טראמפ: ארה"ב השיגה שליטה קבועה בענייני הביטחון בגרינלנד

נשיא ארה"ב הודיע על הסכם עם דנמרק וגרינלנד, שצפוי להיחתם בימים הקרובים, ובמסגרתו וושינגטון תקבל סמכות למנוע מאויביה להקים בסיסים או לבצע השקעות רגישות באי ● בנוסף הודיע כי ארה"ב תפתח בו "באופן מיידי" נוכחות צבאית גדולה ● הנשיא האמריקאי דרש בעבר ריבונות על האי ואף לא שלל שימוש בכוח, אך כעת נראה כי מדובר בהסכם ביטחוני בלבד

ולדימיר פוטין, נשיא רוסיה / צילום: ap

אירופה בכוננות: המסדרון הצר שעלול להפוך לזירת עימות עם רוסיה

אזהרות חריגות מצד מנהיגים באירופה ומידע מודיעיני על צעדים אפשריים מצד מוסקבה מגבירים את הדריכות ביבשת ● במוקד החשש נמצא מסדרון סובאלקי, רצועה יבשתית באורך של פחות מ־100 ק"מ בין פולין לליטא, שהשתלטות רוסית עליה עלולה לנתק את המדינות הבלטיות משאר חברות נאט"ו ● במקביל, בלארוס פתחה בתרגיל צבאי סמוך לאזור

וול סטריט / צילום: ap, Mary Altaffer

נעילה מעורבת בוול סטריט; תשואת האג"ח לעשור שוב חצתה את רף ה-5%

מדד ה-S&P 500 טיפס בכ-0.2% ● הביטקוין זינק בחדות אל מעל לרף ה-80 אלף דולר ● בורסות אירופה ננעלו בירידות חדות ● הבורסות המרכזיות באסיה ננעלו בעליות; מדד הניקיי טיפס בכ-1.5% ● הבנק המרכזי של יפן העלה היום את הריבית לרמה של 1.25% - הרמה הגבוהה ביותר מאז 1995 ● וורן באפט פורש מתפקידו כיו"ר ברקשייר האת'אווי ● לקראת יום כיפור, בת"א לא התקיים היום מסחר

עסקאות השבוע / עיצוב: טלי בוגדנובסקי

תושב החוץ מכר, המשפחה מירושלים קנתה: בכמה נמכר בית פרטי בשדרות?

בשכונת נאות הנביאים בשדרות, נמכר בית בן 4 חדרים בשטח בנוי של 106 מ"ר עם חצר בשטח של 110 מ"ר, תמורת 1.5 מיליון שקל ● "שדרות הפכה לעיר מאוד מבוקשת, גם למגורים וגם על ידי משקיעים. יש הרבה עסקאות ומגיעים אליה אנשים מכל הארץ" ● ועוד עסקאות נדל"ן מהשבוע האחרון

צבי ברק / איור: גיל ג'יבלי

מאקזיט ענק לעסקת השבוע: המיליארדר שמעטים בשוק ההון מכירים

הוא עשה את הונו מאקזיט מכשור רפואי ומאז שלח זרועות לתשתיות, אנרגיה וביטוח ● צבי ברק, מבעלי המניות המובילים בחברת ווישור, מחזיק יחד עם אשתו ענת גם בזכיינית כביש 6, בתחנות כוח ובאפליקציית החניה פנגו

גלעד אלשטשולר, יוסי לוי, יאיר לפידות / צילום: סם יצחקוב, יח''צ, איל יצהר

רגע לפני העסקה: הסטות הכספים הגדולות מאלטשולר שחם נמשכו

אלטשולר שחם וילין לפידות ממשיכים לאבד מיליארדים למתחרים • כלל זינקה לראש טבלת המגייסים עם 1.64 מיליארד שקל, בעוד מיטב ירד למקום השני ● איילון מופיעה לראשונה בטבלאות, ומגדל בדרך לעקוף את מנורה מבטחים בהיקף הנכסים המנוהלים • וברקע, עסקת ווישור מציבה סימן שאלה כפול: כיצד ייראה שיתוף הפעולה העתידי בפעילות הגמל של איילון ואלטשולר שחם החדשה?

איך מנהלים מלחמה כלכלית: המדריך לעולם מפולג / אילוסטרציה: Shutterstock

איך מנהלים מלחמה כלכלית: המדריך לעולם מפולג

מכסים, הגבלות, מחצבים ונקודות אסטרטגיות: המלחמה בין המעצמות מזמן לא מתנהלת רק בשדה הקרב ● הן הופכות את התלות הכלכלית לכלי נשק, ומגלות שגם הוא יכול להתהפך עליהן ● ד"ר אדוארד פישמן, שהיה שותף לעיצוב הסנקציות על רוסיה ואיראן בעבר, משרטט את העידן שאחרי הגלובליזציה

ג'מיני / צילום: Shutterstock

מודל בינה מלאכותית נוסף פרץ לחברות במהלך תרגיל סייבר

המודל של גוגל הצליח לחדור למערכות של חברות אמיתיות במהלך ניסוי שנערך על ידי הסטארט־אפ הישראלי אירגיולר, אף שהיה אמור לפעול בסביבה סגורה וללא גישה לאינטרנט • האירוע מצטרף למקרים דומים שנחשפו בחודשים האחרונים במודלים של OpenAI, אנתרופיק ומטא

רג'פ טאיפ ארדואן, נשיא טורקיה / צילום: Shutterstock

פרשת ההונאה בטורקיה היא בדיוק מה שארדואן חיכה לו

פרשת ההונאה הבינלאומית בטורקיה מספקת לנשיא הסחת דעת מושלמת מקריסת הבורסה המקומית, מהמבוכה האזורית מול החות'ים ומגל המעצרים החריג במדינה ● אף שישראלים מהווים רק כ-5% מהחשודים בפרשת הקריפטו, המשטר מיהר למתג אותה כ"רשת הונאה ישראלית" וחרץ את דינם של המעורבים מראש ● בטווח הקצר צפוי משטר ארדואן להפוך את העצורים לקרקס תקשורתי משפיל, ובהמשך עשוי למנף את מעצרם כדי לסחוט מישראל שחרור של בכירי חמאס

האוורד באפט / צילום: ap, Nati Harnik

המחליף של באפט: חקלאי, צלם ופילנתרופ

הווארד ג'י. באפט, בנו של וורן באפט, לא יהיה האיש שינהל את אימפריית ההשקעות. את התפקיד הזה קיבל גרג אייבל ● במקום זאת, בגיל 71, הוא מונה ליו"ר ברקשייר כדי לשמור על הדבר שאביו מגדיר כנכס החשוב ביותר שלה: התרבות והערכים

אילוסטרציה: טלי בוגדנובסקי, חומרים: Shutterstock

"חופשות המסתורין" בהן אין לכם מושג לאן אתם טסים

נוסעים מהמרים על חבילות נופש במחירי רצפה, שעשויות לקחת אותם להוואי, או לטמפה שבפלורידה

פי.ג'יי. סיטנפלד ומתקן הכליאה באשלנד, קנטקי / צילומים: Al Behrman AP, John Flavell

לא הבנתי עד כמה הייתי מכור לטלפון שלי, עד שנכנסתי לכלא

פוליטיקאי לשעבר מסינסינטי כותב על האירוניה שבפרידה הכפויה מהמכשיר שלא הפסיק לצפצף

מערכת ההגנה האווירית ספיידר / צילום: רפאל

רפאל מאשרת את חשיפת גלובס: בדרך לעסקת ענק בצ׳כיה

רפאל אישרה את חשיפת גלובס על המגעים להרחבת עסקת מערכת ההגנה האווירית ספיידר בצ׳כיה, שנחתמה במקור עבור ארבע סוללות ● התוכנית צפויה להתפתח למערך הגנה לאומי משולב, עם יכולות נגד טילים בליסטיים וכטב”מים ומערכות מבוססות לייזר ● שתי הסוללות הראשונות מהעסקה המקורית כבר נמצאות בצ׳כיה

אי למכירה בניקרגואה

היזם שמציע איים למכירה. המחיר: החל מ-50 אלף דולר

מגן עדן בקריביים ועד מובלעת פראית באוקיינוס ההודי - היזם כריס קרולו מוכר לאנשים חלום: אי פרטי משלהם ● יש לו מאות כאלה בפורטפוליו, והוא מבקש עבורם מחירים שמתחילים ב-50 אלף דולר ("מקום מצוין להיפטר בו מגופה") ומגיעים ל-450 מיליון דולר ● "יוקרה היא חלק מהעניין, אבל גם אגו"

צילום מסך של אתר ההגרלות ''דירה בהנחה''

משרד השיכון סגר זמנית את אתר "דירה בהנחה"

האתר נסגר לצורך איתור חרדים שמצויים בסטאטוס של המתנה, לאור החלטת בג"ץ והנחיית הייעוץ המשפטי לממשלה, לפיהן חרדים שלא שירתו בצה"ל אינם זכאים להשתתף בהגרלות ● לפי שעה, לא ברור מתי האתר ייפתח שוב

יחיא סינוואר / צילום: ap, Adel Hana

המקור נחשף: אני העברתי מסר מסינוואר לישראל לפני 7.10

השר הפלסטיני לשעבר מבטיח לפרסם בקרוב פרטים על מגעים שניהל בין חמאס לישראל ● הממשל האמריקאי הודיע: מאשרים מכירת 48 מטוסי F35 בעסקת ענק לסעודיה ● העסקה כוללת את מכירת מטוסי הקרב F35 Lightning II וציוד נלווה, ומוערכת ב-24.3 מיליארד דולר ● דיווח ב-CBS: איראן הפילה בימים האחרונים לפחות שני כלי טיס אמריקאים בלתי מאוישים ● עדכונים שוטפים 

וורן באפט / צילום: ap

וורן באפט בהודעה דרמטית: פורש מתפקיד יו"ר ברקשייר - "הזמן תמיד מנצח"

משקיע העל הודיע היום לבעלי המניות של חברת האחזקות כי הוא פורש מתפקיד היו"ר ● בנו הווארד יחליף אותו בתפקיד

מערכת ההגנה האווירית ''ספיידר'' של רפאל

על סף חתימה: עסקת הענק של רפאל בצ'כיה

לגלובס נודע כי רפאל נמצאת על סף חתימה עם צ'כיה למכירת מערכות הגנה אווירית מדגם ספיידר, ומערכות שליטה ובקרה ● העסקה, שצפויה להניב לחברה הישראלית מיליארדים נוספים, תתווסף למכירת ספיידר לרומניה תמורת כשני מיליארד אירו, שנסגרה לפני כשלושה חודשים ● בניגוד לרומניה, לצ'כיה כבר יש ארבע מערכות ספיידר

התוכנית: הגדלת היישוב פי שלושה. ג'דיידה־מכר / צילום: פאול אורלייב

הממשלה החליטה לבנות לראשונה עיר ערבית. ואז שר האוצר נזכר שצריך לייהד את הגליל

המדינה השקיעה עשור, דיונים מקצועיים ומיליארדי שקלים בהסכם גג ענק להרחבת ג'דיידה־מכר, יישוב עני ומוכה פשיעה ● עכשיו, פוליטיקאים בולמים את התוכנית בשם "ייהוד הגליל" ● אלא שביטול הבנייה לא יעלים את צורכי הדיור בחברה הערבית

ריאד, בירת סעודיה / צילום: Shutterstock, Mohammed younos

מתקפה של החות'ים על סעודיה: שרפת ענק בנמל התעופה הראשי

דיווחים בסעודיה: מתקפה של החות'ים על נמל התעופה בריאד, שרפת ענק ועצירת טיסות ● ראש מערך הביטחון של איראן בריאיון לאל-ג'זירה: קטאר העבירה לארה"ב את התנאים של איראן לסיום המלחמה, ממתינים לתשובתו של טראמפ ● 2 לוחמים נפצעו קל מפיצוץ בדרום לבנון, צה"ל תקף בתגובה ● טראמפ הכריז: "ארה"ב שולטת ביטחונית בגרינלנד" ● דיווח בוושינגטון פוסט: מותם של ארבעה חיילים אמריקאים לפחות הושמט מהדיווחים הרשמיים של הפנטגון במהלך המלחמה עם איראן