גלובס - עיתון העסקים של ישראלאתר נגיש

עמוד הבית  גלובלי ושוקי עולם

כוכב-העל במתמטיקה שחושש מבינה מלאכותית, ובכל זאת הצטרף לאחרונה ל־OpenAI

ג'ייקוב צימרמן זכה בפרס היוקרתי ביותר בעולם המתמטיקה. כעת הוא עובד על הבעיה החשובה ביותר בקריירה שלו

ג'ייקוב צימרמן / צילום: Simons Foundation ,מתוך ויקיפדיה
ג'ייקוב צימרמן / צילום: Simons Foundation ,מתוך ויקיפדיה

כשזכה בשבוע שעבר במדליית פילדס, ג'ייקוב צימרמן עלה לקבל את הפרס היוקרתי ביותר בעולם המתמטיקה כשהוא לבוש בטוקסידו תכלת עם דש סאטן. ואז הוא מסר הודעה שהייתה מרשימה לא פחות מהטוקסידו שלו.

WSJ | מייסד הייטק רצה להקים מדינה חדשה. מדינה קיימת עמדה בדרכו
WSJ | מיליארדר ה־AI הכפיל את הונו. גרושתו דרשה חצי ממנו

לאחר הטקס נשאלו ארבעת הזוכים במדליה מה בכוונתם לעשות כעת. אחד השיב שימשיך לעסוק במשוואות דיפרנציאליות חלקיות, אחר אמר שהוא רוצה להתנסות בבינה מלאכותית, וזוכה נוספת הודתה שאין לה מושג. ואז הגיע תורו של צימרמן. "אני עומד להתחיל לעבוד ב־OpenAI", הוא אמר.

נטייה להשית סדר גם על תרחישי אפוקליפסה

ההחלטה הייתה מפתיעה לחלוטין, ובו בזמן גם לא מפתיעה כלל. רק לאחרונה צימרמן פרסם מאמר שבו מיפה את הדרכים השונות בהן בינה מלאכותית עלולה להביא להכחדת האנושות, תוך שהוא מחיל את הנטייה המתמטית שלו להשית סדר גם על תרחישי אפוקליפסה. הוא הפסיק להנחות סטודנטים לתארים מתקדמים שלא עסקו בבינה מלאכותית, משום שלא היה בטוח כיצד ייראה עתידו של תחום המתמטיקה. הוא אף הסיט את מוקד המחקר שלו מתורת המספרים ומהגאומטריה האלגברית המורכבת.

מתברר שהוא מודאג כל כך מהסכנות הטמונות בבינה מלאכותית, עד שהחליט להקדיש את עצמו לבטיחותה.

הפרופסור הבולט יוצא לחופשה מאוניברסיטת טורונטו כדי להצטרף כחוקר ב־OpenAI, אך אינו נוטש את המתמטיקה. להפך. הוא מבקש לרתום את השפה הפורמלית ואת שיטות האימות של תחום התמחותו כדי לקדם את המחקר בתחום הבינה המלאכותית: להעריך את התקדמותה, להבין את תהליכי קבלת ההחלטות שלה, ולוודא באופן מוחלט שלא תוביל להכחדת האנושות.

משכורות ואופציות שקשה לדמיין

החברות הנמצאות בחזית פיתוח הבינה המלאכותית, המגייסות מהאוניברסיטאות כישרונות מכל התחומים, מסוגלות להציע משכורות ואופציות למניות שקשה לדמיין. אבל כל מי שפגש אי פעם פילוסוף או מתמטיקאי יודע שהם אינם מונעים בראש ובראשונה מכסף. אחרת הם לא היו פילוסופים ומתמטיקאים.

אחד מגדולי המתמטיקאים של דורו עובד כיום על בטיחות הבינה המלאכותית, משום שהוא מאמין שזו הבעיה החשובה ביותר שאותה הוא יכול לסייע לפתור.

"בתוך כמה שנים מערכות בינה מלאכותית יהיו טובות באופן מובהק מבני אדם בפתרון בעיות מתמטיות", אמר לי צימרמן. "ההשלכות החברתיות של זה, האופן שבו נבחר להגיב, ומה כל אחד ירגיש כלפי זה - אלה כבר שאלות הרבה יותר קשות".

בינתיים הוא מתמקד בשאלות שהוא מצוי בעמדה ייחודית להשיב עליהן. איך אפשר להבין מה בדיוק עושות מערכות בינה מלאכותית? איך אפשר לגרום להן להסתדר זו עם זו, וגם איתנו? ואיך אפשר להוכיח מבחינה מתמטית שהן אינן זוממות בחשאי להשמיד את האנושות?

מתמטיקאים משתמשים זה שנים בכלים שפיתחו כדי להבין את ההתנהגות האנושית. צימרמן ישתמש בהם כדי לפענח את התנהגותן של מכונות.

נושאים שלא צריך דוקטורט כדי להבין אותם

הדרך שהובילה אותו לרגע הזה החלה הרבה לפני שזכה בפרס הנובל של עולם המתמטיקה. צימרמן, בן 38, הוא בנם של מדען מחשב ומורה למתמטיקה בתיכון. הוא נולד ברוסיה, עבר לישראל בילדותו וגדל בקנדה, שם זכה בשתי מדליות זהב באולימפיאדה הבינלאומית למתמטיקה עוד בתקופת התיכון. לאחר מכן הקדים להירשם לאוניברסיטת טורונטו והשלים את לימודיו לתואר הראשון בתוך שנתיים. בהמשך השלים דוקטורט באוניברסיטת פרינסטון, לימד באוניברסיטת הרווארד וחזר לאוניברסיטה שבה למד, שם היה לפרופסור הצעיר ביותר למתמטיקה בתולדותיה.

בשלב הזה של הביוגרפיה שלו אפשר היה לספר על עבודתו פורצת הדרך בנושא השערת אנדרה אורט ועל השערת גריפית'ס בדבר האלגבריות של תמונות העתקות מחזוריות. אבל נמשיך הלאה. אחרי הכול, כיום הוא עובד על נושאים שלא צריך דוקטורט כדי להבין אותם.

במשך רוב הקריירה שלו צימרמן היה ספקן כלפי בינה מלאכותית. הוא תמיד ידע שהמערכות האלה יהפכו לעוצמתיות יותר. "אבל במשך זמן רב", הוא אמר, "מעולם לא באמת האמנתי שהן יגיעו לרמה כזאת". במיוחד התקשה להאמין שבינה מלאכותית תוכל לשחזר תכונות שהופכות אותנו לבני אדם, כמו אינטואיציה ויצירתיות. במהלך העשור האחרון היו כמה רגעים שאילצו אותו לבחון מחדש את ההנחה הזאת, אך את דעתו שינה לחלוטין בשנת 2022, מיד לאחר שהתנסה ב־ChatGPT.

"אם הוא מסוגל לדבר על שוקולד ולכתוב שיר", חשב לעצמו, "למה שלא יוכל לדבר על מתמטיקה ולכתוב משוואות?".

התובנה הזאת הובילה אותו למסקנה מטרידה: "השתכנעתי מאוד שהמערכות האלה יהפכו לעוצמתיות בצורה קיצונית".

עד מהרה החל לחשוש שבינה מלאכותית תהפוך לעוצמתית מדי. בקיץ שעבר הוא פרסם מאמר אקדמי המתאר כמה תרחישים דיסטופיים אפשריים. כותרתו הייתה A Taxonomy of Omnicidal Futures Involving Artificial Intelligence, כאשר omnicidal פירושו השמדת כלל האנושות.

"כמו מזיקים שמחוסלים בידי מכונות שעולות על בני האדם, הן מבחינה אינטלקטואלית והן מבחינה פיזית", הוא כתב.

עדיין לא הגענו לשלב הזה במהפכת הבינה המלאכותית. לפחות בינתיים. אבל כבר הגענו לנקודה שבה השערות מתמטיות מפורסמות, שעמדו בעינן במשך עשרות שנים, מתחילות ליפול בזו אחר זו.

"עד עמוד 12 הראש שלי כבר היה מתחיל לכאוב"

השלב הזה החל כאשר OpenAI חשפה שמודל שטרם פורסם הצליח לפתור בעיה מתמטית בת 80 שנה. הוא הצליח לפתור את בעיית מרחק היחידה לא רק משום שהוא עשוי להיות חכם יותר מבני אדם, אלא גם משום שהוא מסוגל לחשוב באופן עקבי במשך זמן ארוך הרבה יותר. כשהחברה הציגה את דרך החשיבה של המודל, שרשרת ההסקה השתרעה על פני 125 עמודים. "עד עמוד 12", אמר צימרמן, "הראש שלי כבר היה מתחיל לכאוב".

התוצאה המסחררת הבאה הגיעה כאשר מודל Fable של אנתרופיק מצא דוגמה נגדית להשערת יעקוביאן, בעיה מתמטית ידועה לשמצה שהצליחה לחמוק מפתרון במשך 87 שנה. על הגילוי דיווח עובד באנתרופיק בעל דוקטורט במתמטיקה, שבעבר זכה בפרס מורגן, המוענק לחוקר המצטיין בארה"ב בשלב התואר הראשון. במקרה, המנחה שלו היה ג'ייקוב צימרמן.

למרות פריצות הדרך האלה, צימרמן עדיין מעדיף לחשוב על רעיונות בדרך האנושית. "אני נהנה לעסוק במחקר מתמטי בדרך הקלאסית: לבד מול לוח", הוא אמר לי. "אפשר ליהנות מאוד מהשילוב של בינה מלאכותית ומתמטיקה. אני פשוט עוד לא למדתי ליהנות מזה" (הרעיון שלו להנאה כולל גם משהו שבינה מלאכותית עדיין לא הצליחה להשתלט עליו: אלתור קומי).

אבל לוח גיר אינו הכלי היחיד שבו הוא משתמש לצורכי מתמטיקה. צימרמן נעשה פרודוקטיבי יותר משום שהוא מוכן בהחלט להעביר לבינה מלאכותית את החלקים המשעממים של עבודתו. כך, למשל, הוא כבר לא צריך לעבור על מאות שנים של ספרות מקצועית רק כדי למצוא משוואה מסוימת. "מאמרים במתמטיקה מאוד קשים לקריאה", הוא אמר לי. גם זוכי מדליית פילדס הם בסך הכול בני אדם!

המודל זיהה שגיאה, צימרמן תיקן אותה

בניגוד לרובנו, צימרמן גם נעזר ב-AI בעת כתיבת מאמרים מתמטיים. לאחרונה הוא ביקש ממודל בינה מלאכותית לסייע לו להכליל אחד מהטיעונים שלו, אך המודל דווקא זיהה בו שגיאה. צימרמן תיקן אותה. אבל מי שמצא אותה היה המודל. "אילו אחד מעמיתיי למחקר או מהסטודנטים שלי היה עושה את זה, הייתי מתרשם מאוד", הוא אמר. "זו יכולת שלא הייתה לו בשנה שעברה".

למרבה הצער, מודלי בינה מלאכותית מסוגלים כיום לעשות דברים רבים שבעבר נראו בלתי אפשריים, כמו לפרוץ את מנגנוני ההגנה שלהם עצמם ולחדור למערכות של חברות.

הדיווחים האחרונים על סוכני בינה מלאכותית של OpenAI ושל אנתרופיק שיצאו משליטה נשמעים כאילו נלקחו היישר ממאמר על השמדת האנושות. הם גם ממחישים שלמתמטיקאים תיאורטיים יש תפקיד חשוב בריסון הטכנולוגיה החזקה והמסוכנת ביותר של זמננו.

"ככל שמערכות הבינה המלאכותית נעשות מסוגלות יותר, הבטחת בטיחותן והתנהגותן בהתאם לייעודן תחייב חוקרים יוצאי דופן ודרכי חשיבה חדשות", אמר קאי צ'ן, חוקר בתחום ה-alignment (התאמה של המודל לערכים אנושיים) ב־OpenAI.

כעת, לאחר שאחרוני תלמידי הדוקטורט שלו עומדים לסיים את לימודיהם, זה היה מבחינתו זמן טבעי לבצע גם הוא שינוי. הוא אינו יודע כמה זמן יישאר ב־OpenAI, מתי יחזור ללמד, או מתי תהיה הפעם הבאה שבה ילבש את הטוקסידו שלו. "כיום יש מעט מאוד ודאויות או החלטות קבועות בחיים שלי", אמר.

התקווה הגדולה ביותר שלו היא שבינה מלאכותית תעשה את מה שאנחנו צריכים, ותותיר אותנו פנויים לעשות את מה שאנחנו אוהבים. שאלתי אותו מה הוא היה רוצה לעשות.

"לא חסרים לי דברים", הוא השיב. "מתמטיקה היא אחד מהם".

כתבה זו תורגמה על ידי גלובס באופן בלעדי מתוך The Wall Street Journal. לינק לכתבה המקורית באנגלית.

עוד כתבות

מי רשאי להעביר זכויות במקרקעין ששייכים לרמ''י / אילוסטרציה: Shutterstock

מיהו "בן ממשיך"? פסק דין חדש קובע שמינוי באגודה אינו מעניק אוטומטית זכויות בנחלה

הבן טען כי נחלת ההורים הועברה לו במתנה בהסכם "בן ממשיך" לפני כ־30 שנה - בעוד האחיות ביקשו לחלק את רכוש האם, כולל המשק, בחלקים שווים בין כל האחים בהתאם לצוואתה

עסקאות השבוע / עיצוב: טלי בוגדנובסקי

חודש על המדף ואחרי תחילת התמ"א: בכמה נמכרה דירת 3 חדרים בבת ים?

הדירה נמכרה לאחר כחודש בשוק ב-1.7 מיליון שקל, כשברקע החל פרויקט תמ"א 38 בבניין ● לפי המתווכת, ההתחדשות העירונית העלתה את שווי הנכס, ובמקביל מתחילים להופיע בעיר גם משקיעים ומשפרי דיור שמזהים הזדמנויות ● ועוד עסקאות נדל"ן מהשבוע האחרון 

דירה להשכרה / צילום: Shutterstock

השכרתם דירה ב-7,000 שקל בחודש. כמה מס תשלמו?

השבוע פורסם בגלובס כי המיליארדר בני שטיינמץ ורשות המסים נמצאים במאבק משפטי. מה הסיבה? • וגם: כמה אנשים בישראל מחזיקים ב-9 דירות לפחות? • חושבים שאתם בקיאים בכל מה שקרה השבוע בכלכלה בארץ ובעולם? בואו לבחון את הידע שלכם • החידון הכלכלי של גלובס

כטב''ם מתאבד מדגם הירו 120 SF / צילום: חברת UVISION

בזכות הנשק הישראלי: המדינה שהפכה למובילה בדרום אמריקה

ארגנטינה מטמיעה חימושים משוטטים ישראליים, שמקדמים אותה למעמד טכנלוגי מוביל בדרום אמריקה ● סינגפור שילבה טילי Blue Spear מתוצרת ישראל בספינת מלחמה חדשה ומתקדמת ● וטייוואן מפתחת כלי שיט בלתי מאוישים מבוססי בינה מלאכותית של חברה אמריקאית ● השבוע בתעשיות הביטחוניות

קלוד / אילוסטרציה: Shutterstock

נתנו לקלוד להשקיע 50 אלף דולר, והוא הצליח לעקוף את התשואה של S&P 500

חשבון X עצמאי נתן לסוכן הבינה המלאכותית של אנתרופיק לנהל תיק השקעות של 50 אלף דולר במטרה להשיג תשואה גבוהה ממדד S&P 500 ● כעת טוענים מפעילי הפרויקט כי התיק הניב תשואה של 19% מאז מרץ, וכי משקיעים כבר מעתיקים את העסקאות שלו בהיקף של כ-27 מיליון דולר

מסעוד פזשכיאן, נשיא איראן / צילום: ap, Alexander Nemenov

דרמה בטהרן: הנשיא פזשכיאן איים להתפטר כדי לכפות פגישה עם חמינאי

פזשכיאן מבקש להבהיר לחמינאי כי המצוקה הכלכלית במדינה הגיעה לנקודה קריטית, עד שהשגת הסכם מדיני והסרת הלחץ הכלכלי הפכו לצורך דחוף שאינו סובל דחייה ● על פי הדיווח ב-CNN, גנרל קיין מנסה להוביל מהלך לסיום המלחמה עם איראן • בפנטגון מעריכים כי הפצצות אוויריות לבדן לא יכניעו את טהרן ●  ברקע: החשש בצמרת הצבא האמריקני מהידלדלות במאגרי התחמושת ומערכות ההגנה ● עדכונים שוטפים

מנכ''ל פרטנר, אבי גבאי / צילום: ינאי יחיאל

הדיבידנד החריג בסכנה? מחזיקי האג"ח של פרטנר מתנגדים לניסיון החלוקה

מחזיקי האג"ח של פרטנר, בהובלת מור גמל ופנסיה וקסם קרנות נאמנות, התנגדו לבקשת החברה לאשר חלוקת דיבידנד חריגה של 500 מיליון שקל ● במקביל, הובילה מור התנגדות גם לבקשת נופר אנרג'י, שהסתיימה בפדיון מוקדם של שתי סדרות אג"ח

טילי ''ספייק'' מתוצרת רפאל. בעיגול: אילהם אלייב, נשיא אזרבייג'ן / צילומים: דוברות רפאל, AP-Ebrahim Noroozi

אזרבייג'ן הולכת ומתרחקת מישראל. מי תקטוף את הפירות?

ישראל סופגת ביקורת גוברת מאזרבייג'ן, בין השאר בגין הכרת הממשלה ברצח העם הארמני ● למרות עסקה נאה שנסגרה על מערכות רפאל, בחברות חוששים כי מגמת הצטמצמות העסקאות עם הלקוחה האסטרטגית תימשך ● ממקורות הדאגה: הסתערות החברות האמריקאיות ועיכוב לא מוסבר בהכרעת מכרז חלל

קווינס. שכר הדירה החציוני בדירות הנמצאות בפיקוח שכר דירה ברובע נמוך ב־13% ממחיר השוק / צילום: Shutterstock

ניו יורק: שוכרי דירות עשירים תופסים נתח מפתיע משוק הדיור המפוקח

במנהטן, שכר הדירה בדירות בפיקוח נמוך במחצית ממחיר השוק, בעוד שבברונקס הפער עומד על 12% בלבד

המומחית שמסבירה: האם 2 מיליון שקל זה מספיק לפנסיה

שיחה עם אלה אלקלעי, יו"ר IBI קרנות נאמנות ופעילה חברתית ● על כלל־האצבע שאמור להבטיח לפרוש בלי דאגות, האוכלוסייה שמצויה בסיכון הגדול ביותר והפרשה שהחלה ברעיון חכם ויצאה משליטה ● איך להתכונן לפנסיה גם בגיל 40? סדרה חדשה

וול סטריט / צילום: ap, Mary Altaffer

וול סטריט איבדה גובה; פלייטיקה נפלה ב-16%, ווסטרן דיגיטל ב-12%

דאו ג'ונס קטע רצף של שישה ימי עליות ● הדוחות של סאנדיסק וווסטרן דיגיטל איכזבו את המשקיעים ● מניית SpaceX במוקד: בעלי עניין מכרו מניות לראשונה, אך המניה התאוששה ● סופטבנק עקפה את התחזיות בזכות רווח הון מאינטל ● אחרי חודשים של מאבק: אפולו משתלטת על איזי ג'ט ● הנפט זינק בכ-4% על רקע ההסכם המתהווה על השליטה במצר הורמוז

משקאות אנרגיה Celsius / צילום: Shutterstock

החלפתי קפה במשקאות אנרגיה וכמעט איבדתי את השפיות

כך נראה שבוע העבודה של כתב וול סטריט ג'ורנל ג'יימי ווטרס על דיאטה של Celsius ומשקאות עתירי קפאין אחרים, שמבטיחים לעזור לצרכנים למצות את מלוא הפוטנציאל שלהם

בורסת תל אביב / צילום: טלי בוגדנובסקי

נעילה חיובית בת"א; אורמת זינקה ב-9% פאלו אלטו השילה 4%

ת"א 35 עלה ב-0.3% במחזור ענק ● אורמת עקפה את הצפי ומעלה תחזיות ● מניות השבבים המקומיות יורדות בהתאם למגמה בארה"ב ● פאלו אלטו מצטרפת הערב למדדים המובילים

מטוס ישראייר רחב גוף A320 / צילום: מוני שפיר

התחרות על הקו לניו יורק מתחממת: ישראייר קיבלה אישור לקראת טיסות לארה"ב

חברת התעופה קיבלה מרשות התעופה האזרחית ואישור ממשרד התחבורה האמריקאי, וכעת ממתינה רק לאישור מינהל התעופה הפדרלי של ארה"ב כדי שתוכל להפעיל טיסות לניו יורק ● וגם: קבוצת שטראוס משיקה יוזמה המזמינה ישראלים לגלות את הצפון דרך טיולים ● אירועים ומינויים

הנפקת פלייטיקה בנאסד''ק. המגעים עם רוביו הסתיימו / צילום: יח''צ

פלייטיקה מזהירה מחולשה בהמשך השנה; נפלה בחדות בוול סטריט

חברת הגיימינג הישראלית רשמה הכנסות של 731 מיליון דולר ורווח נקי של 48 מיליון דולר ● Disney Solitaire המשיך לצמוח במהירות, אך מספר המשתמשים ירד והחברה מעריכה כי תסיים את השנה בחלק התחתון של התחזית ● המניה נפלה במעל 15%

וול סטריט / צילום: ap, Mary Altaffer

וול סטריט ננעלה בעליות: S&P 500 בשיא סגירה חדש

דוח תעסוקה מאכזב בארה"ב: במקום תוספת של 80 אלף משרות ביולי, נגרעו מהשוק 23 אלף משרות ● בניגוד לתחזיות, שיעור האבטלה בארה"ב ירד - ועומד על 4.1% ● מניית  אייר בי.אן.בי. זינקה ב-17% ומניית ספייס אקס ב-16% ● מחיר הנפט נסחר בירידות קלות

מקק / צילום: Shutterstock

מלחמה גרעינית תשאיר רק ג'וקים בעולם? האמת שונה לגמרי

אחת לשבוע המדור "בודקים את המיתוס" יעסוק בעיוותים היסטוריים מפורסמים, מדוע נוצרו, וכיצד הם משפיעים עד ימינו ● והשבוע: החרק המושמץ זכה לשם של מי שישרוד את הלחיצה על הכפתור האדום, אך שוב מדובר במיתוס

לפי האקדמיה ללשון, מהי המילה העברית למדיטציה? / צילום: Shutterstock

לפי האקדמיה ללשון, מהי המילה העברית למדיטציה?

מהו סקסטיליס, איזה כלי נגינה הוא התיאורבו, ומי המציא את המזגן המודרני? ● הטריוויה השבועית

מסלולים בעלי שם דומה - הרכב השקעות שונה / אילוסטרציה: טלי בוגדנובסקי

הכסף עבר לאפיק אחר, החוסכים כלל לא שמעו על זה

רפורמת המסלולים של רשות שוק ההון באה להגביר אחידות במסלולי הגמל, הפנסיה וההשתלמות ● בפועל, מסלולים בעלי שם דומה כללו הרכב השקעות שונה - שהתבטא גם בתוצאות שהשיגו ● כעת מגדל ומיטב משנות מדיניות השקעה במסלולים שזכו לתשואה נמוכה ואיבדו כספים

רצועת עזה / צילום: ap, Jehad Alshrafi

דיווח: המוצב הצבאי שיוקם בעזה – והכוח הזר שייכנס אליו

הצעד הראשון של טראמפ ברצועה: מוצב ל-150 חיילים ממרוקו בעזה ● בלבנון מדווחים: הסתיים סבב המו"מ בין ישראל ללבנון שהתקיים ברומא, ונמשך שלושה ימים ● הותר לפרסום: רס"ן הראל בירנשטוק ורס"ם תמיר וקנין ז"ל נפלו בלבנון; ארבעה לוחמים נוספים נפצעו, מצבם קשה ● דיווח: ממשל טראמפ מנע תגובה משמעותית אחרי הרג הלוחמים - והתעמת עם צרפת לגבי המו"מ ● בצל ההסכם המתקרב: חיל האוויר האמריקאי החל לפנות חלק מהמתדלקים בנתב"ג ● מתקרב הסכם לפתיחה מחדש של מצר הורמוז ● עדכונים שוטפים