אמנון שעשוע טוען: הצלחנו להכות את מהירות העיבוד של אנבידיה

חברת הסטארט-אפ AA-I ("דאבל איי.אי") של פרופ' אמנון שעשוע, מייסד ומנכ"ל מובילאיי, תשיק בחודשים הקרובים מודל שפה חדש לפיתוח קוד ותתחרה בשוק הצפוף של מחוללי הקוד, שנשלט כיום בידי ענקיות כמו אנתרופיק, עם קלוד קוד וקרסר, שנמכרה לאחרונה ל-SpaceX של אילון מאסק ב-60 מיליארד דולר. בשוק יש גם שחקניות גדולות אחרות כמו גיטהאב פיילוט של מיקרוסופט, ווינדסרף של חברת קוגנישן וקודקס של OpenAI.

● בלעדי | סטארט-אפ השבבים מקיסריה מגייס לפי שווי ענק של 4 מיליארד דולר
● ילד הפלא של וויקס משיק מודל שפה חדש

שעשוע, שחשף את תוכניותיו בראיון ל"וושינגטון פוסט", מספר כי בחברת הסטארט-אפ שהקים יחד עם שורת חוקרים מהאוניבסיטה העברית, האיצו פי 3.5 את אחת מספריות התוכנה של אנבידיה, ואגב כך איתרו תקלות רבות שלא אותרו קודם לכן, באמצעות שיטת אימון המודלים החדשה שלו.

לטענתו, אם במודלי השפה הגדולים המקובלים כיום מתמקדים באימון המבוסס על תגמול - הרי שהמודלים המפותחים ב-AA-I מבוססים על שיטה מדעית הכוללת השערות (תיזות) רבות ובחינה עמוקה שלהן.

הניסוי שערכו בחברה עם אנבידיה לא רק הצליח להאיץ את פעילות עיבוד ה-AI שלה - אלא גם הפך להוכחת היתכנות לשיטת פיתוח התוכנה החדשה של שעשוע.

גישה השאובה מעקרונות המדע והמחקר

מודלי הבינה המלאכותית השגורים כיום בחברות כמו OpenAI, אנתרופיק וגוגל בנויים על שיטת הטרנספורמרים - או "הלמידה המחזקת", שמתגמלת הצלחה על-פי הפקת תשובות נכונות. מודלי השפה הללו לומדים סגנונות חשיבה שונים ומשתפרים בהתאם לתוצאה שלהם.

שעשוע ועמיתיו לדאבל איי.אי מתארים גישה אחרת, כזו ששאובה מעקרונות המדע והמחקר - וכוללת הפקת אלפי השערות, דחיית רעיונות, תיקון, חזרה אחורה, ניסוי וטעייה - לא רק מתוך התחשבות בהצלחה, אלא גם בחקר סוגי כשלונות שונים.

"אף אחד לא מדבר על כל אותם דרכים כושלות שלא הובילו לפתרון", אמר שעשוע ל"וושינגטון פוסט". "אז כל מה שנותר במודלי השפה הגדולים הוא הפתרון". לעומת זאת, לפי שעשוע, למידה ואימון פירושם גם ללמוד מכל אותם עשרות או מאות כישלונות.

"אם תסתכל מי באמת מקדם את הגבולות באנושות, אלה המומחים", אומר שעשוע. "אם יש לך בינה מלאכותית שיכולה לעשות את זה רק ברמת מומחים, אז אתה פותח משהו שיכול להיות מאוד משנה חיים לאנושות. הנקודה שלי היא שבינה מלאכותית היום לא נבנתה לזה. היא לא מיועדת לצעדים ארוכי אופק והסקה עם הרבה מאוד אי-ודאיות".

"לשנות את הדרך שבה מטפלים בקוד"

אחרי ההצלחה בניסוי שביצעה החברה עם אנבידיה, בדאבל איי.אי מתכננים כאמור להשיק את מחולל הקוד האוטונומי בחודשים הקרובים ולשפר אותו בהדרגה, עד מצב שבו הוא יאפשר, לדברי שעשוע, פיתוח קוד מדויק יותר שינפה בעצמו שגיאות.

לדבריו, מחוללי הקוד הקיימים "מאומנים באופן שמייצר קיצורי דרך ולומדים לנצל חולשות - במקום לפתור את הבעיות ההנדסיות הבסיסיות. מפתח התוכנה האנושי רוצה לכתוב קוד נכון, כי לאדם יש את המושג של נכון ולא נכון. לבינה מלאכותית אין את המושג של נכון או לא נכון; לבינה מלאכותית יש מושג של אופטימיזציה. אתה מייעל לפי המדד. מה היה המדד? תעבור את המבחן.

"הבינה המלאכותית תנסה לשחק עם המבחן. היא תנסה למצוא חולשות בבדיקות, כך שתוכל לבצע קיצור דרך - לעבור את המבחן, אבל הקוד לא בהכרח נכון. הדרך לתת לך כמפתח תוכנה אחריות היא לשנות את הדרך שבה אנחנו מטפלים בקוד. בני אדם לא צריכים לכתוב קוד ולא צריכים לנפות שגיאות בקוד. הם צריכים לייצר הגדרות (Specs)".

גייסה מעל ל-220 מיליון דולר

דאבל איי.אי, שפעילותה נחשפה לראשונה בגלובס, נוסדה באוגוסט 2023 על-ידי שעשוע, שותפו להקמת חברת הרובוטיקה מנטיס רובוטיקס, פרופ' שי שליו-שוורץ; וכמה מדענים מבטיחים שהיו בעברם סטודנטים של שעשוע במחלקה למדעי המחשב, בהם פרופ' יואב לוין, לשעבר מדען בינה מלאכותית ב-AI21 של שעשוע, שאת הפוסט-דוקטורט שלו השלים בסטנפורד; פרופ' אור שריר, גם הוא בעברו מדען ב-AI21, שאת הפוסט-דוקטורט השלים בקאלטק; ד"ר נעם וייס, אלגוריתמאי שגויס מחברת אורקם, חברת פורטפוליו נוספת של שעשוע; וד"ר גל בנימיני, מבית הספר למתמטיקה ומדעי המחשב במכון ויצמן.

החברה גייסה בסך-הכול מעל ל-220 מיליון דולר ממשקיעים בולטים דוגמת לייטספיד, בסמר, DTC של מייקל דל, גרינפילד, פיטנגו ו-BRM של האחים ברקת.