אילוסטרציה: טלי בוגדנובסקי, חומרים: Shutterstock, הטוויטר של סם אלטמן
בימים האחרונים הרשת סוערת בעקבות מודל AI חדש ודי אנונימי, עם יכולות מרשימות למדי. ברשת מעלים קונספירציות לגבי מי עומד מאחורי הצ'אטבוט החדש - ונראה שהעקבות מובילות הישר לשמות החמים ביותר בשוק בינה המלאכותית: OpenAI וסם אלטמן. הקונספירציות הרחיקו עד הכנת הקרקע לשיתוף פעולה אפשרי עם אפל.
● שתי מניות שבבים פרסמו אתמול דוחות. איך הגיבו המשקיעים?
● אחרי טיקטוק, ארה"ב בדרך לחסום את פעילות ענקית הרחפנים הסינית
באתר LMSYS Chatbot Arena, שמשמש להשוואת מערכות בינה מלאכותית, עודכן מודל חדש שמקורו לא ידוע בשם gpt2-chatbot. ברשת עלו דוגמאות רבות המראות יכולות חזקות במיוחד של המודל שעוקפות את GPT 4, המודל העדכני והחזק ביותר של OpenAI עד כה. משתמשים ברשת החמיאו למודל והראו יכולות מתקדמות שלו בעולמות ה-reasoning. עוד ציינו שהוא מצליח להתמודד עם שאילתות מאתגרות שמודלים אחרים מתקשים איתן. אחד המשתמשים אף הראה שהמודל מצליח לענות על חידה, שלדבריו "רק מעט" מודלים אחרים הצליחו להשיב עליה. משתמשים אחרים אמרו כי למודל יש כישורי ביטוי יותר אנושיים וכשירות מתמטית טובה יותר.
כאמור, לא ברור מי עומד מאחורי המודל, אבל השם שלו מתייחס ל-GPT 2 של OpenAI, מודל שפה שקדם למודלים שבשימוש היום (GPT 3 ו-GPT 4) - שעליהם מבוססים כלים כמו ChatGPT. בחלק מהדוגמאות שרצות ברשת המודל עונה בעצמו שהוא מבוסס על מודל GPT 4 של OpenAI, מה שמתדלק עוד קונספירציות - כי אין סיבה אמיתית לקרוא לו GPT 2.
בשוק בטוחים: "בשורה משמעותית"
יש הטוענים שמדובר בחלק מהטרלה של אילון מאסק, במסגרת פרסום עתידי של הדור הבא של המודל עליו הוא עומל. לצד זאת, יש השערות שמדובר בבלון ניסוי של OpenAI כדי לבחון את GPT 5. תגובת סם אלטמן לדבר הייתה ציוץ כי "יש לי מקום חם בלב בשביל GPT2" - מה שיכול לרמז על קשר עקיף של OpenAI למודל המדובר.
"חלק מהסברות הן שזה באמת GPT 2 שאומן על מידע עדכני יותר, והכניסו את כל הטריקים והידע שנצבר עד היום. זה חלק מהבשורה", מסביר אורי אליאבייב, יועץ בתחום הבינה המלאכותית ומנהל קהילת Machine and Deep Learning Israel. הסיבה שזו בשורה משמעותית לפי אליאבייב היא כי GPT 2 הוא מודל קטן במיוחד, וזה אומר שהוא מקבל שדרוג רציני משנת 2019.
כך או כך, לאחר חרושת השמועות והקונספירציות המודל ירד מהמערכת של LMSYS וכעת אין אפשרות להתנסות בו.
העניין במודלים הקטנים הולך וגובר
לדברי אליאבייב, "אם הם הצליחו לקחת מודל קטן במיוחד ולגרום לו להגיע לרמות של GPT 4 זו חתיכת רעידת אדמה. ראינו הרבה מודלים קטנים שמנסים להגיע לרמות גבוהות. אם הם מצליחים להוכיח שזה אפשרי - זה משנה את כללי המשחק". הוא מסביר שזה כה חשוב מכיוון שההבדל בין מודל גדול או קטן, זו היכולת להריץ ואיפה: "מודל גודל דורש כוח חישוב רב, גם לאימון וגם להרצה. יש כיום התעניינות במודלים קטנים יותר. אפל ומיקרוסופט לדוגמה רוצות לאפשר למודלים לרוץ על חומרה פשוטה כמו סמארטפונים, ולכן יש מאמצים כיום לפתח מודלים כאלה".
ל-OpenAI אין מודלים קטנים כי זה לא באמת מעניין אותה, היא לא מחפשת בהכרח לרוץ באופן מקומי על מכשירים. מה שכן, לדברי אליאבייב, ייתכן שאנחנו מקבלים הצצה לבלון הניסוי של OpenAI כדי להשיג את העסקה עם אפל. "קשה לדעת, אבל אם באמת OpenAI עומדת מאחורי זה, אז זה כדי לבחון ולהצדיק את השת"פ העתידי עם אפל, כדי להכניס בינה מלאכותית לאייפון הבא. כדי לעשות את זה אפל יצטרכו מודל קטן".