כמה טוקנים שרפתם החודש? מנכ"ל אנבידיה מספק הצצה לטרנד החם בענף

שוק התוכנה העולמי עוקב בדריכות אחר כל הצהרה שיוצאת מכיוונו של ג'נסן הואנג, מנכ"ל ענקית השבבים אנבידיה, שמוביל כיום את הספינה. בשיחה שנערכה לאחרונה בפודקאסט "All-In", יצר הואנג סערה חדשה סביב תחזיות הצמיחה והשימוש ב"טוקנים" - היחידה הבסיסית המייצגת את נפח העבודה של מודלי בינה מלאכותית.

● השאיפות גבוהות, המניה מהססת: מה מטריד את המשקיעים באנבידיה
● התחזית של אנבידיה: איך שוק שבבי ה-AI עשוי להגיע לטריליון דולר

טוקן הוא למעשה אבן הבניין שבה משתמשות מערכות ה־AI לעיבוד וייצור טקסט. ככל שמשימת העיבוד הופכת מורכבת יותר - המערכת צורכת כמות גדולה יותר של טוקנים.

"נגיד שיש מהנדס תוכנה או חוקר בינה מלאכותית שאתה משלם לו 500 אלף דולר בשנה - ואנחנו עושים את זה כל הזמן", הסביר הואנג בפודקאסט. "אם אני אשאל את אותו מהנדס כמה הוא הוציא על טוקנים, והוא ישיב '5,000 דולר', אני אשתגע. אם המהנדס הזה לא צרך טוקנים בשווי של לפחות 250 אלף דולר, אני אהיה מודאג מאוד".

הואנג השווה את המצב לעולמות התוכן המוכרים של אנבידיה: "זה לא שונה ממעצב שבבים אצלנו שיגיד 'תקשיבו, אני פשוט אשתמש בנייר ועיפרון, אני לא חושב שאצטרך כלי CAD'". כלי ה־CAD (Computer-Aided Design) הם תוכנות התכנון הממוחשבות המשמשות ליצירת מודלים דיגיטליים מורכבים, ובלעדיהם פיתוח שבבים מודרניים הוא בלתי אפשרי.

המדד החדש לפרודוקטיביות

במובן זה, הואנג משרטט תבחין חדש לשוק העבודה הטכנולוגי: הגדרת "כישרון מוביל" נמדדת לפי היקף השימוש בטוקנים לטובת פיתוח בינה מלאכותית. במהלך הפודקאסט נשאל הואנג האם אנבידיה עצמה משקיעה כ־2 מיליארד דולר על רכישת טוקנים עבור צוותי ההנדסה שלה, ועל כך השיב בקצרה: "הם מנסים".

לדברי הואנג, הגישה למשאבי מחשוב הפכה לרכיב קריטי בתחרות על כוח אדם איכותי. "זה עכשיו אחד מכלי גיוס העובדים בסיליקון וואלי: כמה טוקנים מגיעים יחד עם העבודה שלי", אמר והסביר כי "הסיבה לכך היא ברורה - כל מהנדס שיש לו גישה לטוקנים יהיה פרודוקטיבי יותר".

התחרות על "שיאני הטוקנים" בתוך החברות המובילות בסיליקון וואלי נחשפה לאחרונה בניו יורק טיימס, ומשרטטת תמונת מצב של צריכת משאבים חסרת תקדים. ב־OpenAI, מהנדס אחד הגיע לשיא צריכה של 210 מיליארד טוקנים בשבוע אחד - כמות טקסט שוות ערך למילוי כל תכני ויקיפדיה 33 פעמים - ובכך תפס את המקום הראשון בחברה.

גם במתחרה Anthropic נרשמו נתונים דומים. עובד שהשתמש במערכת הקידוד הייעודית של החברה, Claude Code, הצליח להגיע לצריכת משאבים ששוויה הכלכלי נאמד ב־150 אלף דולר בחודש אחד בלבד.

על פי הדיווח, בחברות טכנולוגיה דוגמת מטא ושופיפיי, מנהלים החלו להכליל את השימוש בכלי בינה מלאכותית כחלק בלתי נפרד מסקירות הביצועים של העובדים. במסגרת זו, עובדים המפגינים שימוש רב בכלים אלו מתוגמלים, בעוד אלו שאינם עושים בהם שימוש רב סופגים נזיפות. בחברות כמו OpenAI ומטא, עובדים מתחרים ביניהם על היקף השימוש בטוקנים, והנתונים מוצגים בלוחות ניקוד פנימיים.

לפי הכתבה, "תקציבי טוקנים" נדיבים הופכים להטבה תעסוקתית עבור מתכנתים - בדומה לארוחות צהריים חינמיות או ביטוח שיניים. בניו יורק טיימס כינו את התופעה בשם "Tokenmaxxing" - ניסיון של עובדים להוכיח את מידת הפרודוקטיביות שלהם דרך צריכה מקסימלית של משאבי AI.

במקביל, בדיווח בוול סטריט ג'ורנל מהשבוע שעבר, צוטט ברנדון סאמוט, מנהל טרנספורמציית הבינה המלאכותית הראשי של חברת Zapier. לדבריו, בחברה כבר קיים דאשבורד המציג את נתוני השימוש של העובדים בבינה מלאכותית, וקיימת שורה תקציבית ייעודית בארגון המוקצית למשימות אלו.

"לאנבידיה יש אינטרס עצום"

לצד ההתלהבות בסיליקון וואלי, יש מי שמזהיר מפני הפיכת הטוקן למדד איכות. פרופ' אוהד פריד, מבית ספר אפי ארזי למדעי המחשב באוניברסיטת רייכמן, אומר לגלובס כי "אין ספק שמתחולל שינוי עמוק בתחום פיתוח התוכנה, ושמפתחים צריכים ללמוד להשתמש בכלי ה-AI החדשים". עם זאת, הוא מסתייג מהמטריקה החדשה: "לגבי מספר הטוקנים לכל מפתח, לעניות דעתי זו מטריקה לא טובה. קצת כמו שפעם חשבו שמספר שורות הקוד שמפתח כותב זו מטריקה טובה, והיא לא".

לדבריו, הצרכים משתנים בהתאם למשימה: "עבור תפקידים שונים ומטרות שונות דרוש מספר טוקנים שונה. זה שהשתמשת הרבה, לא אומר שיצרת תוצאה טובה". פריד משתמש באנלוגיה מעולם המשלוחים: "זה קצת כמו למדוד שליח של פיצה על פי כמות הדלק שהוא שורף. אם הוא שליח טוב, אולי הוא מכיר דרכי קיצור ושורף פחות דלק. האנלוגיה לא מושלמת, כי המפתחים לא באמת נוהגים על הקטנוע, אלא מנהלים רשת של קטנועים אוטונומיים".

פרופ' פריד מצביע על המניעים הכלכליים מאחורי הצהרות הענק: "צריך לזכור שלאנבידיה, שמייצרת את השבבים, יש אינטרס עצום שהשימוש יגבר, משמע שישתמשו ביותר טוקנים".

לצד זאת, הוא מתריע מפני זלזול בנהלי עבודה תקינים: "אסור לשכוח את בעיות האבטחה הרבות שמגיעות יחד עם כלי ה־AI החדשים. אם נותנים לסוכני ה־AI הרשאות, הם יכולים לגשת לקבצים רגישים, לשנות דברים על המחשב ולכתוב קוד זדוני". לדבריו, הסכנה טמונה ברצון לקיצור דרך: "הפיתוי כאן גדול - הרבה יותר קל לעשות 'שגר ושכח' ולקוות שה־AI יהיה בסדר. זה חושף אנשים וחברות לפרצות אבטחה. כבר היו מקרים בהם AI הזליג סודות והריץ קוד זדוני. העולם הזה עדיין בחיתוליו".

גם אורי אליאבייב, יועץ בתחום ה-AI ומנהל קהילת Machine and Deep Learning Israel, אומר כי "אנחנו רואים FOMO אדיר בקרב חברות רבות לגבי השימוש במודלי AI לכתיבת קוד. אכן מדובר במהפכה של ממש, אך חשוב לזכור ששימוש בטוקנים אינו חזות הכל".

אליאבייב מדגיש כי המדד הכלכלי אינו מעיד בהכרח על איכות: "המטרה היא לא להשתמש בכמה שיותר טוקנים או לבזבז כסף על קריאות API, אלא לכתוב קוד טוב ויעיל שיוצר ערך". לדבריו, תכנון חכם יכול דווקא להוזיל עלויות: "לפעמים עבודת הנדסה נכונה או תכנון נכון של הסוכנים יאפשרו לכם לחסוך - וזאת מבלי שהזכרנו את היכולת להשתמש במודלים מקומיים לחלק מהמשימות הפשוטות".

אליאבייב מסביר את העלויות הגבוהות מאחורי פיתוח התוכנה המודרני: "חלק משמעותי מעבודת המפתח הוא לתת למודלי השפה לעבור על הקוד, להציע שיפורים ולתקן פרצות אבטחה. כל זה שורף כמויות אדירות של טוקנים ועולה לא מעט".

לדבריו, קיים קשר ישיר בין צריכת המשאבים לדומיננטיות של ענקית השבבים. "הפעולות האלו מפעילות שרתי חישוב רציניים המבוססים ברובם על המערכות של אנבידיה, מה שאומר שהיא מרוויחה ישירות מצריכה מוגברת של טוקנים. לכן יש למנכ"ל החברה אינטרס לדחוף לשימוש רב יותר בהם".

בסיכומו של דבר, אליאבייב מסכים עם המגמה אך מסתייג מהמדידה: "ג'נסן צודק באמירה הכללית שעל מפתחים להשתמש יותר במודלי שפה, והמגמה הזו רק תתחזק. אני מסכים עם הכיוון, אבל לא עם זה שבכך נמדד מפתח - בטח שלא בכמות המספרית של הטוקנים".

מי באמת מרוויח מהטוקנים?

הסערה שחולל הואנג הגיעה גם לרשתות החברתיות ועוררה ויכוח על יעילות כלכלית. אומש סחדב, מנכ"ל ומייסד Uniphore, חברת תוכנה אמריקאית המפתחת פלטפורמות AI לעסקים, כתב בלינקדאין כי הוא מזהה את הסוגייה עולה בקרב לקוחות ארגוניים. "יותר טוקנים לא בהכרח אומר יותר תוצאות. מה שאנחנו רואים הוא שקנה מידה בשילוב עם שימוש גנרי במודלי שפה גדולים (LLM) יכול להפוך במהירות ליקר ורועש".

סחדב מציע חלופה בדמות מודלי שפה קטנים (SLM) שנבנו למטרה ספציפית. "הם מתגלים כדרך יעילה יותר, עם עלות נמוכה של עד פי 100 לכל טוקן בהשוואה למודלים הגדולים". לדבריו, המודלים הייעודיים מספקים "דיוק גבוה יותר עקב התמחות בתחום, התנהגות צפויה יותר והתאמה טובה יותר לתהליכים עסקיים אמיתיים". הוא סיכם כי לקוחות החברה כבר חוסכים בעלויות ומגדילים את התפוקה באמצעות המעבר למודלים הממוקדים.

המרוויחות מהמגמה ברורות, ובראשן אנבידיה שעל גבי תשתית השבבים שלה מתבצעים החישובים, אך הנהנים הם גם מפתחי המודלים עצמם. חברת Anthropic הכפילה השנה את תחזיות ההכנסות שלה, בעוד ב־OpenAI מדווחים כי כלי הקידוד Codex שילש את מספר המשתמשים הפעילים והיקף השימוש צמח פי חמישה. גם ענקיות הטכנולוגיה המסורתיות מציגות נתוני עתק, כאשר גוגל הצהירה בשנה שעברה כי מודלי הבינה המלאכותית שלה עיבדו יותר מ־1.3 קוודריליון טוקנים בחודש אחד בלבד.