בדרך לעולמות התלת ממד: פייסבוק מפתחת צמיד שהופך את היד לג'ויסטיק. וזו רק ההתחלה

אם מישהו תהה למה פייסבוק ואינסטגרם נראות כאילו הן נתקעו באמצע העשור הקודם, אולי זה משום שהעתיד בכלל לא נמצא שם. בעוד כמה שנים נסתכל על אפליקציות דו-ממדיות בסמארטפון או במחשב ונרגיש כלפיהם את מה שאנחנו מרגישים כשאנחנו רואים רדיו טרנזיסטור או טייפ דאבל קאסט. העתיד נמצא בעולמות הווירטואליים התלת-ממדיים, וכבר כמה שנים שפייסבוק חותרת לשם חזק.

השבוע החלה פייסבוק במהלך לשיתוף הציבור בתוכניותיה בתחום. החברה הבטיחה כי תחשוף בהדרגה את המחקר והפיתוח שלה בעולמות המציאות המדומה והרבודה (AR/VR). כשלב ראשון, היא איפשרה לבכירים בצוותי הפיתוח Facebook Reality Labs (FRL) Research שלה (לשעבר Oculus Research), לפתוח את המעבדות ולהעניק הצצה לתהליכים, הרבה לפני שלב ה"השקה". את הפרזנטציה הוביל סמנכ"ל הטכנולוגיות (CTO) העולמי של פייסבוק מייק שרופפר.

אבל לפני שניגש לדבר על הטכנולוגיות החדשות שהציגה החברה, מעט רקע. מנכ"ל החברה מארק צוקרברג מרבה לדבר בהופעותיו על משקפי התלת-ממד "Oculus Quest 2". אלא שאלו למעשה לא משקפיים. יותר נכון לקרוא לאוקולוס ערכת-ראש לצפייה בממשק מציאות מדומה. מדובר במכשירי ענק המולבשים על הראש, מסתירים את כל שדה הראייה של העולם החיצוני, ומאפשרים לשחקן מחשב, למשל, להיכנס לעולמות משחק ואנימציה תלת=ממדיים.

מה הקשר של פייסבוק לגיימינג? אין ממש קשר. אבל פייסבוק מפתחת עולם וירטואלי תלת ממדי בשם "הוריזון", אותו היא מגדירה "עולם חברתי וירטואלי". לא מדובר במשחק מחשב של ממש, אלא יותר במה שניתן לכנות "עולם תלת-ממד מרובה משתתפים" שיהיה הכלאה בין עולמות המשחק כמו פורטנייט או וורלד אוף וורקראפט, לבין העולם האמיתי, והרשתות חברתיות באינטרנט. מקום שבו אנשים יכולים להיפגש, ולתקשר זה עם זה. כמו עולם התלת-ממד הווירטואלי סקנד לייף מאמצע שנות האלפיים, למי שזוכר.

לא מדובר במדע בידיוני. בדרך לשם פייסבוק החלה כבר לפתח תאום דיגיטלי של העולם האמיתי על בסיס הידע שיש לה. היא לא הסתפקה בכך, ובצעד שנראה שנועד לחזק פעילות זו היא רכשה בפברואר 2020 סטארט-אפ שעושה את אותו הדבר בדיוק - מתרגם את העולם האמיתי לעולם וירטואלי בתלת-ממד - תמורת 40 מיליון דולר.

זו כמובן רק ההתחלה. נוסף ל"משקפי" האוקולוס, פייסבוק עובדת גם על משקפי ה-AR שלה - משקפיים המאפשרים לשלב גרפיקות ותפריטים על גבי העולם האמיתי, כמו בקסדת טייסים, אבל עם מראה של משקפיים רגילות, בסגנון גוגל גלאס. על פיתוח משקפיים כאלה היא כבר ב-2019. 

 מייק שרואפפר / צילום: פייסבוק

חזון הבינה המלאכותית

הפרזנטציה שנערכה השבוע בפורמט "שולחן עגול" בפני עיתונאים מרחבי העולם, לא התמקדה באף אחד מאלה. היא כן ניסתה לגעת באני מאמין של החברה בעולמות, ובכלים שיאפשרו לנו לנווט בו.

ה"אני מאמין הזה" מדבר על עולם שבו כל סדרות הפעולות הפשוטות שאנו נדרשים לעשות היום יתחלפו בשילוב של בינה מלאכותית שתנחש את הכוונות שלנו, תשגר אל שדה הראייה שלנו תפריטים ותכנים באמצעות משקפי AR ואנו נשלוט בהם, לא באמצעות הקלדה על מקלדת פיזית, מסך מגע, או או ניווט קולי - אלא באמצעות תנועות אצבעות עדינות שישלטו בתפריטים שיוצגו לפנינו, על גבי שדה הראייה. ד"ר טניה ג'ונקר הדגימה זאת באמצעות סיטואציה של בישול, שבה הידיים אינן פנויות לבצע אפילו משימה פשוטה של בחירת שיר להשמעה, הכרוכה בסדרת קליקים על מסך הסמארטפון.

 טניה ג'ונקר / צילום: פייסבוק

במקום זאת הודגם חזון שבו המערכת מבינה את הסיטואציה שבה נמצאת המשתמשת בעצמה, על בסיס בינה מלאכותית, ומציעה לה להאזין לפלייליסט החביב עליה. למשתמשת רק נותר לאשר את הפעולה בתנועת אצבע עדינה באוויר, בלא כל מגע.

כיצד תתרחש השליטה בתפריטים באמצעות האצבעות והידיים? כבר כמה שנים שאחד הז'אנרים הכי מוצלחים של סרטוני וידאו מרגשים הוא זה שמציג את הפעם הראשונה שבה טכנולוגיה מתקדמת מאפשרת לבעל מוגבלות לחוות לראשונה בחייו את ההרגשה שנמנעה ממנו עד כה בשל מוגבלותו. בתוך הז'אנר הזה מוכרים סרטונים של ילדים קטנים שמרכיבים לראשונה בחיים מכשיר שמיעה ומגיבים בהתרגשות לצלילים הראשונים שהם שומעים בחייהם.

אלא שמכשירי שמיעה הם משחק ילדים לעומת יכולות על אנושיות שהטכנולוגיה המתקדמת של השנים האחרונות מאפשרת לבעלי מוגבלות. כמו למשל איברים תותבים רובוטיים, שנשלטים בעזרת אותות חשמליים שנשלחים מהמוח לשרירים, מפעילים את האיבר הרובוטי בהתאם לרצון המפעיל, וכך מעניקים לנכים יכולות פיזיות כמעט כמו של אדם בריא. תחום זה נקרא אלקטרומיוגרפיה (EMG).

"האותות דרך פרק כף היד כל כך ברורים, עד ש-EMG יכולה להסיק תנועת אצבע של מילימטר בודד. זה אומר שהקלט יכול להתבצע ללא מאמץ. בסופו של דבר, ייתכן שיהיה אפשר אפילו לחוש את הכוונה עצמה להזזת אצבע", נכתב בפוסט שפרסמה פייסבוק בנושא.

על פי פייסבוק, בעתיד הלא רחוק, התקשורת שלנו עם ה"מחשב" לא תהיה באמצעות לאפטופ ומסך ולא באמצעות סמארטפון אלא בעיקר באמצעות משקפי מציאות רבודה. זאת אומרת - לא משקפי ענק שחוסמים את כל שדה הראייה של העולם האמיתי ומחליפים אותו במסך, אלא שילוב של המרחב הפיזי עם המרחב הממוחשב. דרך משקפיים - בסגנון גוגל גלאס - משתמש ה"מחשב" העתידי יראה לנגד עיניו תפריטים ותכנים באופן שלא ייפגע בשדה הראייה שלו, ולא יבוא על חשבון "העולם האמיתי".

 הקלדה באמצעות טכנולוגיית מציאות רבודה / צילום: פייסבוק

הכלים שפייסבוק עובדת עליהם דומים מאוד לאותם כלים מהסרטונים המרגשים, בשילוב עם יכולות מתקדמות שגיימרים כבר מכירים מהעולמות שלהם - כמו ג'ויסטיקים רגישים. ג'ויסטיקים מהדור המתקדם ביותר כבר לא רק מעבירים פקודות למחשב, אלא גם מאפשרות פידבק פיזי - היזון חוזר ממשי. כיום שחקן מחשב יכול "לטעום" על עורו מעט מן התחושה הפיזית שהגיבור שלו חווה במשחק. ג'ויסטיקים מסוגלים להעביר קשת רחבה של תחושות גופניות, ולא רק בידיים עצמן. כך למשל גו'יסטיק יכול להעביר לשחקן את התחושה של מרקם ה"משטח" עליו הולך השחקן.

אבל איך נשלוט בעולם החדש הזה? הפתרון שהציגה פייסבוק השבוע נראה, פיזית, כמו אזיק אלקטרוני, שמולבש על אמת היד, כמה סנטימטרים משורש כף היד. ה"אזיק", שבשל גודלו העצום קשה לקרוא לו "צמיד", יודע "להאזין", או לחוש, את התנודות הקלות והאותות החשמליים שעוברים בגוף כדי לשלוט בידיים ובתנועות העדינות של אצבעות הידיים, ולשדר את התנועות הללו כך שהן ישפיעו על ממשק ה"מחשב" שמופיע במרחב שלנגד עיני המשתמש במשקפיי המציאות הרבודה.

 צמיד שמאפשר לאצבעות לשלוט בממשקים בלי שאתה מחזיק כלום / צילום: פייסבוק

לא צריך להיבהל כמובן. אבות הטיפוס שהוצגו הם ראשוניים, וצפויים עוד להתפתח באופן שיאפשר ליהנות מהם מבלי שאלו יכבידו על התפקוד היומיומי. למעשה, פייסבוק פיתחה כבר יש שני אבות טיפוס שונים לצמיד הנושאים את השמות Bellowband ו-Tasbi.

מדוע בחרה פייסבוק דווקא בפרק כף היד, ובשימוש בצמיד? פרק כף היד נבחר משום שכף היד היא אחד האיברים המשוכללים ביותר בגוף האדם שמשאבי מוח רבים מוקדשים לתפעולו. לכן, היא מסוגלת להפיק תנועת עדינות מרובות ניואנסים, שמחשב משוכלל מסוגל לקרוא ולתרגם לשלל פעולות בממד הממוחשב. "מכשיר לביש על פרק כף היד מציע יתרון נוסף - הוא יכול לשמש בקלות כפלטפורמה למיחשוב, סוללה ואנטנות, תוך תמיכה במגוון רחב של חיישנים", נכתב בפוסט של פייסבוק.

השליטה הזו, אמורה להיות קלה ומהירה יותר מאשר באמצעים המוכרים לנו כיום של עכבר או מקלדת, בין אם פיזיים או וירטואליים במסך מגע. עד כמה קלה ומהירה? על סף "קריאת המחשבות". עדיין לא מדובר על חיבור ישיר למוח, אלא בשיטה פשוטה בהרבה - קריאה של האותות החשמליים כפי שהם נקלטים מהשרירים בשנייה שבה הגוף עומד להתחיל בפעולה.

כך, למשל, בעזרת בינה מלאכותית שלומדת את סגנון וטכניקת ההקלדה של כל משתמש ומשתמש אפשר להגיע למהירות ודיוק הקלדה שכיום אינן אפשרויות במקלדות פיזיות.

"מה שאנחנו מנסים לעשות עם ממשקים עצביים הוא לתת לכם לשלוט במכונה ישירות באמצעות הפלט של מערכת העצבים ההיקפית - העצבים מחוץ למוח שמאפשרים תנועה לגוף", אמר תומס רירדון, מנהל ממשקים נוירו-מוטוריים ב-FRL, שהצטרף לפייסבוק לאחר שזו קנתה ב-2019 את חברת CTRL-labs.

 טכנולוגיית מציאות רבודה של פייסבוק במשחקים / צילום: פייסבוק

"דרך משעשעת חדשה לתקשורת חברתית טובה יותר"

הקלדה מהירה היא רק קצה הקרחון. פייסבוק רוצה לקחת את חוש המישוש הרבה מעבר. "המישוש מאפשר לנו ללמוד איך להשתמש בכלים ובשליטה עדינה. החל ממנתחת שמשתמשת באזמל ועד לפסנתרן קונצרטים שמרגיש את קצות הקלידים בזמן הנגינה - הכל תלוי בחוש המישוש. עם צמיד, זו ההתחלה. אנחנו לא יכולים לשחזר כל תחושה שעשויה להיות לכם בזמן אינטראקציה עם אובייקט אמיתי בעולם האמיתי, אך אנחנו מתחילים להפיק רבות מהן", אומר שון קלר, אחראי המחקר המדעי של FRL.

כיצד ניתן יהיה להשתמש בשפת המישוש החדשה כדי לתפעל פיצ'רים שאנו מכירים? "ייתכן שתרגישו סדרה של רטטים ופעימות כדי להתריע שקיבלתם מייל המסומן 'דחוף', בזמן שמייל רגיל יכלול פעימה אחת, או לא יכלול משוב מישוש כלל", נכתב בפוסט. "וכששיחת טלפון נכנסת, לחיצה בפרק כף היד שמתגברת או נחלשת יכולה להודיע לכם שאפשר להשיב לשיחה או להתעלם ממנה. לאחר מכן זה יאפשר לכם לבצע פעולה - במקרה זה, קליק חכם כדי להשיב לשיחה או להעביר אותה לתא הקולי".

"ייתכן שחוש המישוש יוכל גם להעביר רגשות שונים - אנחנו קוראים לזה אמוג'י של מישוש", אומר ניקולס קולונזי, מנהל מחקר מדעי ב-FRL, "סוגים שונים של משוב מישוש יכולים להתאים לאמוג'ים פופולריים. זו יכולה להיות דרך משעשעת חדשה לתקשורת חברתית טובה יותר".