וונדל וולך/צילומים: באדיבות המצולם
התוכנית של מדינת אינדיאנה בארצות-הברית הייתה שאפתנית: להפוך את כל מערכת הרווחה שלה לאוטומטית לחלוטין. היא החלה בפרויקט עוד ב-2006, והוא היה אמור להימשך עשור ולעלות לא פחות מ-1.4 מיליארד דולר. קואליציה של חברות טכנולוגיה קיבלה לידיה את התהליך שבו המדינה מאשרת לאזרחים זכאות לסיוע סוציאלי ממשלתי.
בשלוש השנים הראשונות לתוכנית דחה האלגוריתם שבנתה הקואליציה מיליון בקשות לחבילות סיוע - זינוק של 54% לעומת שלוש השנים שלפני כן. הסיבה: הדרך שבה הוא נבנה התבססה על ההנחה שהאנשים שפונים ל-1,500 עובדי הרווחה של אינדיאנה צפויים לרמות אותם ולעשות מניפולציות, ושמטרת המחשב היא למנוע זאת. כך הוא הפך למכונה של שלילת זכאויות.
מאז אינדיאנה ביטלה את התכנית, אבל היא אינה היחידה שהלכה בכיוון הזה. באיידהו אלגוריתם מקבל החלטות בנוגע להיקף הסיוע לאנשים שזקוקים לטיפול ביתי צמוד. בארקנסו פועלת כבר שנים מערכת שלוקחת חלק בקביעת הטיפול והיקפו שלו זכאים חולים, דרי בתי אבות ואסירים בבתי כלא. גם חברות ביטוח נעזרות בבינה מלאכותית ובתהליכי אוטומציה כדי לקבוע פרמיות, וחברות כרטיסי אשראי - כדי להעריך סיכונים ולקבוע תנאי משכנתאות. בארה"ב נמצאים בשימוש נרחב אלגוריתמים שחוזים האם פושע מורשע יפשע שוב, ומואשמים בהטייה לא מבוססת נגד שחורים.
על פניו, יש היגיון בהעברת מערכות רווחה וטיפול לידיים ממוחשבות: הוצאת הגורם האנושי מהמשוואה אמורה להפוך את המערכות החשובות כל כך לענייניות יותר ויעילות הרבה יותר. ואולם, ככל שהמערכות הופכות יותר ויותר משוכללות הן מקבלות כוח עצום לקבל החלטות עם השלכות אתיות. איך מקנים לאלגוריתם עקרונות מוסריים שבאמצעותם יבחין בין מה שמותר ואסור, רצוי ומצוי? איך הוא יידע איזה אדם ראוי לטיפול רפואי מקיף, או מתי לנקוט פעולה צבאית צבאית, או איזה תוכן צריך לצנזר ברשת? האם חברות הטכנולוגיה אמורות לקבוע למכונות מה הדרך הנכונה לפעול, ואיך מקודדים דבר מורכב כל כך כמו מוסר?
בחזרה לחוקים של אייזיק אסימוב
"זו לא שאלה פשוטה", פותח ונדל וולך את שיחתו עם "גלובס", ומתכוון כנראה לומר "אל תצפו שאני אפתור את התסבוכת הזאת". וולך (Wallach), יו"ר המחלקה ללימודי טכנולוגיה ואתיקה באוניברסיטת ייל ואחד החוקרים המובילים בתחום שמכונה כיום טכנו-אתיקה. זה תחום אקדמי ומחקרי מתפתח, שמנסה לתת מענה אתי לעידן הבינה המלאכותית, שבו היא מוטמעת עמוק יותר ויותר לתוך היומיום שלנו: ברשתות חברתיות, במסחר מקוון, ברכבים אוטונומיים, במערכות בריאות, פיננסים, צבא ושיטור, והרשימה עוד ארוכה.
טוען שבעיית הקידוד הבסיסית היא דווקא החלק הקל. "כבני אדם יש לנו סטנדרטים ונורמות, אנחנו יודעים מהי הפעולה הנכונה שיש לנקוט. אנחנו יכולים לתכנת את הערכים שלנו אם המהנדסים מבינים מראש מהן הסיטואציות שהמערכת תיתקל בהם". בבעיה האמיתית, הוא אומר, אנו נתקלים כאשר המהנדסים לא יודעים בדיוק באילו מצבים המכונות ייתקלו, מתי ואיך. "אנחנו רחוקים מאוד מלהצליח בתכנות הבנה מוסרית מתוחכמת, או את היכולות להתמודד עם ערכים מתנגשים. מתחילים לחשוב על זה, אבל זה יקרה רק בעתיד הרחוק".
סטיוארט ראסל (Russell), פרופסור למדעי המחשב באוניברסיטת ברקלי ומי שמוביל היום את המחאה נגד כלי נשק אוטונומיים, מציג גישה שונה לחלוטין. "את לא יכולה לקודד מוסר", הוא פוסק. "אנחנו לא צריכים לנסות לעשות את זה, יש מיליארדי מערכות מוסריות שונות בעולם הזה. מה שבינה מלאכותית צריכה לעשות היא להגשים שלושה עקרונות פשוטים: מטרת הרובוטים היא למקסם את ההעדפות האנושיות; הרובוט לא בטוח מהן אותן העדפות, אך מקור המידע הטוב ביותר לגבי העדפות בני האדם הוא ההתנהגות האנושית; העבודה של המכונות הוא ללמוד אילו חיים כל אדם על פני כדור הארץ היה מעדיף לחיות, ולעזור להם להשיג זאת ככל הניתן".
הכללים שניסח ראסל וקבוצת המחקר שלו בברקלי מתבססים על גישה מוסרית תועלתנית ביסודה, וגם נראים כגרסה מתקדמת לשלושת חוקי הרובוטיקה שניסח לפני 75 שנה אייזיק אסימוב, מגדולי סופרי המדע הבדיוני. אסימוב, מחברם של ספרים כמו "אנוכי הרובוט" ו"האדם הפוזיטרוני", הבין זמן רב לפני עידן הבינה המלאכותית שחייבים לצרוב ברובוטים כללים מנחים. בגרסתם המפורסמת ביותר, אלו הם החוקים: 1. לא יפגע רובוט לרעה בבן אדם, ולא יניח, במחדל, שאדם ייפגע. 2. רובוט חייב לציית לפקודותיו של אדם, כל עוד אינן סותרות את החוק הראשון. 3. רובוט ידאג לשמור על קיומו ושלמותו, כל עוד הגנה זו אינה עומדת בסתירה לחוק הראשון או השני.
כיום, כשהרובוטים החכמים עוברים מהמדע הבדיוני אל העולם הממשי, הדיון עובר מהספרות לענקיות הטכנולוגיה ולמוסדות האקדמיים המובילים. גוגל, מיקרוסופט ופייסבוק מקצים משאבים לקביעת כללים אתיים מנחים למערכות הבינה המלאכותית שלהן. ב-MIT קבוצת חוקרים מנסה לנסח כללים אתיים למכונות, בג'ורג'יה טק בונים מכונה שתציית לכללי המשפט הבינלאומי, וחוקרים בהרטפורד מנסחים קוד אתי לרובוטים ביתיים שמסייעים לגיל השלישי. כל גוף מושפע מגישה פילוסופית שונה ומנסה לחלץ צווים מוסריים ממקורות אחרים. מי שבולטים בהיעדרם מהדיון הם הרגולטורים והגופים הממשלתיים: כמעט אף מדינה לא מנהלת דיונים ציבוריים על טכנולוגיה ואתיקה, שלא לדבר על ניסוח חוקים בנושא.
"המכשול העיקרי הוא שאין הסכמה רחבה לגבי העקרונות האתיים שנרצה לקודד", אומר אריאל פרוקצ'ה מאוניברסיטת קרנגי מלון, שהוביל מחקר מצוטט המדגים כיצד ניתן להשתמש בחוכמת ההמונים כדי לקודד עקרונות מוסריים ברכבים אוטונומיים. "גישה אחת אומרת שצריך לקבל החלטות שמביאות את הרווחה הכללית של כל המעורבים למקסימום, ואחרת טוענת שיש להתמקד בתועלתו של האדם המסכן ביותר. אם מדובר במכונית אוטונומית שצריכה לקבל החלטה של חיים ומוות במצב חירום, שתי הגישות יובילו להמלצות שונות: אם לפצוע אדם אחד באורח קשה או מאה איש באורח בינוני". זו, כמובן, גרסת ההייטק לבעיית הקרונית, אחת הוותיקות והידועות בתחום הפילוסופיה של המוסר.
את הבלבול המוסרי שקיים בחברה מנסה פרוקצ'ה לפתור בעזרת שיטה ותיקה לא פחות: דמוקרטיה. "אנו יכולים לפתור את הבעיה בכך שנקודד מודלים של אנשים שונים, המבוססים על למידת מכונה. המודלים האלה יספקו המלצות שונות לגבי דילמה מוסרית נתונה, אבל אנחנו יכולים לשלב את דעותיהם דרך מעין בחירות וירטואליות, כדי לקבל החלטה משותפת".
היתרון בגישה כזאת, אומר פרוקצ'ה, היא הפרקטיות שלה. "אפשר ליישם אותה מיד והיא מסוגלת לקבל החלטות בכל מצב. אם יש עקרונות מוסריים או משפטיים שיש לקחת בחשבון, צריך קודם לבדוק אם הם מספיקים כדי לקבל החלטה חד-משמעית לגבי דילמה מוסרית נתונה, ואם לא - להפעיל את המערכת המבוססת על חוכמת ההמונים. בהרבה מקרים ההמון יותר 'חכם' מהמומחים, ולכן ניתן לקוות שהגישה שלנו תוביל להחלטות יותר מוסריות מאלו שיקבלו אנשים בודדים. עם זאת, קשה לכמת מוסר, ולכן אני חושב שהמטרה כרגע היא ללמד מכונות לקבל החלטות סבירות לגבי דילמות מוסריות, לא יותר. ואפילו המטרה הפחות שאפתנית הזו אינה קלה להשגה".
לבלום את המלחמה האוטונומית הבאה
נחזור רגע לאסימוב ולחוק הרובוטיקה הראשון. "לא יפגע רובוט לרעה בבן אדם", הוא ניסח בפשטות, ואולי ראה את הנולד. מרוץ החימוש לנשק אוטונומי יעיל וקטלני הוא אחד העוצמתיים והמבהילים ביותר כיום. אחרי הכל, למה לשלוח חיילים למשימות מסוכנות או אפילו לסמוך על מפעילים אנושיים, אם אפשר להשתמש במל"ט מתאבד, שיכול לטוס זמן רב מעל שטח אויב, לפעול ביעילות בחושך ובתנאי מזג אוויר קשים, ולהיעזר במצלמה אלקטרו-אופטית כדי להתרסק עם מטען הנפץ על המטרות שהוא מזהה, ללא מגע יד אדם?
גם הנושא הזה לא מעורר דאגה בקרב ממשלות העולם, שצבאותיהם מאמצים פיתוחים כאלה, אך הקהילה המדעית והעסקית כבר נערכות למלחמה האוטונומית. וולך, שדוחף להקמת קונגרס בינלאומי בנושא, זוכה לתמיכה מהיזם אילון מאסק. ראסל הוא ממובילי המחאהנגד פיתוח נשקים אוטונומיים: לפני שנה הוא ועוד 115 מדענים ומנהלים בכירים - בהם מאסק, מייסד אפל סטיב ווזניאק, והפיזיקאי סטיבן הוקינג שמת מאז - פנו לאו"ם בבקשה שימנע פיתוח "רובוטים מחסלים".
"זה הנושא הבוער ביותר כרגע", מתריע ראסל, "נשקים מסוג זה לא דורשים פיקוח אנושי, ולכן יש בהם פוטנציאל להפך לנשקים להשמדה המונית. באופן עקרוני, קבוצה קטנה של אנשים יכולה להפעיל נשק אוטונומי בהיקף בלתי מוגבל. זה יפגע בביטחון האנושי ברמה האינדיבידואלית, המקומית, הלאומית והבינלאומית". מציין ראסל. באו"ם התרשמו פחות: יו"ר הוועידה שכינסו בנושא באוקטובר, אחרי דחיות מרובות, אמר רק כי "רובוטים לא משתלטים על העולם. אנחנו צריכים להיזהר שלא להלהיט את הדיון ברגשות ודרמה".
הדיון על נשק אוטונומי מדגים שתי בעיות מהותיות. הראשונה היא שאם בני אדם מתקשים להחליט אם זה בכלל נכון בכלל לבנות טכנולוגיה רצחנית שכזו, איך אפשר לצפות מיאתנו ללמד את המכונות לפעול באופן מוסרי? הבעיה השנייה היא שגם אם נקבל החלטה כזאת, עדיין נצטרך למצוא תמריץ שיגרום לכך שיפעלו על פיה.
התמריץ שגורם לחברות הטכנולוגיה להתאמץ בפיתוח בינה מלאכותית מוסרית הוא פשוט וכלכלי. אין להן עניין להשקיע הון עתק וזמן פיתוח רב במוצר שיביא לתוצאות הרסניות, כמו מכונית אוטונומית שתחליט לדרוס רוכב אופניים שלא נסע במסלול המיועד לו, רובוט עזר לגיל השלישי שדוחף תרופות בכוח לקשישים שמסריבם לקחת אותן. "החברות מבינות", אומר וולך, "שבני אדם יכולים להתנגד נחרצות לבינה מלאכותית ורובוטיקה אם הנושא לא יטופל באחריות". אלא שבמקרה של הבינה המלאכותית הצבאית, הרס רב ככל האפשר הוא דווקא האינטרס של כל הצדדים המעורבים - חוץ מהמותקפים, כמובן. האם באמת אפשר לצפות שהאו"ם, שלא הצליח למנוע אינספור עימותים מדממים ברחבי העולם, ישכנע את מפתחי מכונות ההרג להעדיף את האינטרס של כלל האנושות?
בואו נסתכל על עצמנו, בני האדם
בשני השימועים בקונגרס החודש, הזכיר מנכ"ל פייסבוק מארק צוקרברג את הביטוי "בינה מלאכותית" יותר מ-30 פעמים. זה, הוא טען, יהיה הכלי המוביל עבור הרשת החברתית להתמודד עם שאלות של פיקוח על תוכן ומניעת הפצת פייק ניוז והסתה. צוקרברג לא הסביר איך AI יעשה את כל זה, עובדה שלא חמקה מעיני וולך. "מדברים על בינה מלאכותית כאילו היא תפתור את כל הבעיות, זה נהפך לאלוהים החדש. אבל המערכות שקיימות היום מוגבלות. הן לא יכולות לבצע את טווח הפעולות הרחב שלעיתים נטען שהן מסוגלות לו".
לא רק טווח הפעולות מוגבל, אלא גם היכולת להבין את ההחלטות שהמכונות מקבלות. קחו למשל החלטה להעניק הלוואה. האלגוריתם הבסיסי יכול להיות מבוסס על היחס בין הכנסה וגובה ההלוואה, בשילוב נתונים כמו היסטוריית אשראי, מצב משפחתי וגיל. אם האלגוריתם יקבל אלפי דוגמאות עם מיליוני נתונים, הוא יוכל ללמוד מתי לתת משקל רב יותר לנתון אחד על פני השני ולהעריך באופן מדויק את הסיכון של כל הלוואה. אלא שלפעמים אפילו האנשים שכותבים את הקוד שעומד מאחורי המערכת לא יודעים בדיוק מה קורה בתוך הקופסה הכמעט שחורה הזו, ולא יכולים להסביר למה החלטה אחת ולא אחרת התקבלה. אנחנו יכולים לבנות מערכת בהליך שקוף ודמוקרטי, ובכל זאת היא תיכשל בהפקת התוצאות הנדרשות.
באירופה קבעו שהחלטת מכונה תהיה חייבת לעמוד במבחן ההסבר: המתכנת יהיה חייב להיות מסוגל לנמק את תהליך קבלת ההחלטות שמאחוריה. "יש הרבה דברים ראויים להערכה ב-GDPR", אומר פרוקצ'ה, בהתייחס לרגולציית הפרטיות האירופית החדשה שתיכנס לתוקף בחודש הבא וכוללת את הסעיף הזה. "ואולם, כשמדובר על הסברת החלטות שמתקבלות בידי מערכות בינה מלאכותית, היא רותמת את העגלה לפני הסוסים. כרגע היכולת שלנו לספק הסברים מוגבלת ביותר. אני לא חושב שסביר לצפות לפתרון כולל בעתיד הקרוב, אבל החדשות הטובות הן שהרבה מהחוקרים הבולטים בתחום עובדים על הבעיה הזו". ראסל מציע להיות זהיר יותר: "אם זה אפשרי מבחינה פוליטית, אנחנו צריכים להימנע מבניית מכונות סופר-אינטליגנטיות, לפחות עד שתהיה לנו ערובה יצוקה מברזל שהן יישארו תחת שליטה אנושית לנצח".
מחשב העל ווטסון של IBM זכה לתהילת עולם כשניצח בשעשועון "מלך הטריוויה" האמריקאי ב-2011. מאז הוא הפך למערכת שאפשר להטמיע בתחומים שונים: בין היתר הפך ווטסון למומחה רפואי לא קטן, והוא מוכשר בין היתר להמליץ על טיפולים לחולי סרטן. אלא שאחרי אימונים ושימושים רבים, ווטסון פיתח "הטיה אמריקאית": ההמלצות שלו התאימו יותר לחולים בארה"ב מאשר למטופלים אחרים בעולם. במילים אחרות, מסוכן להניח שרק הנדסה מופלאה וכמות נתונים גדולה תבטיח הצלחה, יעילות, ושהמכונות באמת יעשו את מה שאנחנו רוצים שהן יעשו. אולי צריך להשאיר את האדם בלולאת קבלת ההחלטות, במיוחד כשאנחנו מדברים על נושאים שנויים במחלוקת.
"לפעמים אפשר לסמוך על חברות טכנולוגיה שיעשו את הדבר הנכון", אומר וולך, "אבל זה לא אומר שהן יקבלו תמיד את ההחלטות הנכונות עבור הציבור הכללי. צריך להיות שהציבור יבין לגמרי מה הטכנולוגיה יכולה או צריכה לעשות, ויחליט האם התועלת שבה מצדיקה את יישומה, אפילו אם יש מצבים שבהם אנשים עלולים להיפגע. צריך לקבוע באילו סטנדרטים המערכות האלו צריכות לעמוד, ולבסס מנגנוני פיקוח ורישוי לטכנולוגיות. כרגע אנחנו לא עושים שום דבר מזה".
מעבר לחששות, יש גם יתרון בעיסוק הגובר בדילמות האלה - שקשור דווקא לבני אדם, לא למערכות מחשב. השיח על אתיקה של רובוטים מכריח אותנו לבחון את הכללים והנורמות שמנחים אותנו, את מקומו של האדם ואת התפקיד שלו בקבלת החלטות מוסריות. "הרובוטים יכולים ללמד אותנו להיות אנשים טובים יותר", אומר ראסל. "יש להם את היכולות להיות 100% אלטרואיסטים, משהו שאי אפשר לצפות לו מבני אדם".
