הדילמות הגורליות והמוסריות שמעוררת המכונית האוטונומית

העתיד שייך למכוניות אוטונומיות ללא נהג ■ אבל מה יקרה במקרי חירום שבהם נדרשת קבלת החלטה של חיים ומוות? מי יקבע: מהנדסים? מתכנתים? פילוסופים? מחוקקים?

התאונה בפלורידה / צילום: רויטרס
התאונה בפלורידה / צילום: רויטרס

בני המשפחה שישבו במכונית שגלשה במורד הכביש הצר והמתפתל לא התעניינו במיוחד בנוף שנשקף אליהם דרך החלונות. זו הייתה נסיעה ארוכה, ושני ההורים העדיפו לסובב את מושביהם אל שלושת ילדיהם שמאחור ולשחק איתם בינגו במקום לבהות בחוסר מעש בדרך שאותה גמאו.

במשך חודשים ארוכים לאחר שרכשו את המכונית בקיץ של שנת 2030, עדיין היה קשה להורים לעכל את העובדה שנוכחותם מאחורי ההגה שוב אינה נדרשת, אבל עם הזמן הם התרגלו. המוח הממוחשב שחובר למצלמות ולחיישנים שמוקמו בכל פינה של המכונית, ידע כיצד להביא אותם שוב ושוב למחוז חפצם ביעילות ובבטיחות, והעובדה שהפרמיה הביטוחית ששילמו בעלי מכוניות אוטונומיות הייתה נמוכה לאין שיעור בהשוואה לזאת ששילמו נהגי מכוניות מסורתיות, סיפקה גם היא תמריץ משמעותי. אחרי הכול, אלו הרי היו הסיבות לכך שעשרות מיליוני אנשים בכל רחבי העולם רכשו בשנים האחרונות את המכוניות האוטונומיות שלהם - הם רצו לצמצם למינימום את הסכנה בדרכים ועל הדרך גם לחסוך קצת כסף. מה רע?

אבל מה שקרה באותו יום העמיד למבחן את ההחלטה. הכביש היה פנוי והמכונית נסעה בדיוק במהירות המותרת בחוק, אולם רגע לפני שהיא חלפה על פני חניה פרטית שנפתחה אל הכביש מימין, התפרצו לכביש שני ילדים בני שש או שבע שרדפו אחרי כדורגל.

מערכת האינטליגנציה המלאכותית של המכונית כבר ידעה שהכביש רטוב בגלל טפטוף קל שפקד את האזור רבע שעה קודם לכן והסיקה תוך שבריר שנייה שאין סיכוי בעולם שבלימה תמנע את הפגיעה. מימין לא הייתה מדרכה שניתן היה לעלות עליה ולעקוף את הילדים, וגם שבירה מלאה של ההגה לשמאל וחציית קו ההפרדה הלבן למסלול הנגדי לא הייתה אפשרות מוצלחת במיוחד. האינטליגנציה המלאכותית החליטה במהירות שבמקרה של סטייה שכזאת לשמאל, יתרסק הרכב המשפחתי לתוך מכונית משפחתית אוטונומית אחרת שעשתה את דרכה במעלה הגבעה. משום כך, האלגוריתמים פקדו על המכונית להישאר בנתיב, להמשיך קדימה ולדרוס את שני הילדים. פגיעה בהם הייתה האפשרות ההגיונית ביותר בהתחשב בנתונים הקיימים.

צליל החבטה האדיר תפס את המבוגרים שבמכונית לגמרי לא מוכנים. הם לא היו ערים לסכנה המתקרבת, לא היו שותפים להחלטה המהירה שגבתה את חייהם של שני הילדים, אבל אולי הצילה את חייהם שלהם ושל הנוסעים במכונית שנסעה בנתיב הנגדי, ועם כל הכאב שבדבר - הם גם לא ראו את עצמם אחראים לתוצאות התאונה הטרגית.

כמה חודשים לאחר מכן, כשהוגש לבית המשפט כתב התביעה של הורי שני הילדים שנהרגו, התברר שגם הם אינם רואים את בני המשפחה שישבו במכונית הפוגעת כאחראים לטרגדיה. הם לא כעסו על שני ההורים שלא ישבו עם פניהם אל כיוון הנסיעה משום שנתוני הנסיעה שהם קיבלו בצו בית משפט הראו מעבר לכל ספק, שאף נהג אנושי לא היה מצליח לעצור בזמן. מעבר לכך, הם ידעו היטב שמאז שהמכוניות האוטונומיות נכנסו לשימוש מאסיבי, מספר תאונות הדרכים שבהן הן היו מעורבות היה נמוך ביותר מ-90% מאלו שבהן היו מעורבים נהגים אנושיים.

משום כך, התביעה של ההורים השכולים התמקדה בכותבי הקוד שעמד בבסיס מערכת קבלת ההחלטות המורכבת של המכונית. באנשים שיצרו את הרצף הכמעט אינסופי של אותיות ומספרים שהרכיבו התניות ופקודות שהורו למכונית כיצד להתנהג בסיטואציות מורכבות. המכונית אולי הרגה את שני הילדים בעצמה, הם טענו, אולם הבחירות המוסריות שלה - הקוד האתי שהניע אותה - לא נגזר משום מוסר "טבעי". הוא היה תוצר ברור של החלטות שקיבלו בני אדם.

כל מי שעוקב אחר התפתחות טכנולוגיית המכוניות האוטונומיות יודע שתרחיש דמיוני כמו זה שתואר פה, כנראה קרוב מהצפוי. תעשיות התוכנה והרכב מבינות היטב שהעתיד שייך למכוניות ללא נהג, וחברות כמו גוגל, וולבו, ניסאן, פורד, מרצדס, אפל, טויוטה, אנבידיה, טסלה ואחרות כבר לוקחות חלק פעיל מאוד במירוץ אל היעד הנכסף.

כיצד הן וההומו סאפיינס שעומדים בראשן, מתכוננים לגרום למכונות להתמודד בצורה "אנושית" ומוסרית עם דילמות של חיים ומוות, שבהן יוכרעו גורלותיהם של הומו סאפיינסים אחרים? מצד אחד, בני אדם נוטים להתייחס אל עצמם כאל נזר הבריאה וכאל יצורים מוסריים מאין כמותם. מספיק להזכיר את הביטוי "חיה הולכת על שתיים" המתאר בני אדם אכזריים ונטולי מוסר, כדי להבין כמה עמוק הזיהוי שלנו את עצמנו כיצורים מוסריים בהרבה לעומת כל צורות החיים האחרות שסביבנו.

מצד שני, האם נכון יהיה לתכנת את המכוניות האוטונומיות לקבל החלטות על בסיס חיקוי של התנהגות אנושית מוסרית? ומי בכלל יקבע מהי התנהגות מוסרית? מועצה בלתי תלויה של פילוסופים? מהנדסים של גוגל או של וולבו? מחוקקים במדינות שונות? האו"ם?

"ככל שיצליחו לפתח טכנולוגיה שמחקה את תהליך קבלת ההחלטות האנושית, היא תייצר יותר בעיות מוסריות", אומרת ד"ר טלי מנטוביץ', מרצה וחוקרת בבית הספר לקרימינולוגיה באוניברסיטת חיפה. "כי ככל שיש למכונה יותר מרחב שיפוט, תעלה יותר השאלה כמה צריך יהיה לשפוט אותה על ההחלטות שהיא קיבלה. רובוט שהוא שואב אבק, לא מעלה את השאלות הללו, בדיוק בגלל שאין לו טווח של קבלת החלטות. אנחנו חייבים להתחיל לשאול את עצמנו איך להתנהל עם הטכנולוגיה הזאת ברמה המוסרית, הרגולטורית, המשפטית. כרגע אנחנו לא יודעים מספיק כדי להציע הצעות אופרטיביות, ולכן, מה שאנחנו יכולים לעשות זה להגביר את המחקר הרלוונטי, כדי להבין איך אנחנו בכלל ניגשים לשאלות הללו".

"הנחת היסוד של רובנו", מוסיף ד"ר גיא הופמן, מרצה וחוקר רובוטיקה באוניברסיטת קורנל ובמרכז הבינתחומי בהרצליה, "היא שבני אדם יקבלו תמיד את ההחלטה המוסרית, אבל זו הנחה מופרכת. לשעתק התנהגות של בני אדם זה לא אפשרי גם בגלל שבני אדם שונים מתנהגים בצורה שונה, וזה גם לא דבר רצוי. ישנן שלוש גישות כיום. מצד אחד, בצבא ארצות הברית למשל, הוקמה ועדה שקבעה את כללי האתיקה של רובוטים צבאיים. מצד שני, במקרה של גוגל ושל טסלה נניח, פתאום המהנדסים הם אלו שמחליטים כיצד המכוניות שלהם יתנהגו ומה שהם חושבים שהוא מוסרי ייכנס לקוד של המכוניות כהתנהגות מוסרית. מצד שלישי, יש מחקר אקדמי ששואל מה זה בעצם מוסרי".

 

דילמות הקרונית והגשר

כדי להבין עד כמה מוסר הוא דבר גמיש, כדאי להתעכב לרגע על "דילמת הקרונית" שעולה שוב ושוב בהקשר של המכוניות האוטונומיות. על-פי הדילמה, השחקן נדרש להכריע מה לעשות עם קרון רכבת שמידרדר על המסילה ועומד לפגוע בחמישה בני אדם. אם הוא לא יעשה דבר, וייתן לגורל העיוור לעשות את שלו, החמישה ימותו. עם זאת, נתונה בידו האפשרות להסיט את המסילה ולהפנות את הקרון למסילה מקבילה שעליה עומד אדם בודד. במילים אחרות: האם למען הצלת חייהם של חמישה בני אדם תהיו מוכנים לרצוח אדם חף מפשע?

אם אתם חושבים שהתשובה על הדילמה שניסחה ב-1967 הפילוסופית פיליפה פוט היא עניין מורכב, קיימת גם גרסה קיצונית יותר שלה. בגרסה הזאת, האדם שנדרש לחרוץ גורלות, עומד על גשר ומשקיף על ההתרחשות. לצדו עומד אדם שמן, שדחיפתו למסילה תצליח לעצור את הרכבת, אולם תקפד את חייו. האם תהיו מוכנים לדחוף את האדם אל מותו כדי להציל את חייהם של החמישה?

מחקרים שהציגו לנסיינים את השאלות הללו העלו שלא מעט אנשים יהיו מוכנים להסיט את המסילה כדי להרוג אדם אחד ולהציל חמישה, אולם רק מתי-מעט יהיו מוכנים לדחוף למסילה את האדם השמן במו ידיהם. אם כך - מהו הדבר המוסרי לעשות? ואילו תחושות יתעוררו אצלכם כלפי רובוטים שיחליטו בעבור אנשים החלטות דומות? ובכן, אלו בדיוק סוג הדילמות שאיתן יתמודדו בכל רגע המכוניות האוטונומיות, ומישהו יהיה צריך לומר להן כיצד להכריע לגביהן.

המידע שנאסף ממחקרים דוגמת אלו, עשוי לשמש בסיס בקביעת כללי אתיקה למכוניות אוטונומיות, ואף להניח את הבסיס לרגולציה עתידית ולשאלת האחריות שאליה יידרשו בתי משפט וחברות ביטוח במקרה של תאונות שבהן יהיו מעורבות מכוניות אוטונומיות. "הציפייה", אומרת מנטוביץ', "היא שרובוטים יעבדו על-פי מה שמכונה מוסר תועלתני בעוד שמבני אדם אין את הציפייה הזאת. תועלתני, זה בעצם לבדוק בכל רגע נתון מהי האופציה שמצמצמת את הנזק הכללי לא לך אלא בעולם. אם אתה צריך לבחור בין לדרוס 400 אנשים חפים מפשע או ילדה אחת, ברור לכאורה שאתה אמור לדרוס את הילדה. אתה אמור לעשות חישוב קר בכל רגע. אבל, כאמור, בני אדם נשפטים לחומרה אם הם מקבלים החלטות על בסיס של חישוב תועלתני. רובוטים, לא רק שלא נשפטים על זה אלא שמצפים מהם לנהוג כך".

"בני אדם צבועים במובן הזה", מטעים הופמן, "ממש לאחרונה יצא מאמר מעניין בכתב העת Science שבו נכתב שאנשים מצפים מהמכוניות האוטונומיות שלהם לקבל החלטה לטובת הציבור בכל רגע נתון, אבל הם לא ירצו מכונית שלא מגינה עליהם בכל מחיר". ומנטוביץ' ממשיכה: "הממצא הזה למשל מראה איזה סוג של בעיות יעמדו בפני המחוקקים. לא רק שאנשים מצפים מהמכונית האוטונומית למוסר יותר תועלתני אלא שהם גם לא ממש רוצים תועלתנות כשזה ממש נוגע אליהם. הם רוצים שתשים אותם בתפקיד המחוקקים. הם רוצים מכוניות שמצמצמות את הנזק באופן כללי, אבל לא במקרה שלהם. לך תבנה עם זה מערכת חוקים".

גוגל, טסלה וכל השאר

החברה שמובילה לעת עתה את המירוץ למכוניות האוטונומיות היא גוגל, שצי המכוניות הלא גדול שלה נמצא בניסויים בלתי פוסקים בעמק הסיליקון שבקליפורניה ובעיר אוסטין שבטקסס מאז 2009. עד כה, גמעו המכוניות האוטונומיות יותר משני מיליון קילומטרים. בעוד שהמכוניות היו מעורבות ב-17 תאונות מאז תחילת הניסויים בהן, 16 מהן נגרמו בגלל טעויות של נהגים אנושיים על הכביש, ורק אחת מהן - זו שכמובן זכתה לסיקור הרב ביותר - נגרמה בגלל חישוב לקוי של מערכת האינטליגנציה המלאכותית של גוגל.

ב-14 בפברואר השנה ניסה רכב שטח עירוני מתוצרת לקסוס שעליו הורכבה המערכת של גוגל להשתלב בתנועה והשתפשף קלות על אוטובוס עירוני במאונטיין ויו שבקליפורניה. כשמתבוננים בסרטונים שתיעדו את התאונה מכמה זוויות, התאונה המינורית נראית פתטית למדי. אנושית, אם תרצו. (לצפייה, סרקו את הקוד).

בעוד שהניסויים שמובילה גוגל הולכים על כל הקופה - נסיעה עצמאית לחלוטין - בטסלה של היזם אילון מאסק, הגישה היא של יישום הדרגתי של יכולות קיימות. באוקטובר שעבר, מכוניות מתוצרת החברה שמצוידות במערכת אוטומטית לזיהוי מכשולים ולשמירה על הנתיב קיבלו היתר לפעול על כבישים ציבוריים. על-פי חוק, צריכים בעלי המכונית להפעיל את מערכת ה"טייס האוטומטי" כשהם ערניים וכשידיהם מונחות על ההגה, אולם חלק מבעלי המכוניות מרגישים נוח מספיק כדי לאפשר לטלסה שלהם לקחת פיקוד מלא. טסלה אמנם קיוותה רק לפרסומים מחמיאים כמו הסרטון הוויראלי שמתעד מכונית שלה משתרכת לאיטה בפקק תנועה בעוד שנהגה ישן כשהוא נשען לאחור (לצפייה, סרקו את הקוד), אולם בתחילת החודש היא נאלצה להתמודד עם טרגדיה. בתאונה שהתרחשה בראשית מאי, התנגשה טסלה מודל S שהייתה במצב "טייס אוטומטי" במשאית, וגרמה להרג הנהג שבתוכה. ככל הנראה, התאונה נגרמה משום שהתוכנה לא הבחינה בצדה הלבן של המשאית הארוכה כנגד האור הבהיר בשמיים, ולכן לא הופעלו הבלמים. טסלה הסבירה שזו התאונה הקטלנית הראשונה של המכוניות שלה, שעד כה עברו יותר מ-200 מיליון קילומטרים במצב "טייס אוטומטי", אולם השוק הגיב בפחד וגרם למנ יית החברה לצנוח ב-2.7% למחרת ההודעה.

במה שנראה כמו ניסיון לקבור את הסיפור הלא נעים, בשבוע שעבר צייץ מאסק בטוויטר כי עדות אנקדוטלית של נהג מודל S שאומתה באמצעות נתוני הנסיעה, העלתה כי מערכת הבלימה האוטומטית של המודל S ככל הנראה אחראית להצלתו ממוות של הולך רגל לא זהיר. "היה חשוך, והולך רגל לבוש בבגדים כהים התפרץ לכביש במפתיע (לא בסמיכות לצומת)", כתב בעל הטסלה. "לפני שהספקתי להגיב, המכונית צפצפה, נדלק אור אדום על לוח המחוונים והמכונית הפעילה את הבלמים בכל הכוח ועצרנו במרחק של סנטימטרים בודדים ממנו. אני לא בטוח שאני הייתי מצליח לבלום לפני שהייתי פוגע בו, אבל אני שמח מאוד שהמכונית עשתה את זה".

על מי תיפול האשמה?

אף שאיש אינו יודע מתי מכוניות אוטונומיות יהיו מוכנות מבחינה טכנולוגית לצאת אל העולם הגדול כמוצרי צריכה (גוגל, למשל, סבורה שהיא תהיה מוכנה כבר ב-2020), ישנה בקרב כל המומחים תמימות דעים על כמה דברים. ראשית, שהטכנולוגיה תקדים בהרבה את החקיקה, את גיבוש הקודים האתיים ואת ההסדרה המדינתית או הגלובלית של השימוש במכוניות האוטונומיות; שנית, שבכל מקרה, השימוש במכוניות אוטונומיות יוריד בשיעור חד מאוד את מספר תאונות הדרכים לאור העובדה שהגורם האנושי הוא האחראי ליותר מ-90% מתאונות הדרכים כיום; ושלישית, שכניסתן של מכוניות אוטונומיות לשימוש המוני תשנה סדרי עולם במגוון רחב של תחומים, ותיצור בעיות ודילמות שעד כה כלל לא התעוררו.

דוגמאות לתרחישים שכאלה הן למשל השאלות אם כניסתן לשימוש של מכוניות אוטונומיות תשנה מן היסוד את הרעיון של בעלות פרטית על כלי רכב; האם שימוש נרחב בהן יגביר או יפחית את הנסיעה הפרטית ויוריד או יגביר את פליטות זיהום האוויר; אם חברות הביטוח יצטרכו לשנות מן היסוד את המודל העסקי שלהן בכל הקשור לשוק הרכב; ואם זהותם של האנשים שבכל זאת ייהרגו בתאונות הדרכים, שיתרחשו בעולם החדש והמופלא של המכוניות האוטונומיות, תהיה של כאלה שעד כה כמעט שלא היו מעורבים בהן. למשל, הולכי רגל שטיילו לתומם על המדרכה.

שאלות נוספות שאין כיום שום דרך לענות עליהן הן כיצד יתנהגו זו כלפי זו מכוניות אוטונומיות מתוצרת חברות שונות, שבכל אחת מהן תוכנה ייחודית שכוללת אלגוריתמים "מוסריים" שונים; האם שוק הפרסום ימכור מכוניות אוטונומיות כ"בטוחות יותר" או כ"גמישות יותר"; האם ניתן יהיה להורות למכוניות להפר את החוק במצבי חירום, כמו למשל במקרים של הסעת יולדת או פצוע קשה לבית חולים, והאם רגולטורים ברחבי העולם יידרשו (ולמען האמת - האם הם בכלל יצליחו) לעמוד במטלה של אשרור כל גרסת תוכנה שתצא לשוק.

"כיום, אף אחד לא אומר לווייז למה הסעת אותי מפה ולא משם, ואף אחד לא שואל את פייסבוק למה היא מציגה לך סיפור כזה ולא סיפור אחר, אבל במקרה של מכוניות, הרגולציה תרצה להיכנס לעניין", מעריך הופמן. "צריך לזכור שגוגל ופייסבוק צמחו בעולם האינטרנט שהחל את דרכו כעולם פרוץ מבחינת רגולציה בעוד שהמכוניות האוטונומיות הן בכל זאת חלק מעולם הרכב, שתמיד היה נתון לרגולציה קפדנית. כרגע יש פיקוח מסוים, אבל זה קורה בזעיר אנפין לגבי מערכות מסוימות של המכונית האוטונומית כמו למשל שמירה על נסיעה במסלול, אבל לגבי התמונה הגדולה - של נהיגה עצמאית לגמרי - אין היום שום הגדרה של איך הרגולציה צריכה לנהוג ושל איך האשמה צריכה להתחלק במקרה של תקלה".

מנטוביץ': "אם אתה יוצר קונסטלציה שבה האשמה תיפול על המתכנתים, ברור שהרגולציה תהיה מאוד-מאוד חזקה במקרה שלהם. אם אתה יוצר מערכת שבה האשמה תיפול על מערכת האינטליגנציה המלאכותית של המכונית - אולי לא יוציאו את המכונית להורג במקרה של תקלה קשה, אבל יוציאו אותה מכלל שימוש - אז המצב יהיה שונה, בגלל זה המחקר בנושאים הללו חשוב. אין לנו מושג איך לחלק את האשמה. אנחנו נמצאים במצב שבו ההתפתחות הטכנולוגית מקדימה בהרבה את ההתפתחות הרגולטורית. אם אתה שואל אותי, תהיה מכונית מוכנה של גוגל לפני שהמחוקקים יידעו לענות על כל השאלות הללו".

כך או אחרת, הופמן מצדו מסכם שבעוד כמה עשרות שנים, המצב הנוכחי ייראה לאנשי העתיד הזוי לחלוטין. "אני לא רוצה להתנבא מתי זה יקרה בדיוק, אבל אני בטוח שהטכנולוגיה הזאת תהיה הרבה יותר בטיחותית מנהגים אנושיים, ושהנכדים שלנו ישאלו אותנו איך זה יכול להיות שנתנו לאנשים - עם המוח האיטי שלהם - לנהוג במכוניות. אחרי שהם ישאלו אותנו אם אנשים לא מתו בגלל זה כל הזמן, ונענה להם שכן - שמאות אלפים מתו בתאונות כל שנה - זה ייראה להם כמו מגיפת האבעבועות השחורות".