טכנולוגיה בשדה הקרב: מי יהיה אחראי אם ייהרגו חפים מפשע?

יישומי בינה מלאכותית נמצאים בכל מקום. כשסירי מקשיבה לנו ומספקת תשובות, כשיוטיוב ממליצה לנו על סרטונים שנאהב, כשפייסבוק מתאימה לנו פרסומות ומובילאיי מזהירה אותנו מסכנה - הן עושות שימוש בכלים של בינה מלאכותית כמו ראייה ממוחשבת והבנת שפה טבעית. הררי דאטה שגופים שונים, מענקיות הטכנולוגיה ועד מוסדות רפואיים, אוספים עלינו, רק ממתינים לאלגוריתמים שינתחו אותם, ימצאו בהם הקשרים שאיש לא ראה קודם, ויפיקו על בסיסם תובנות.

לצד היתרונות, האופן שבו תפעל הטכנולוגיה גם מעורר חששות לא מעטים. כשמדובר בפרסומות בפייסבוק, פרסומת לא רלוונטית לא יכולה לגרום הרבה נזק. הבעיה מתחילה כאשר ה"החלטות" שמקבלת מערכת ממוחשבת "על דעת עצמה" עלולות לגרום, למשל, להפליה. כך למשל, קיים חשש שמערכת מבוססת בינה מלאכותית תגדיר לקוח פוטנציאלי כבעייתי על סמך פרמטרים דמוגרפיים, ותסרב בשל כך לאשר לו הלוואה. המערכת יכולה גם לפגוע בפרטיות, בערכים כמו שקיפות ומוכללות (של אוכלוסיות שונות), הגינות, בטיחות וכו'.

שאלות של אתיקה בבינה מלאכותית מעסיקות לא מעט את המומחים בתחום. בסוף 2019 פורסמו המלצותיה של ועדה מיוחדת שעסקה בנושא, בראשות פרופ' קרין נהון מהמרכז הבינתחומי בהרצליה. הדוח תיאר את הסכנות שבשימוש לא אחראי בכלים של בינה מלאכותית, ואת החשיבות של הטמעת שיקולי בינה מלאכותית כבר בעת הפיתוח מוצרים טכנולוגיים.

אלא שהדוח עסק בהיבטים האזרחיים של הנושא, והוועדה התעלמה באופן מכוון משיקולים הקשורים לשילוב בינה מלאכותית בתחום הצבאי, ובראשם הערך שהוא אולי הנעלה מכולם - חיי אדם. עד כמה חשובים השיקולים האתיים בדיון? במסמך שפרסם משרד ההגנה האמריקאי ב-2018 צוינה האתיקה, לצד בטיחות, כאחד משני הפרמטרים שבהם המשרד לוקח על עצמו להוביל.

בדצמבר האחרון נערך במרכז הבינתחומי בהרצליה כנס שעסק בנושא בינה מלאכותית ולוחמה מודרנית. עו"ד בן חקלאי, מנהל תחום מסחרי משפטי במיקרוסופט ישראל, שרטט את גבולות הגזרה של הדיון בנושא שנמצא רק בתחילתו. "ממשלות וגופי מחקר החלו לדון בנושאים הללו לעומק רק בשנתיים האחרונות, אבל רק עתה כל המחקר שנעשה מתחיל לקבל אופי קונקרטי", אמר חקלאי. הכנס התקיים כחלק משבוע בו אירח בית הספר משלחות מאירופה וארה"ב במסגרת הקליניקה למשפט בינלאומי פלילי והומניטרי והשתתפו בו סטודנטים ישראלים וסטודנטים ממדינות כמו ארה"ב, איטליה, סין, פולין, וגרמניה.

קשה לתחקר את קבלת ההחלטות

ככל הנראה, אין כמעט ישראלי שלא מכיר באופן אישי את המשמעות של שיקולים אתיים בבינה מלאכותית. כשסוללת כיפת ברזל "מחליטה" שלא לשגר טיל מיירט לעבר רקטה הנורה מעזה, אך איננה עומדת לפגוע באיזור מיושב, המערכת מקבלת החלטה אתית. אך המקרה של כיפת ברזל פשוט יחסית, הן מכיוון שהדילמה היא חיי אדם מול פגיעה ברכוש והן מכיוון שכל סוללה כוללת גם חיילים שמפקחים על פעילותה. כמו כן, המערכת מספיק חכמה ומדויקת בכדי לחזות בדיוק רב את מקום הפגיעה הצפוי. הסיטואציה הופכת קצת יותר מורכבת במקרה של מערכת נוספת בעלת יכולות אוטונומיות שבה נעשה שימוש בצה"ל - מערכת ההגנה לטנקים "מעיל רוח" - שפועלת ממש בשדה הקרב, והפעלה שלה עלולה לסכן כוחות רגליים הנעים באזור.

 כיפת ברזל / צילום: Shutterstock ס.א.פ קריאייטיב

אז כיצד מתכנתים כלי מלחמה שיפעלו בסביבה אפילו עוד יותר מורכבת, כמו במקרה של רכב לא מאויש המשמש בפעילות מבצעית בשטח בנוי? או כיצד מתכנתים כלי ירי אוטומטי כמו זה שמוצב בגבול בין קוריאה הצפונית לדרומית - כלי שצריך לזהות את כוונותיו של משיג גבול ו"להחליט" האם להרוג אותו או לתת לו לעבור? תשובות ברורות ומוחלטות לשאלות הללו עדיין אין בנמצא. זו בדיוק הסיבה לקיומו של הדיון בנושא.

בהרצאתו הסביר חקלאי כיצד הסיטואציות השונות האפשריות בהקשר הצבאי הולכות ומסתבכות. כיפת ברזל היא דוגמה לסיטואציה פשוטה יחסית שבה המכונה מקבלת החלטה, אך קיימת לצדה גם מעורבות של גורם אנושי, שיכול להתערב בהחלטה ולעצור אותה.

הסיטואציה הקלה יותר היא הסיטואציה שבה המכונה רק ממליצה על הפעולה, אבל רק האדם הוא זה שמחליט האם להוציא אותה לפועל. לעומתן הסיטואציה המורכבת והמאתגרת ביותר היא זו שבה האדם מחוץ לעניינים והמכונה מקבלת החלטות לבד. מצב זה יהיה יותר ויותר רלוונטי ככל שהטכנולוגיה תאפשר פעולה אוטונומית מלאה של רחפנים, כטב"מים ושאר רובוטים.

הרובוט SGR-A1 מתוצרת סמסונג שמוצב באיזור המפורז שבין הקוריאות הוא במידה רבה כזה. הוא מורכב ממצלמת אינפרה אדום, מערכת זיהוי קולית, ויש לו יכולת בחירה בין הפעלת אזעקה, ירי כדורי גומי או תחמושת אחרת. הרובוט יכול לפעול בצורה אוטונומית לגמרי, אך הוא עדיין מכיל אופציה למפעיל אנושי לקחת פיקוד. חקלאי מסביר כי SGR-A1 מדגים היטב את הדילמות האתיות שעומדות בפני מתכננו - "האם לתכנת את המכונה כך שתירה בכל מה שזז, או האם המכונה תנסה לוודא קודם שמדובר באדם? ואם מדובר באדם, האם הוא מרים ידיים לאות כניעה?".

הייחוד של הדיון, לדברי חקלאי, הוא ש"בניגוד ליישומים אזרחיים, מי שייחשב אחראי על ההשלכות של השימוש בכלי נשק אוטונומיים היא קודם כל המדינה, כאשר לאחר מכן נשאלת השאלה על מי בדיוק בשרשרת הפיקוד היא מוטלת".

האחריות היא לא ההיבט היחיד. כדי לפקח על פעילותם של כלי נשק שכאלה חייבת להיות קיימת יכולת לתחקר קבלת החלטות בדיעבד. "בנקודה זו יקפצו המהנדסים ויזכירו שבינה מלאכותית היא 'קופסה שחורה', דהיינו שלא ניתן להבין את ההיגיון מאחורי כל החלטה שביצעה המכונה כי היא מבוססת על כמות עצומה של דאטה שבן אנוש לא יכול למצוא בה היגיון. הרי רשתות הנוירונים במערכות הלמידה העמוקה מייצרות למעשה עץ או תרשים קבלת החלטות אינסופי", הסביר חקלאי. הבעיה מתחילה מכך "שרוב החברות האנושיות לא יקבלו מצב שבו יתרחש הרג שלא ניתן יהיה להסביר מדוע הוא נגרם".

חקלאי השווה את האתגרים האזרחיים לצבאיים באמצעות הדוגמה של המעבר מרכב רגיל לרכב אוטונומי. בעוד שהציבור מוכן לקבל אותו שיעור תמותה סביר כחלק מהמחיר של עשיית עסקים, הוא אומר, "הוא יהיה פחות נוכן לקבל מקרה שבו רחפן הפציץ כפר מבלי לדעת את הסיבה לכך".

ייתכן שהפתרון העתידי לכך, לדברי חקלאי, הוא תוספים שיפענחו את אופן קבלת ההחלטות של הבינה המלאכותית. "קיימים כבר סטארטאפים שעובדים על אלגוריתמים שיוכלו לספק הסבר הגיוני לקבלת ההחלטות של הבינה המלאכותית. בלי היכולת הזו תהיה יהיה קשה לשפר את האלגוריתמים המקוריים".

שילוב אבטחת סייבר כבר בפיתוח

כל האתגרים הללו הופכים מורכבים עוד יותר לנוכח כשל אינהרנטי שעומד בפני מפתחי מערכות מבוססות בינה מלאכותית למערכות נשק. איכות התובנות שמערכות מבוססות למידה עמוקה מסוגלות לנפק, תלוי בכמות ואיכות הדאטה שאותו הן יכולות לנתח ועליו הן מתבססות. הבעיה, הסביר חקלאי, מתחילה כאשר אין בנמצא די דאטה. החיישנים של מובילאיי מותקנים במיליוני מכוניות שמסיעים אותם בכבישים בכל רחבי העולם ומזינים למערכת דאטה אינסופית על התרחשויות. הנתונים הללו משמשים כל העת את המערכת כדי להוסיף ללמוד ולהשתפר.

כך גם המכוניות האוטונומיות של חברות כמו גוגל שנוסעות לצד מכוניות נהוגות בידי אדם, אוספות מידע ולומדות. אך על סמך איזה דאטה יתאמנו מערכות נשק מבוססות בינה מלאכותית - יבזבזו אלפי שעות טיסה יקרות של טייסי קרב? הפתרון שמצא לכך משרד ההגנה האמריקאי הוא שימוש בסימולטורים בשיתוף עם המגזר הפרטי, כמו הסימולטור AirSim של מיקרוסופט לאימון אלגוריתמים בתנאי מעבדה ומהווה תחליף לניסויי שטח.

לבסוף, הסביר חקלאי, כשמדובר בצרכים צבאיים, היבטי סייבר חייבים להיות מופנמים היטב כבר בתהליך הפיתוח של מערכות מבוססות בינה מלאכותית. כך למשל, הוא טוען, יש לשלב אמצעים לאיתור שימוש בטכנולוגיות דיפ פייק - שבהן ניתן ליצור סרט וידיאו או קטע קולי מזויפים שנחזים לאמיתיים. ללא שילוב אמצעים אלה מלכתחילה, אומר חקלאי, יהיה קשה למערכות הרגילות להבין בניסיונות להונות אותה.

ואם זה נשמע מורכב, אז זו רק ההתחלה. הפתרונות הללו מורכבים ליישום במסגרת תרבותית אחת, אך מה קורה שכל סולם הערכים עליהם היא מתבססת משתנה? חקלאי הדגים זאת באמצעות ההבדל בין ארה"ב לסין. מה שסביר בחברה אחת לא בהכרח סביר בחברה אחרת. "שימוש נרחב במצלמות לזיהוי פנים ודירוג אשראי לכל אזרח נתפסים בסין כדרך סבירה לניהול תקין של חברה יצרנית. הפער הזה בין תפיסות הוא בהחלט עניין עקרוני". 

המדינות לא צריכות להשאיר את הבמה לענקיות הטכנולוגיה | פרשנות

המעורבות של חברות כמו מיקרוסופט בעיצוב הכללים שמנהלים את העולם הטכנולוגי מקבלת ביטוי מרתק במעורבות שלה בפיתוח כלי בינה מלאכותית בהקשר הצבאי. אלגוריתמים צריכים להיות מאומנים באמצעות כמויות גדולות של דאטה, אך מכיוון שלא ניתן ללמד את המערכות "על רטוב", צריך להשתמש בסימולטורים.

מאחר שלחברות הפרטיות יש שליטה על האופן שבו הן מתכננות את הסימולטורים, משמעות הדבר היא שיש להן בעצם מעורבות בהתוויית דרכי הפעולה של כלי הנשק העתידיים. זו לא אמירה בעלמא. יכולת השפעה זו עולה בקנה אחד עם הלך המחשבה של החברה שנשיאה בראד סמית' הזהיר בנובמבר 2019 כי "בינה מלאכותית עלולה להפוך לנשק שקשה יהיה להתמודד איתו אלא אם כן ענקיות הטכנולוגיה יבנו לתוך הטכנולוגיה מגבלות שימנעו שימוש לרעה בה".

יכול מאוד להיות שמיקרוסופט וחברות אחרות שמפתחות סימולטורים כאלו יבנו אותו בהתאם לכללים ולמגבלות שניסחה עבורם המדינה, אך קיימת גם אפשרות נוספת - שחלק מאו מעקרונות הפעולה יהיו פרי של עבודה וחשיבה שנעשית בתאגידים. "חקיקה תאגידית" היא כללים שתאגיד קובע עבור עצמו. אין כמעט גולש אינטרנט שלא נתקל בהם מקרוב: כשפייסבוק חוסמת משתמש שפרסם דבר הסתה לגזענות, אנו מבינים מה הבסיס החוקי ל"עונש". אבל מה קורה כאשר משתמש נחסם בגלל ששלח יותר מדי הצעות חברות והפר את "סטנדרט הקהילה".

זהו אחד מהכללים שפייסבוק מחילה על משתמשיה, שלפעמים יותר משפיעים על חייהם מאשר חוקים של המדינה. "קורה פה משהו מעניין. לאט-לאט חקיקה של תאגידים הופכת להיות חשובה יותר מחקיקה של ממשלות". את המשפט הזה השמיע בשיחת רקע עורך דין בכיר באחד מהמשרדים הגדולים והמבוססים בישראל.

ידוע, ואף הדבר נלמד בבתי הספר למשפטים, שהמחוקק איטי מאוד בתגובה שלו להתקדמות הטכנולוגיה ובהתאמות שהוא עושה אליה. במקרה של בינה מלאכותית הפער הזה עולה על סטרואידים. בין השאר בגלל פערי ידע טכנולוגיים וחוסר יכולת של הרגולטורים להדביק את הקצב, החשיבה המתקדמת על רגולציה או אתיקה מתבצעת במשרדים של ענקיות הטכנולוגיה במקום במשרדי הרגולטורים או בחדרי הוועדות של נבחרי הציבור.

בהיעדר דיון משוכלל שמשלב לא רק מומחי משפט וטכנולוגיה אלא גם נציגי ציבור, מי שיעצבו את הכללים שמפעילים את הטכנולוגיות יהיו חברות הטכנולוגיה. כשמדובר בבינה מלאכותית, טכנולוגיות שהשלכות השימוש בה על חיינו הן מרחיקות לכת באופן שלא ניתן לתאר, מסוכן פי כמה לתת לחתול לשמור על השמנת.