הכירו את הד"ר שמזהירה מפני האלגוריתמים שקובעים את חיינו: "זה רק נשמע כמו פתרון קסם"

איך מחליטים מי באמת זכאי להטבות הסוציאליות שהוא מקבל מהמדינה, ומי מרמה את המערכת וצריך לשלול ממנו את ההטבות? יש מדינות שבהן ההחלטה הזאת מתקבלת תוך שימוש באלגוריתם שנכתב לצורך כך.

המאמר האחרון שכתבה ד"ר דועא אבו אליונס התמקד באלגוריתמים כאלה שבהם נעשה שימוש בשני מקומות: אחד הוטמע במדינת מישיגן שבארה"ב והשני במערכת ההולנדית. מהר מאוד התברר לה שהקוד שממנו בנוי האלגוריתם הוא משני לשאלה היכן בדיוק הוא הופעל.

"אחרי שהיו הרבה מאוד תלונות על ההחלטות שהתקבלו על ידי האלגוריתם, שהגיעו גם לבתי המשפט, התעורר שיח מאוד ער על כך שלא סתם אלגוריתם כזה אומץ דווקא במישיגן", היא מספרת. "המושל שם הוא רפובליקני שהחליט ממילא לקצץ בהטבות, להוריד את פרק הזמן של הזכאות ולהטיל קנס גבוה על רמאים. ואילו בהולנד, האלגוריתם לא הוטמע באופן מערכתי בכל המדינה, אלא רק בשכונות הכי עניות באמסטרדם וברוטרדם. כלומר, נקודת המוצא הייתה ששם, ורק שם, יימצאו הרבה אנשים שמקבלים הטבות סוציאליות במרמה".

במילים אחרות, היא אומרת לנו בהמשך, "האלגוריתם תמיד מופעל במסגרת משפטית ומדינתית כלשהי, והוא משקף את הרצונות של מי שמנסה להטמיע דרכו מדיניות. יש סיבה מדוע אלגוריתם מסוים מוטמע במקום אחד אבל לא במקום אחר".

כבר כמה שנים שאנחנו מודעים לעובדה שאלגוריתם הוא לא שם קוד לאיזו ישות פלאית נטולת הטיות שההכרעה שלה היא בגדר תבונה טהורה, אלא תוצר של קוד שנכתב על-ידי בני אדם ועלול להיות מפלה, מוטעה ואפילו גזעני ממש כמו העולם שבו אנו חיים והאנשים שמאכלסים אותו.

ועדיין, האלגוריתמים מבוססי הבינה המלאכותית קובעים יותר ויותר אספקטים של חיינו. במדינות שונות הם עשויים לקבוע לעיתים אם אדם ישוחרר בערבות או ייכנס לכלא; יקבל הלוואה או יסורב; ייכלל ברשימת המועמדים למקום עבודה מסוים או לא, וכן הלאה. וככל שהאלגוריתמים מורכבים יותר ועצמאיים יותר בקבלת ההחלטות שלהם, כך קשה יותר להתווכח איתם. התרחיש שבו אדם זועק כנגד החלטה לא הוגנת בעניינו ומקבל את התשובה "ככה המחשב החליט, אנחנו לא יודעים למה", צפוי להופיע בחיינו יותר ויותר, מעין קפקא של המאה ה-21.

הסיטואציה המדאיגה הזאת היא זו שדוחפת יותר ויותר אנשים, ביניהם גם ד"ר אבו אליונס, לחקור את התחום ולפתח דרכים כדי לפקח על האלגוריתמים, ולצקת לתוכם גם ערכים של שוויון, גיוון, צדק חברתי ושקיפות. במילים אחרות, מדובר בהחלת רגולציה על התחום.

ה-OECD כבר פרסם מסמך הבנות בנושא באמצע השנה שעברה, פרי עבודה שלה הייתה שותפה גם ד"ר אבו אליונס, ובישראל יצא בדצמבר שעבר דוח של ועדת המשנה של המיזם הלאומי בנושא בינה מלאכותית, אתיקה ורגולציה. אבו אליונס חושבת שהכיוונים שגובשו בשני המסמכים הללו (ראו מסגרת) הם טובים, אבל כרגע הם כלליים מדי ולא מספקים.

לדבריה, בשנים האחרונות כן נעשים ניסיונות "להכניס למדעי המחשב רקע פילוסופי ומשפטי וההבנה שלא מדובר תחום טכני נבנית בהדרגה. תמיד ההמלצה הראשונה היא שהאדם שבונה את האלגוריתם יכיר את הבעיה החברתית שאיתה צפוי האלגוריתם להתמודד, אבל בפועל, גם היום יש המון ניתוק בין הצד הטכני לצד הרגולטורי".

זה מחזיר אותה לעוד דוגמה שלה הקדישה את אחד הפרקים בדוקטורט שעליו עמלה בהרווארד. "בשנים האחרונות הולכת ומצטברת ביקורת על 'תוכנות הסיוע' המקובלות במשפט האמריקאי, אותם אלגוריתמים הבוחנים עבריינים בעבירה ראשונה שלהם,ומנבאים מה רמת הסיכון שיחזרו לפשוע, כשזה מה שגוזר את גורלם - כלא או חלופת מאסר. האלגוריתמים האלה מנתחים מקרים דומים למקרה של העבריין הספציפי ועל פי הניתוח הזה קובעים את רמת הסיכון שלו. אבל מה זה אומר, מקרים דומים? סוג העבירה, אבל מן הסתם גם הפרופיל האישי של האדם שמבוסס על מצב סוציו אקונומי, סביבת מגורים, שנות לימוד ולעיתים אולי גם על צבע העור".

את יכולה לשים את האצבע על איפה בדיוק נמצאת כאן הבעיה ומה אפשר לעשות כדי לטפל בה?
"זה מאוד סקסי לדבר על בינה מלאכותית. זו דרך למשוך את קובעי המדיניות ולומר להם: יש לכם בעיה? אנחנו נבנה לכם אלגוריתם שיפתור אותה. אתה רוצה להפחית את הפשיעה? הנה פתרון קסם שגם מפחית את ההסתמכות על הגורם האנושי, וכך לכאורה מפחית גם אפליה. אבל התוצאה שונה לחלוטין. מה שמושרש במשפט הפלילי, קשה מאוד לשנות באלגוריתם המבוסס על הנתונים שנאספו במשפט הפלילי".

אז מה אפשר לעשות?
"חלק מהגישות תומכות בהכנסת מידע יותר מגוון. נכון שאף אחד לא אומר לאלגוריתם שצבע עור שחור זה מסוכן, אבל העובדה היא ששחורים נעצרים הרבה יותר מלבנים, ויש למערכת יותר מידע עליהם. כך שבין העצירים המסוכנים שהאלגוריתם בוחן יהיו בהכרח יותר שחורים מלבנים. אולי אפשר לגוון את המידע באמצעות הכנסה של יותר מידע על שחורים, כולל הלא מסוכנים (כלומר גם אזרחים שלא עברו דרך מערכת המשפט). גישה אחרת היא לחוקק כללים שקובעים את הקווים האדומים".

הכל התחיל מעניין אישי

ד"ר אבו אליונס היא דמות ששום אלגוריתם לא היה גוזר מתוך הצלבות ביג דאטה של סיפורי חיים. היא ערבייה מוסלמית מחיפה, עיוורת כמעט מלידה, שהתמחתה בבית המשפט העליון בירושלים ואת הדוקטורט שלה סיימה עכשיו בהרווארד מרחוק (ככה זה בימי קורונה) בעודה מתגוררת בפריז. אבו אליונס עבדה במשך שנה כיועצת למנכ"לית משרד המשפטים אמי פלמור, ומעידה כי "היא אישה מדהימה, יש לה חלק בהצלחה שלי".

את בעלה, טורקי-צרפתי בוגר MIT, פגשה בכנס שעסק במיחשוב ורגולציה. "הסכמנו לא להסכים על דברים מסוימים", היא מספרת בראיון שנערך באמצעות זום מביתה בפריז. "הוויכוח הנמשך בינינו הוא שאני עורכת הדין שרוצה להחיל הגבלות משפטיות על הכל והוא המתכנת שרוצה רק להתעסק עם קוד. אבל אנחנו מדברים הרבה על התחומים האלה, ואני קצת מצליחה להחדיר לו יותר רגישות משפטית חברתית".

על מה באמת מתווכחים המשפטנים והמתכנתים של העולם, כאשר מדובר על החלטות שמתקבלות באמצעות בינה מלאכותית?
"אי אפשר לדבר על בינה מלאכותית בלי להזכיר הטיה ואפליה. כבר ב-2016 התחילו להתפרסם ידיעות וכתבות שחשפו חלק מהבעייתיות הזאת. למשל, היה אלגוריתם של מיקרוסופט שהפעיל בוט, שניהל שיחות עם אנשים ומהם הוא למד והפנים את המידע. אחרי 24 שעות היה צריך לסגור אותו, כי התברר שהוא למד להיות סופר-גזען ושוביניסט, וקילל את הנשיא.

"סיפור דומה במידה מסוימת היה כשהתגלה שמנוע החיפוש של גוגל משלים את המילה ‘מרושעים’ כשמקלידים לתוכו ‘יהודים הם....’. זה נעשה כמובן תוך התבססות על אלגוריתמים. זאת הייתה הנקודה שבה התחילו להגיד: ‘הטכנולוגיה קצת יוצאת משליטה, אולי צריך רגולציה, אולי נדרשת חקיקה’. משם התחילו לנסח מסמכי הבנות מאוד כלליים שקובעים שאלגוריתמים צריכים להיות ‘הוגנים ואחראים’. כל חברה פרסמה את המסמך שלה, וגם מדינות התחילו לחשוב איך הן רוצות שהבינה המלאכותית תיראה ועל איזה עקרונות היא צריכה לשמור".

ואיך את, כמשפטנית, התחברת לנושא הזה?
"העניין שלי בכך הוא אישי: כאדם שלא רואה, הטכנולוגיה מאוד עוזרת לי, ולמעשה אני לא יכולה לדמיין את החיים שלי בלי טכנולוגיה. החל מדברים פשוטים כמו לקחת את המחשב שלי לאוניברסיטה, להקליט הרצאות ולשמוע אותן אחר כך, ועבור באפליקציות בטלפון החכם לזיהוי צבעים, זיהוי שטרות וזיהוי פנים - אני לא בהכרח תומכת בזיהוי פנים ככלי שלטוני, אבל יש לזה גם פן חיובי. אני שונאת להסתמך על אנשים אחרים והטכנולוגיה מאפשרת לי להיות עצמאית.

"התואר השני שלי, באוניברסיטת חיפה, היה במשפט וטכנולוגיה וחשבתי שזה יהיה מעניין לראות איך הטכנולוגיה משפיעה על אוכלוסיות שונות ולהתעסק עם הצדדים הפחות זוהרים של הטכנולוגיה. גם העדפתי לדבר עם אנשים מאשר לכתוב ספרים, וללכת לכיוון פרקטי שיש לו משמעות במגזר הציבורי".

אבו אליונס החלה להיחשף לסיפורים שהזכרנו שהתפרסמו בארה"ב לפני כמה שנים והבינה שיש כאן משהו עמוק יותר, "שהבעיה היא לא בקוד, אלא בכך שהאלגוריתמים משקפים את מה שבני אדם היו עושים באותם מקרים, את דרך החשיבה שלהם ואת ההטיות הפנימיות שלהם. הקבוצות שמופלות על-ידי האלגוריתמים הן אותן קבוצות שהופלו בעבר על-ידי בני אדם".

אפשר להניח שזה דיבר אלייך גם כבת למיעוט לאומי בישראל?
"גם. אני לא אומרת חלילה שאין אפליה בישראל, אבל אני חושבת שמשך אותי להתעסק בתחום בגלל האופציה לגעת במורכבות שהיא גם חברתית ומשפטית וגם טכנולוגית, ולראות איך זה משפיע על כל מיני אוכלוסיות. אבל לא חקרתי את זה בישראל".

 סרטון הדגמה של טכנולוגיית זיהוי פנים סינית. "לא תומכת בזה ככלי שלטוני, אבל יש לזה גם פן חיובי" / צילום: רויטרס - Mehdi Chebil

"לשרטט קו אדום"

בדוקטורט שלה, המוקדש לנושא, בדקה אבו אליונס איך מטמיעים את הכללים במוסדות ממשלתיים שונים, תוך הפעלת מדיניות שונה, איך זה מייצר אפליה ומה ניתן לעשות כדי למנוע או לצמצם אותה.

"הרגולציה שמבוססת כיום על הבנות כלליות נותנת נקודת פתיחה טובה ומדגישה את עקרונות הבסיס שצריכים להתייחס אליהם כשמדברים על בינה מלאכותית", היא מסבירה בצורה מפורטת יותר את עמדתה, כפי שביטאה אותה גם בדוקטורט. "עם זאת, מה שחשוב לדעתי זה לבחון את ההקשר שבמסגרתו האלגוריתמים יוטמעו. השאלה הראשונה שצריך לפתוח בה היא האם אוטומציה ובינה מלאכותית הן הפתרונות המתאימים לתחום המדובר. כדי לענות על השאלה הזאת, צריך לבחון אם יש דרכים אחרות להשיג את התוצאה שהאלגוריתם מבקש לקדם ואם הן עדיפות.
"אם מחליטים לבסוף על אוטומציה, צריך לבחון מה תהיה ההשפעה של האלגוריתם על אוכלוסיות מוחלשות או מופלות והאם הוא עשוי להגביר את האפליה או ההדרה. זה לא חייב להיעשות על-ידי רגולציה נוקשה, אבל צריך להבטיח שלפני ההחלטה לאמץ אלגוריתם כזה או אחר נותנים את הדעת לשלל הסוגיות שמוזכרות במסמכי ההבנות הכלליות כמו הגינות, שקיפות ואחריותיות. באנגלית אני קוראת לזה contextual implementation (הטמעה תלויית הקשר)".

זה נשמע כמו תחום שהעיסוק בו מחייב אותך לטבול ידיים עמוק בפוליטיקה.
"דווקא ניסיתי להגיע להמלצות מאוד פרקטיות, שמתרחקות מפוליטיקה. למשל - בואו נוודא שיש מספיק מעורבות אנושית באופן שבו האלגוריתם עובד. או לדאוג שתהיה שקיפות מספקת שתאפשר לארגונים של החברה האזרחית להבין איך הוא מכריע בשאלות מהותיות. הרבה יותר קל להיות פרקטי מאשר להטיף לעקרונות, או לתקוף את מקבלי ההחלטות ולומר להם ‘אתם עושים את זה כדי לדפוק את העניים’. אבל יש מקרים שבהם אין ברירה אלא לשרטט קו אדום".

איפה את משרטטת אותו?
"למשל זיהוי פנים במרחב הציבורי. המצלמות שפשוט סורקות אנשים בהפגנות כדי לראות אם יש מישהו שמחפשים אותו. חברות גדולות החליטו לא למכור את זה למדינות יותר, ויש מדינות שהחליטו שהן לא מאמצות אלגוריתמים של זיהוי פנים. נראה שהעולם הולך לכיוון הגבלת זיהוי הפנים, אבל זה לא קורה בכל מקום. בסין, למשל, כולם כל הזמן תחת הזיהוי הזה 24 שעות ולא רק זה, אלא שכל פעולה שמזוהה במרחב הציבורי יכולה להיות מתועדת ואחר כך היא מזינה מערכת שגוזרת לכל אחד ניקוד חברתי, שבאמצעותו נקבע מה הוא יכול או לא יכול לעשות.

"אנחנו לא יודעים בוודאות שהדברים האלה ממש מבוצעים בפועל בסין, אך הם ככל הנראה מפעילים מערכות שיכולות לעשות זאת. בזמן הקורונה היה שם שימוש מאוד נרחב במעקבים חודרניים, הרבה יותר ממה שמקובל במערב".

היית מנטרלת מאלגוריתמים הקובעים דברים גורליים בחיינו את הגזע והמין?
"גזע ומין משפיעים על כל צעד שאנחנו עושים בחיים, אז אי אפשר לנטרל אותם וזו גם לא גישה שעובדת מבחינה מחשבית. לפעמים, הדרך הטובה ביותר לטפל באפליה גזעית או מגדרית היא לא להתעלם מהנתונים האלה אלא דווקא להתייחס אליהם. אם האלגוריתם ידע שזה אדם שחור, אולי הוא דווקא ייקח את זה בחשבון בצורה חיובית. זה לא מתאים למשפט הפלילי אבל אולי זה מתאים לתעסוקה, לאפליה מתקנת. אם נתייחס לנשים שמגישות מועמדות למשרת מהנדס אותו דבר כמו לגברים, אולי קורות החיים שלהן דווקא ייעלמו בערימה בין מועמדים גברים, בזמן שאנחנו כן רוצים לדחוף אותן".

ההורים דחפו לעצמאות

היא בת 31, בת בכורה לאם שהיא אחות במקצועה ואב שהוא עצמאי בתחום החלפים לרכב. יש לה שלושה אחים, אחד מהם רופא שיניים, השני רופא כללי והקטן עדיין בתיכון. "ההורים שלי", היא אומרת, "הם הכוח הדוחף שלי ושל אחיי. אבא שלי תמיד אמר לי: אל תהיי בעמדה שאת צריכה לסמוך על גבר מבחינה כלכלית, כדי שלאף אחד לא תהיה עמדת לחץ עלייך".

אף שהמשפחה היא מוסלמית, היא עצמה נשלחה לבית ספר יהודי, מתוך הערכה ששם יהיו לה תנאים טובים יותר כלקויית ראייה, ואחיה נשלחו לבתי ספר נוצריים, מפני שאלה נתפסו בחיפה כעולים ברמתם על בתי הספר המוסלמיים. התוצאה הייתה שבבית משפחת אבו אליונס נחגגו כל החגים האפשריים. "היה לנו עץ חג המולד וחנוכייה, וגם צמנו ברמדאן", היא מספרת. "להורים שלי היה חשוב שנדע את יסודות הדת והעדה. ככל שאני גדלה, אני מבינה שזכיתי בכך שהייתי פתוחה לכל-כך הרבה תרבויות. זה תמיד פלוס להיחשף ליותר, אף פעם לא מינוס".

לאחר התיכון עשתה שירות לאומי במחלקה לסיוע משפטי בירושלים, ולאחר מכן למדה באוניברסיטת חיפה במסלול מואץ של ארבע שנים לתואר שני. הלימודים הסתיימו בקיץ, ההתמחות שלה הייתה אמורה להתחיל במרץ, והיא החליטה להתנתק מהמסלול המשפטי המותווה. "ידעתי שאעסוק במשפטים כל חיי ורציתי הפסקה מוחלטת מהלימודים. חשבתי לנסוע להתנדב בהודו, ואבא שלי, שהוא הרבה יותר מגונן מאמא שלי, כמעט העלים לי את הדרכון. בסופו של דבר השתתפתי בתוכנית התנדבותית בבית ספר לילדים עיוורים בבוסטון. זו הייתה פשרת ביניים".

אמא שלך פחות מגוננת?
"היא זו שדחפה אותי לעצמאות. אמרה שזה בסדר שאלך ללמוד בארצות הברית, למרות ששניהם היו יותר שמחים אם הייתי נשארת קרוב. בכל זאת, גם בת יחידה וגם בעיית ראייה. מצד שני, היא תמיד נסעה איתי להתאקלמות לשבועיים הראשונים, גם להתנדבות וגם לדוקטורט. אגב, היא גם נסעה עם האחים שלי כשהם נסעו ללמוד בחו"ל".

זה לא קשה יותר עבורך לעבור לגור במקום זר?
"בעיקר בהתחלה, בהתאקלמות. בגלל שאני לא רואה, אני צריכה ללמוד כל מקום חדש מבחינת ניידות, ללמוד את המסלול, איך ללכת לסופר, איך ללכת לבנק. זה הרבה התאמות וזה קצת מתיש. אבל למרות ששינויים הם קשים לי, אני לא מסוגלת לוותר עליהם. משעמם לי להיות זמן רב במקום אחד. בכל מקום שהייתי, תמיד קיבלתי הרבה עזרה מהסביבה, בעיקר מהקרובים לי אבל גם מאנשים אחרים. לכן אני רוצה שלמה שאני עושה יהיה אימפקט שיעזור לאחרים".

הרגולציה על האלגוריתמים: לוודא יכולת להבין את ההחלטות ולערער עליהן

במאי 2019 פרסם ארגון ה-OECD מסמך המפרט את העקרונות שצריכים לעמוד לדעתו לנגד העיניים בעת שנבחן השימוש בבינה מלאכותית. בין ההמלצות: כל המערכות צריכות להיות מעוצבות בדרך שתכבד את החוק, את זכויות האדם, את הערכים הדמוקרטיים ואת המגוון. בנוסף, הן צריכות לכלול מנגנון שמירה והגנה הולם. למשל, לאפשר התערבות אנושית בעת הצורך, ולאפשר מספיק שקיפות כדי להבטיח שאנשים מבינים כיצד התקבלו התוצאות המבוססות על הבינה המלאכותית, ושיש להם את היכולת לערער עליהן.

בדצמבר 2019 נדרשה לכך גם ועדת המשנה הישראלית של המיזם הלאומי בנושא בינה מלאכותית, אתיקה ורגולציה, ובדוח שחובר על ידה נכתב בין היתר שיש להבטיח ששיקולים אתיים ישולבו בשלבי הפיתוח והתחזוקה של מוצרים משולבי בינה מלאכותית. הוועדה המליצה על הקמת גוף שיפקח על קיום ההמלצות, וכן ציינה שיש ללמוד באופן פעיל מיהן אוכלוסיות היעד העלולות להיפגע כתוצאה מפיתוחים טכנולוגיים מבוססי בינה מלאכותית. הוועדה ציינה גם רשימת ערכים שעליהם יש להגן ועימם נמנים: הוגנות, שקיפות, בטיחות, חופש הבחירה, הקפדה על אבטחת מידע וזכויות אדם ושמירה על פרטיות.