גלובס - עיתון העסקים של ישראלאתר נגיש

האם הצעות חוק ימנעו מאלגוריתמים לשלוח אנשים לכלא?

מדעני נתונים וארגוני זכויות האדם מתריעים מפני ההטיה המובנית באלגוריתמים שקובעים הכול: החל מזיהוי של הורים אלימים וכלה בעלות פוליסת הביטוח שלכם ● המחוקקים החלו לעסוק בנושא, אך עדיין מתנהלים בזהירות בגלל חשש לפגוע בחברות עסקיות

האלגוריתמים סובלים מהטיה. לא בטוח שאפשר להפוך אותם להוגנים / צילום:  Shutterstock
האלגוריתמים סובלים מהטיה. לא בטוח שאפשר להפוך אותם להוגנים / צילום: Shutterstock

בית המשפט העליון של ויסקונסין דן באפריל 2016 בטענה ייחודית: עורכי דינו של אריק לומיס, שהורשע שלוש שנים קודם לכן בניסיון הימלטות מהמשטרה ובגניבת רכב, טענו כי הופלה לרעה על ידי אלגוריתם.

מקור הקשר בין האלגוריתם לקביעת גזר הדין הוא בתוכנה פופולרית של חברת אקוויבנט (Equivant), שבה נעזר השופט. התוכנה, COMPAS, מיועדת לניהול פרופיל עבריין לצורך ענישה חלופית, והיא לוקחת בחשבון גורמים שונים, בהם למשל שימוש בסמים, גיל הנאשם בעת מעצרו הראשון והאם יש לו תמיכה משפטית. זאת כדי לקבוע את מידת הסבירות שהנאשם יחזור לבצע עבירות גם בעתיד. לפי הנחיות גזר הדין, השופט לא נדרש להטיל עונש מאסר, אך התוכנה טענה כי קיימת סבירות שלומיס ישוב לבצע עבירות בעתיד, והשופט גזר עליו שש שנות מאסר.

אלגוריתם הוא אך ורק סט של הוראות לגבי הדרך שבה צריך לבצע פעולה מסויימת. ההוראות נעות מתוכניות מחשב פשוטות, מוגדרות ומיושמות בידי בני אדם, ועד למערכות בינה מלאכותית מורכבות בהרבה, שעוברות הכשרה באמצעות הררי נתונים. בכל מקרה, ההטיה האנושית משפיעה גם על האופן שבו הן מתוכנתות. מערכות זיהוי תווי פנים עוברות הכשרה באמצעות חשיפה לתמונות של מיליוני פנים, אך הבעיה מתחילה כשמאגרי התמונות אינם מספיק מגוונים. כך נפגעת רמת הדיוק של התוכנה בזיהוי תווי פנים של אנשים בעלי צבע עור שונה מזה שאליו נחשפה התוכנה לעתים תכופות יותר. מומחים חושבים שהדבר עלול לגרום לגרום לכוחות משטרה להתמקד באופן לא פרופורציונלי באנשים חפים מפשע שכבר זוכים ליחס חשדני יותר, אך ורק בשל הופעתם החיצונית.

"אפליה תהיה, השאלה מי מופלה"

COMPAS הפכה למוקדו של דיון סוער ולמושא של ניתוחים קפדניים מצדם של עיתונאים בפרופבליקה (מרכז לעיתונות עצמאית ללא מטרות רווח) וחוקרים באוניברסיטאות שונות, כולל סטנפורד, הרווארד וקרנגי מלון שבפיטסבורג - ואף בחברת אקוויבנט עצמה. באופן מתסכל, המסקנות לא בהכרח חד-משמעיות. לא משנה כמה אנו יודעים על האלגוריתמים ששולטים בחיים שלנו, קשה - וייתכן שאף בלתי אפשרי - להפוך אותן ל"הוגנות". אך למרות ההטיה של האלגוריתמים, לפחות הם עקביים. כשמדובר בבני אדם, ההטיה משתנה באופן ניכר מאדם אחד למשנהו.

ממשלות ועסקים משתמשים באלגוריתמים כדי להגדיל את מידת העקביות, לחסוך כסף או כדי לנהל הליכים מורכבים. ואולם התלות בהם מתחילה להדאיג פוליטיקאים, פעילים לזכויות האדם וחוקרי טכנולוגיה. חברה אנושית שבה נעשה שימוש תכוף כדי לסייע בביצוע תהליכים מתאפיינת לעתים קרובות בניצול לרעה ובהטיה: מי מקבל את הג'וב, מי ייהנה משירותים ממשלתיים, למי יוצעו שיעורי הריבית הטובים ביותר, וכמובן - מי יילך לבית הסוהר.

"יש אנשים שמדברים על להיפטר מההטיה של אלגוריתמים, אבל זה לא מה שאנחנו עושים - אפילו במצב אידיאלי", אומרת קתי אוניל, לשעבר אנליסטית כמותית בוול סטריט, שהפכה למה שהיא עצמה מתארת כמבקרת אלגוריתמים, וכתבה את הספר "נשק השמדה מתמטית" (Weapons of Math Destruction).

קתי אוניל,/ GRuban / צילום: אתר ויקיפדיה

"אין כזה דבר כמו כלי אבחנה נטול הטיה, שקובע מי ראוי לג'וב, מי ראוי ליחס הזה. האלגוריתם מפלה מעצם מהותו, אז השאלה היא איזו הטיה אתה רוצה שתהיה לו?", מוסיפה אוניל.

קשה מאוד לקבוע אילו הטיות נמצאות בתוך אלגוריתם, וקשה עוד יותר לאמוד את הנזק הפוטנציאלי שגורם אלגוריתם מוטה. אלגוריתם שנמצא בשימוש הולך וגובר אמור לחזות אם הורים יפגעו בילדיהם, ומבסס את קביעתו על הנתונים הזמינים. אם להורה יש הכנסה נמוכה והשתמש בשירותי בריאות הנפש הממשלתיים, עולה דירוג הסיכון של אותו הורה. אך לגבי הורה אחר, שיכול להרשות לעצמו ביטוח בריאות פרטי, לא יהיה נתון זה זמין. פעילים למען שקיפות אלגוריתמית טוענים כי אלגוריתם כזה יוצר הטיה לא מכוונת נגד הורים בעלי הכנסה נמוכה.

למרבה האירוניה, באימוץ מערכות מודרניות אלה, מציפות הקהילות מחדש דיונים ציבוריים מהעבר, שבהם נקרא תיגר על הטיותיהם ומניעיהם של מקבלי החלטות אנושיים. רשידה ריצ'רדסון מארגון AI Now, שמסייע לממשלות שפועלות למען שקיפות אלגוריתמית, אומרת שהצוותים שקובעים אם קיימת הטיה במחשבים צריכים לכלול לא רק אנשי מדע וטכנולוגיה, אלא גם מומחים משפטיים שמכירים את ההיסטוריה העשירה של חוקים ותביעות משפטיות בכל הנוגע לזיהוי ותיקון הטיה, כמו למשל בחוקי התעסוקה והדיור.

המחוקקים חוששים מנטל רגולטורי

בתחילת 2018 הפכה עיריית ניו יורק לגוף הממשלתי הראשון בארה"ב שאישר חוק שנועד להתמודד עם הטיית האלגוריתמים שבהם משתמשת העירייה. בסופו של דבר החוק ירד מהשולחן והוחלט על הקמת צוות משימה שיבדוק ויציע המלצות בסוגיה. הדוח הראשון של הצוות צפוי להתפרסם בדצמבר.

הרגולטור שאחראי על הביטוח במדינת ניו יורק הבהיר בתחילת ינואר כי לצורך קביעת העמידה בתנאי ביטוח ותעריפי הפוליסה, מונעים החוקים הקיימים מחברות הביטוח להפלות מבוטחים על בסיס גזע, דת, מוצא לאומי ועוד - וכי חוקים אלה תקפים גם לגבי אלגוריתמים שעוברים הכשרה על בסיס רישומי בעלות על יחידות דיור, שימוש באינטרנט ומקורות נתונים לא קונבנציונליים אחרים.

במדינת וושינגטון יזמה קבוצה דו-מפלגתית הצעת חוק שנועדה "להבטיח שימוש הוגן, שקוף ואחראי במערכות תומכות החלטה" מצידה של הממשלה, וזאת באמצעות קביעת הנחיות לרכישה ולשימוש במערכות תומכות החלטה. הצעת חוק דומה מוצעת גם במסצ'וסטס.

הצעת החוק באילינוי הרחיקה לכת ומוצע במסגרתה כי בתחומים כמו קביעת קבלת אשראי או שכירת עובדים, אסור שאלגוריתמי חיזוי "יכילו מידע שמתייחס לגזע או לאזור מגוריו של המועמד". בניסוח הנוכחי, עשוי חוק כזה להשפיע על חברות פרטיות.

חברות מסחריות מתחילות להפנים כי יצטרכו להיות כפופות לרגולציה. רנטלוג'יק (Rentlogic), חברה שמדרגת דירות בעיר ניו יורק על בסיס קריטריונים של בריאות ובטיחות, העסיקה את אוניל לצורך ביקורת אלגוריתם במטרה לבנות אמון מול הלקוחות ולהתכונן לרגולציה עתידית. לדברי מנכ"ל החברה ייל פוקס, ייתכן שבסופו של דבר יהיה סמנכ"ל ציות בחברות גדולות כמו גוגל.

המחוקקים לוקחים בחשבון את הנטל הרגולטורי שיושת על החברות. חוק השקיפות האלגוריתמית המקורי של העיר ניו יורק רוכך, לדברי ג'יימס ואקה, חבר מועצת העיר לשעבר ומחבר החוק, מכיוון שחלק מפקידי העירייה חששו להבריח את חברות התוכנה. חששות דומים בגופים ממשלתיים מקטינים את הסיכויים שהצעת החוק בוושינגטון תאושר במתכונתה הנוכחית, לדברי שנקר נריאן, לשעבר עורך דין של מיקרוסופט ואמזון, שמנהל כעת את פרויקט הטכנולוגיה והחופש באיגוד האמריקאי לזכויות האזרח בוושינגטון.

במקרה של לומיס, האלגוריתם התומך בקביעת גזרי דין היה חשוף בסופו של דבר לביקורת בצורת הערעור שהגיש לומיס לבית הדין העליון במדינה. עורכי דינו, התובעים והעדים המומחים שלהם דנו בהצדקות לגזר דינו. בית המשפט החליט כי גזר הדין עלה בקנה אחד עם גזר דין שהיה נותן שופט אנושי גם ללא עזרה מהאלגוריתם. לומיס ישתחרר מהכלא השנה.

עוד כתבות

מלון הר ציון ירושלים - 7 כתבות הנדל"ן שעשו את השבוע / צילום: איל יצהר, גלובס

מרד בהרצליה, זעם המתווכים ועזריאלי עולים לי-ם. כותרות הנדל"ן

בכמה מכר שלמה אליהו את מלון הר ציון בירושלים לעזריאלי, למה 300 מתווכים הגיעו השבוע לבית ציוני אמריקה בת"א, פרטים ראשונים על ההגרלה העשירית של מחיר למשתכן וגם: תוכנית ההתחדשות העירונית הגדולה של קרית ים קיבלה אור ירוק

שי באב"ד/ תצלום: ליאור מזרחי

סערת הגירעון: מנכ"ל האוצר ייפגש עם היועמ"ש, צפוי לדרוש חקירה פלילית של ההדלפות מדוח המבקר

שי באב"ד פנה למנדלבליט בבקשה לפגישה דחופה, על רקע היחסים העכורים בינו לבין שאול מרידור, במטרה להחזיר את משרד האוצר לפעילות תקינה • הדברים מגיעים על רקע חשיפות "גלובס" של טיוטת המבקר העוסקת בגירעון ובהסרת פרקים הנוגעים למחלוקות הקשות בין בכירים באוצר

נפגעי הקורקינטים והאופניים החשמליים - 11 בדצמבר 2019

אתמול באיכילוב: 7 נפגעי תאונות קורקינט ואופניים חשמליים

מדי יום "גלובס" ובית החולים איכילוב מדווחים על מספר הנפגעים מתאונות שבהן מעורבים כלי רכב חשמליים: אופניים וקורקינטים

לי אור אברבך / צילום: איה אפרים

ממשיך להשתנות: שורה של מינויי בכירים ושינויים מבניים בחטיבת הרדיו של תאגיד השידור הציבורי "כאן"

ל"גלובס" נודע כי עומר פרנקל ימונה לעורך בכיר "כאן קול המוזיקה", תומר מולוידזון לעורך בכיר "כאן 88" ורועי דלמדיגו לעורך בכיר "כאן גימל" ● בנוסף ימונה קובי מנורה למפיק הראשי של תחנות המוזיקה

רג'פ טאיפ ארדואן והמט דבוטאולו / צילום: Umit Bektas, רויטרס

ההתנגדות לארדואן גוברת: ראש ממשלת טורקיה לשעבר יציג מחר את מפלגתו

משלחת נציגים מטעם מפלגת השלטון ניסתה להניא את אהמט דבוטאולו מהחלטתו ● בעקבות הסירוב הגביר ארדואן את ביקורתו נגד עריקי המפלגה

סוסון ים שנתקע בכוס חד פעמית שהושלכה לים  / צילום: נועם קוטלר

סוף סוף: עיר בישראל תאסור שימוש בכלים חד-פעמיים בחוף הים

כך לפי החלטת מועצת העיר אילת ● הקנס הצפוי לעובר על החוק - עד 730 שקל

הבורסה בת"א / צילום: איל יצהר

ת"א צמצמה את הירידות בנעילה לאחר הציוץ של טראמפ

המדדים המובילים ננעלו בטריטוריה הירוקה לאחר יום אדמדם ● טראמפ צייץ כי ארה"ב וסין קרובות ל"הסכם סחר גדול" ● לאומי פרטנרס במגעים לרכוש 20% מחברה בת של פוקס, מנייתה של חברת האופנה זינקה ביותר מ-7%

יגאל גלאי / צילום: רפי דלויה

מיזוג בענף יחסי הציבור: גלאי תקשורת וגל תקשורת מאחדים כוחות

החברה החדשה תיקרא גל-גלאי ותנוהל על ידי יגאל גלאי וגל בייסברג

ליאור שליין והשר גלעד ארדן / צילומים: ישראל סלם, תמר מצפי

פרשנות: הכירו את החוקר שדורש מפוליטיקאים להפסיק לשקר ויש לו גם תוכנית שתגרום לזה לקרות

ד"ר אלעד אורג מהקריה האקדמית אונו מציע להטיל על עובדי ציבור חובה משפטית עקרונית לומר את האמת לציבור • המקרה של ליאור שליין והשר גלעד ארדן כמשל ● פרשנות

אנדרו אביר / צילום:ליאור מזרחי

אנדרו אביר: "צירוף ישראל למדד WGBI יביא לזרם השקעות של 3-5 מיליארד ד', אין לנו שום בעיה לרכוש את כל הסכום"

על רקע לחצי הייסוף הצפויים מכניסתה של ישראל למדד ה-WGBI, בבנק ישראל מרסנים את הציפיות להתחזקות השקל, לצד המשך גל רכישות המט"ח בשוק מאז הודעת הריבית האחרונה

ד"ר נורית הראל / צילום: יח"צ

יו"רית ד"ר פישר חוברת לדונרשטיין במרוץ לנשיאות התאחדות התעשיינים

אם שמואל דונרשטיין ייבחר לתפקיד הנשיא הבא של התאחדות התעשיינים, ד"ר נורית הראל תכהן כסגניתו

טראמפ וארדואן / צילום: Peter Nicholls, רויטרס

החלטה היסטורית בארה"ב: הסנאט הכיר רשמית ברצח העם הארמני

ההחלטה, שהינה בעיקר מוסרית והצהרתית, מגיעה על רקע מערכת היחסים הרעועים בין ארה"ב וטורקיה בשנים האחרונות ובמיוחד בעקבות מעורבותה של טורקיה במלחמת האזרחים בסוריה באחרונה ● על פי דיווחים בטורקיה, בעקבות החלטת הסנאט, טורקיה הוציאה בשעה האחרונה זימון לשגריר ארה״ב באנקרה לשיחת נזיפה

שופט העליון, נועם סולברג / צילום: אוריה תדמור

דעה: מהפכת הסבירות של השופט נעם סולברג

אף שהכרזת שופט העליון סולברג לא הופנמה, בקרוב נחוש את גלי ההדף • מי שעתיד לשמש כנשיא העליון מבקש לעצב מחדש את יחסי הממשלה ובתי המשפט, ולאפשר לדרג הנבחר לעשות את מה שהפך בשנים האחרונות ללא מקובל: למשול • וגם, מה ניתן ללמוד מראיונות הפרישה של שי ניצן ● פרשנות

יורם נוה, מנכ"ל כלל ביטוח / צילום: כדיה לוי

המכרז המוסדי בהנפקת המניות של כלל ביטוח: ביקוש ער שמוביל לדילול של סדר גודל של כ-20% של בעלי מניות קיימים

במכרז המוסדי של הנפקת המניות החדשות של כלל ביטוח התקבלו ביקושים ערים בהיקף 900 מיליון שקל והחברה תגייס 650 מיליון שקל ● כלל תגייס עוד עד 868 מיליון שקל בכתבי התחייבויות נדחים

זהר גנדלר, ניזאר מישעאל, תמר קידר הריס, כאיד אבו עייאש וגארי ג'ייקובס  / צילום: הבא טורעאני

מדעי החיים האמיתיים: מי הגיעו למפגש של הקרן היהודית-ערבית NGT3

וגם: היו"ר וידמן והמנכ"ל פרשר ממזגים מחלקות בבנק מזרחי טפחות

 

משה כחלון ואביגדור ליברמן /  עמית שאבי - ידיעות אחרונות

פרשנות: הבחירות יורגשו בקרוב מאוד בכיס של כולנו, וגם למה כחלון הוא לא באמת קורבן

המדינה תיכנס בסוף החודש לתקציב המשכי ● זה קרה לא פעם בעבר, אבל הפעם השמיכה קצרה יותר מאי–פעם ● פרשנות

מארק צוקרברג / צילום: ג'ושוע רוברטס, רויטרס

"בית המשפט העליון של פייסבוק": החברה משקיעה 130 מ' דולר בגוף שיעביר עליה ביקורת

פייסבוק תשקיע 130 מיליון דולר כדי להקים גוף עצמאי אשר מטרתו היא לבקר כיצד החברה מסננת את התוכן שלה

שרגא ברוש / צילום: שלומי יוסף

"מקווה שמחקריו רציניים יותר": מדוע הגיש נשיא התאחדות התעשיינים תלונה לנשיא הטכניון?

חודש וחצי לפני הבחירות לנשיא ההתאחדות, המרוץ בין שמואל דונרשטיין וד"ר רון תומר מתחמם ● הבעת תמיכה בדונרשטיין מצד פרופ' אהוד קינן, נשיא הפקולטה לכימיה בטכניון, מסעירה בימים האחרונים את ההתאחדות והובילה את הנשיא היוצא שרגא ברוש להגיש תלונה נגד פרופ' קינן

ההצבעה על פיזור הכנסת/  צילום: Gettyimages/Anadolu Agency

פרשנות - באישון לילה, בלי ליברמן, דרעי ובנט ותחת איום של כחול לבן: כך פוזרה הכנסת בפעם השלישית בתוך שנה

ב–3:00 לפנות בוקר הופיע נתניהו לפתע במליאה, השתתף בהצבעות וחמק מיד לאחר מכן ● תחת הלחץ בוועדה המיוחדת שהתכנסה להכין את חוק פיזור הכנסת לקריאה שנייה ושלישית התקבלו החלטות שאף אחד לא חלם לאשר ● רק צדיק אחד הצביע נגד הגדלת מימון המפלגות ● פרשנות

הצבעה בקריאה הראשונה על חוק פיזור לכנסת ה-22 / צילום: דוברות הכנסת - גדעון שרון, יח"צ

ממימון מפלגות עד כלים חד פעמיים - כמה אתם שולטים בחדשות?

מתי יתפטר נתניהו מתפקידיו כשר, איפה נבחרה ראשת הממשלה הצעירה ביותר בעולם ואת מי הכי חיפשו השנה הישראלים בגוגל? 10 שאלות מסיפורים שהיו השבוע בחדשות