גלובס - עיתון העסקים של ישראלאתר נגיש

האם הצעות חוק ימנעו מאלגוריתמים לשלוח אנשים לכלא?

מדעני נתונים וארגוני זכויות האדם מתריעים מפני ההטיה המובנית באלגוריתמים שקובעים הכול: החל מזיהוי של הורים אלימים וכלה בעלות פוליסת הביטוח שלכם ● המחוקקים החלו לעסוק בנושא, אך עדיין מתנהלים בזהירות בגלל חשש לפגוע בחברות עסקיות

האלגוריתמים סובלים מהטיה. לא בטוח שאפשר להפוך אותם להוגנים / צילום:  Shutterstock
האלגוריתמים סובלים מהטיה. לא בטוח שאפשר להפוך אותם להוגנים / צילום: Shutterstock

בית המשפט העליון של ויסקונסין דן באפריל 2016 בטענה ייחודית: עורכי דינו של אריק לומיס, שהורשע שלוש שנים קודם לכן בניסיון הימלטות מהמשטרה ובגניבת רכב, טענו כי הופלה לרעה על ידי אלגוריתם.

מקור הקשר בין האלגוריתם לקביעת גזר הדין הוא בתוכנה פופולרית של חברת אקוויבנט (Equivant), שבה נעזר השופט. התוכנה, COMPAS, מיועדת לניהול פרופיל עבריין לצורך ענישה חלופית, והיא לוקחת בחשבון גורמים שונים, בהם למשל שימוש בסמים, גיל הנאשם בעת מעצרו הראשון והאם יש לו תמיכה משפטית. זאת כדי לקבוע את מידת הסבירות שהנאשם יחזור לבצע עבירות גם בעתיד. לפי הנחיות גזר הדין, השופט לא נדרש להטיל עונש מאסר, אך התוכנה טענה כי קיימת סבירות שלומיס ישוב לבצע עבירות בעתיד, והשופט גזר עליו שש שנות מאסר.

אלגוריתם הוא אך ורק סט של הוראות לגבי הדרך שבה צריך לבצע פעולה מסויימת. ההוראות נעות מתוכניות מחשב פשוטות, מוגדרות ומיושמות בידי בני אדם, ועד למערכות בינה מלאכותית מורכבות בהרבה, שעוברות הכשרה באמצעות הררי נתונים. בכל מקרה, ההטיה האנושית משפיעה גם על האופן שבו הן מתוכנתות. מערכות זיהוי תווי פנים עוברות הכשרה באמצעות חשיפה לתמונות של מיליוני פנים, אך הבעיה מתחילה כשמאגרי התמונות אינם מספיק מגוונים. כך נפגעת רמת הדיוק של התוכנה בזיהוי תווי פנים של אנשים בעלי צבע עור שונה מזה שאליו נחשפה התוכנה לעתים תכופות יותר. מומחים חושבים שהדבר עלול לגרום לגרום לכוחות משטרה להתמקד באופן לא פרופורציונלי באנשים חפים מפשע שכבר זוכים ליחס חשדני יותר, אך ורק בשל הופעתם החיצונית.

"אפליה תהיה, השאלה מי מופלה"

COMPAS הפכה למוקדו של דיון סוער ולמושא של ניתוחים קפדניים מצדם של עיתונאים בפרופבליקה (מרכז לעיתונות עצמאית ללא מטרות רווח) וחוקרים באוניברסיטאות שונות, כולל סטנפורד, הרווארד וקרנגי מלון שבפיטסבורג - ואף בחברת אקוויבנט עצמה. באופן מתסכל, המסקנות לא בהכרח חד-משמעיות. לא משנה כמה אנו יודעים על האלגוריתמים ששולטים בחיים שלנו, קשה - וייתכן שאף בלתי אפשרי - להפוך אותן ל"הוגנות". אך למרות ההטיה של האלגוריתמים, לפחות הם עקביים. כשמדובר בבני אדם, ההטיה משתנה באופן ניכר מאדם אחד למשנהו.

ממשלות ועסקים משתמשים באלגוריתמים כדי להגדיל את מידת העקביות, לחסוך כסף או כדי לנהל הליכים מורכבים. ואולם התלות בהם מתחילה להדאיג פוליטיקאים, פעילים לזכויות האדם וחוקרי טכנולוגיה. חברה אנושית שבה נעשה שימוש תכוף כדי לסייע בביצוע תהליכים מתאפיינת לעתים קרובות בניצול לרעה ובהטיה: מי מקבל את הג'וב, מי ייהנה משירותים ממשלתיים, למי יוצעו שיעורי הריבית הטובים ביותר, וכמובן - מי יילך לבית הסוהר.

"יש אנשים שמדברים על להיפטר מההטיה של אלגוריתמים, אבל זה לא מה שאנחנו עושים - אפילו במצב אידיאלי", אומרת קתי אוניל, לשעבר אנליסטית כמותית בוול סטריט, שהפכה למה שהיא עצמה מתארת כמבקרת אלגוריתמים, וכתבה את הספר "נשק השמדה מתמטית" (Weapons of Math Destruction).

קתי אוניל,/ GRuban / צילום: אתר ויקיפדיה

"אין כזה דבר כמו כלי אבחנה נטול הטיה, שקובע מי ראוי לג'וב, מי ראוי ליחס הזה. האלגוריתם מפלה מעצם מהותו, אז השאלה היא איזו הטיה אתה רוצה שתהיה לו?", מוסיפה אוניל.

קשה מאוד לקבוע אילו הטיות נמצאות בתוך אלגוריתם, וקשה עוד יותר לאמוד את הנזק הפוטנציאלי שגורם אלגוריתם מוטה. אלגוריתם שנמצא בשימוש הולך וגובר אמור לחזות אם הורים יפגעו בילדיהם, ומבסס את קביעתו על הנתונים הזמינים. אם להורה יש הכנסה נמוכה והשתמש בשירותי בריאות הנפש הממשלתיים, עולה דירוג הסיכון של אותו הורה. אך לגבי הורה אחר, שיכול להרשות לעצמו ביטוח בריאות פרטי, לא יהיה נתון זה זמין. פעילים למען שקיפות אלגוריתמית טוענים כי אלגוריתם כזה יוצר הטיה לא מכוונת נגד הורים בעלי הכנסה נמוכה.

למרבה האירוניה, באימוץ מערכות מודרניות אלה, מציפות הקהילות מחדש דיונים ציבוריים מהעבר, שבהם נקרא תיגר על הטיותיהם ומניעיהם של מקבלי החלטות אנושיים. רשידה ריצ'רדסון מארגון AI Now, שמסייע לממשלות שפועלות למען שקיפות אלגוריתמית, אומרת שהצוותים שקובעים אם קיימת הטיה במחשבים צריכים לכלול לא רק אנשי מדע וטכנולוגיה, אלא גם מומחים משפטיים שמכירים את ההיסטוריה העשירה של חוקים ותביעות משפטיות בכל הנוגע לזיהוי ותיקון הטיה, כמו למשל בחוקי התעסוקה והדיור.

המחוקקים חוששים מנטל רגולטורי

בתחילת 2018 הפכה עיריית ניו יורק לגוף הממשלתי הראשון בארה"ב שאישר חוק שנועד להתמודד עם הטיית האלגוריתמים שבהם משתמשת העירייה. בסופו של דבר החוק ירד מהשולחן והוחלט על הקמת צוות משימה שיבדוק ויציע המלצות בסוגיה. הדוח הראשון של הצוות צפוי להתפרסם בדצמבר.

הרגולטור שאחראי על הביטוח במדינת ניו יורק הבהיר בתחילת ינואר כי לצורך קביעת העמידה בתנאי ביטוח ותעריפי הפוליסה, מונעים החוקים הקיימים מחברות הביטוח להפלות מבוטחים על בסיס גזע, דת, מוצא לאומי ועוד - וכי חוקים אלה תקפים גם לגבי אלגוריתמים שעוברים הכשרה על בסיס רישומי בעלות על יחידות דיור, שימוש באינטרנט ומקורות נתונים לא קונבנציונליים אחרים.

במדינת וושינגטון יזמה קבוצה דו-מפלגתית הצעת חוק שנועדה "להבטיח שימוש הוגן, שקוף ואחראי במערכות תומכות החלטה" מצידה של הממשלה, וזאת באמצעות קביעת הנחיות לרכישה ולשימוש במערכות תומכות החלטה. הצעת חוק דומה מוצעת גם במסצ'וסטס.

הצעת החוק באילינוי הרחיקה לכת ומוצע במסגרתה כי בתחומים כמו קביעת קבלת אשראי או שכירת עובדים, אסור שאלגוריתמי חיזוי "יכילו מידע שמתייחס לגזע או לאזור מגוריו של המועמד". בניסוח הנוכחי, עשוי חוק כזה להשפיע על חברות פרטיות.

חברות מסחריות מתחילות להפנים כי יצטרכו להיות כפופות לרגולציה. רנטלוג'יק (Rentlogic), חברה שמדרגת דירות בעיר ניו יורק על בסיס קריטריונים של בריאות ובטיחות, העסיקה את אוניל לצורך ביקורת אלגוריתם במטרה לבנות אמון מול הלקוחות ולהתכונן לרגולציה עתידית. לדברי מנכ"ל החברה ייל פוקס, ייתכן שבסופו של דבר יהיה סמנכ"ל ציות בחברות גדולות כמו גוגל.

המחוקקים לוקחים בחשבון את הנטל הרגולטורי שיושת על החברות. חוק השקיפות האלגוריתמית המקורי של העיר ניו יורק רוכך, לדברי ג'יימס ואקה, חבר מועצת העיר לשעבר ומחבר החוק, מכיוון שחלק מפקידי העירייה חששו להבריח את חברות התוכנה. חששות דומים בגופים ממשלתיים מקטינים את הסיכויים שהצעת החוק בוושינגטון תאושר במתכונתה הנוכחית, לדברי שנקר נריאן, לשעבר עורך דין של מיקרוסופט ואמזון, שמנהל כעת את פרויקט הטכנולוגיה והחופש באיגוד האמריקאי לזכויות האזרח בוושינגטון.

במקרה של לומיס, האלגוריתם התומך בקביעת גזרי דין היה חשוף בסופו של דבר לביקורת בצורת הערעור שהגיש לומיס לבית הדין העליון במדינה. עורכי דינו, התובעים והעדים המומחים שלהם דנו בהצדקות לגזר דינו. בית המשפט החליט כי גזר הדין עלה בקנה אחד עם גזר דין שהיה נותן שופט אנושי גם ללא עזרה מהאלגוריתם. לומיס ישתחרר מהכלא השנה.

עוד כתבות

טראמפ ומודי / צילום: 	Aijaz Rahi, AP

פרשנות - נמסטה, טראמפ: דלהי בוערת בזמן שנשיא ארה"ב מבקר את מודי

נרנדרה מודי הכין קבלת-פנים מלכותית לטראמפ במדינת הולדתו, בצפון מערב הודו ● בינתיים, בדלהי הבירה האדמה רעדה: שוטרים מתנגשים עם מפגינים, מפגינים מתנגשים עם מפגינים, והנכס הגדול ביותר של הודו המודרנית מתנפץ לרסיסים: הרמוניה בין-עדתית

מתחם אלביט מערכות בנתניה / צילום: בר אל

סקיי ליין נגד אלביט: "הונתה ונישלה אותנו מפרויקט משותף, כשהיא משתמשת בידע שלנו"

חברת העגורנים טוענת כי אלביט והעובד שלה ליאור אביטן נישלו אותה מחלקה בפרויקט משותף לבניית עגורן אוטונומי שנועד להקטין תאונות עבודה ● לדברי סקיי ליין, אביטן השתמש בידע שצבר בעבודה משותפת כדי להקים חברה-בת של אלביט שהוא הבעלים העיקרי בה, תוך שהוא משתמש בשמה

רועי ורמוס / צילום: שלומי יוסף

נוקד קפיטל סגרה את גלובל אקוויטי ונפרדה מרוקח

חברת ניהול קרנות הגידור של רועי ורמוס ושלומי ברכה סוגרת את הקרן לאחר כשנתיים של פעילות, במהלכן צברה נכסים שנאמדים בכ-200 מיליון שקל

יוני פארן / צילום: איל יצהר, גלובס

טלנובלה בהמשכים: יוני פארן עוזב את דורי מדיה-דרסט

בשוק מעריכים כי פארן יקים חברת הפקה חדשה - באופן עצמאי או בשיתוף-פעולה עם גורמים אחרים

עובדת של חברת "אינסטקארט" באוהיו / צילום: LISA BAERTLEIN, רויטרס

לידיעת וולט ואובר: צו של בית משפט בארה"ב מאיים על המודל העסקי של "כלכלת החלטורה"

שופט בסן דייגו קבע כי אפליקציית משלוחי מכולת מסווגת באופן שגוי את עשרות אלפי עובדיה כפרילאנסרים, בעוד שמדובר למעשה בשכירים ● מדובר בצעד משפטי ראשון באכיפת חוק חדש, שיכול בהמשך לחייב את כל המעסיקים לספק לעובדי "כלכלת החלטורה" זכויות עבודה בסיסיות

חולה קורונה בסין/ צילום: רויטרס CHINA DAILY

הקורונה בדרך לתפוח הגדול: בארה"ב נערכים להתפשטות משמעותית של הנגיף

עד כה נספרו בארה"ב 14 מקרי הידבקות בלבד ● מנהלת המרכז האמריקאי הלאומי לחיסון, בקרה ומניעת מחלות: "השאלה איננה אם הנגיף יתפשט בארה"ב - אלא מתי"

נטע כהן/ צילום:   צילום: דיאגו מיטלברג

"לפני 8 שנים היו כמה מאות אנשי הייטק בב"ש. היום רק בפארק ההייטק יש 3,000 – עם משכורת גבוהה פי 3 מבמשק"

נטע כהן, מנכ"ל חברת מסחור הידע של אוניברסיטת בן גוריון, פורש אחרי 16 שנה בתפקיד ● בראיון ל"גלובס" הוא מסביר מדוע העדיף לחתום על הסכמים גמישים ורבים שיקדמו שיתופי-פעולה עם התעשייה ופיתוח של אזור הדרום, במקום להתעקש על מקסום רווחים

חשבוניות  / צילום:  Shutterstock/ א.ס.א.פ קרייטיב

האחים קבלני העפר והתשתיות שישלמו מיליונים במסים על חשבוניות פיקטיביות

בשנים 2007 עד 2012 עסקו האחים בהשכרת ציוד לעבודות עפר ופיתוח באמצעות מספר חברות ● בתקופה זו, פעלו האחים, בין היתר, להוצאת חשבוניות מס על שם שתי חברות בבעלותם לגורמים שונים בגין השכרת ציוד וביצוע עבודות שונות כביכול

נחום ביתן / צילום: שלומי יוסף

איתות חיובי מקבוצת יינות ביתן: החלה להעביר תשלומים לספקיות המזון

ל"גלובס" נודע כי יינות ביתן החלה להעביר בימים האחרונים את תשלומי החובות לספקיות הגדולות והבינוניות ● עם זאת, ישנן עדיין ספקיות בינוניות וקטנות שטרם קיבלו תשלום ● המהלך מתבצע על אף קשיי התזרים והעובדה שהחברה טרם חתמה על עסקה עם גוף שיעניק לה מימון

צעירה בבייג'ין יוצאת ממרכול בסין עם מסיכה בגלל נגיף הקורונה / צילום: Frank Augstein , Associated Press

משרד הבריאות: לשקול נחיצות נסיעות לחו"ל; שבים מאיטליה יחויבו בבידוד

החל מיום ראשון: החוזרים מאיטליה ייכנסו לבידוד ● משרד הבריאות: יש להימנע מקיום כנסים בינלאומיים בישראל ● אולימפיאדת טוקיו 2020 בסכנת ביטול ● רשויות הבריאות בארה"ב נערכות למגפה אפשרית

תמיר פרדו, ראש המוסד לשעבר / צילום: יחצ

תמיר פרדו: הסירו את אפליקציית אלקטור - סכנה לביטחון המדינה

ראש המוסד לשעבר אמר בשיחה עם ד"ר ענת בן דוד מהאוניברסיטה הפתוחה כי השימוש באפליקציית אלקטור מהווה "סכנה אמיתית ומוחשית" לביטחון ישראל ● אלקטור בתגובה: "השתלחות פראית ולא אחראית; האפליקציה אינה מהווה סכנה לאיש"

שמואל סלבין, יו"ר קרן הריט  סלע קפיטל / צילום: איל יצהר, גלובס

"מחיר הדירה לבדו הוא פרמטר של אווילים. השכר עלה וכדי לקנות נכס צריך לעבוד פחות שנים לעומת לפני עשור"

שמואל סלבין, יו"ר קרן הריט סלע קפיטל, משוכנע שערך הנדל"ן עוד יעלה, מעריך כי הריבית הנמוכה כאן כדי להישאר, ומתנגד להשקעה בפרויקטים לשכירות לטווח ארוך ● ומה בקשר למשרדים? "כל ראש עיר צריך לעבוד בלהביא תעסוקה לעיר שלו"

רני צים / צילום: איל יצהר

מידאס של שוק ההון: רני צים ממשיך לרכוש חברות במשבר והמניות מזנקות

חברת מרכזי הקניות הבורסאית של צים צפויה לרכוש את השליטה במידאס, הפועלת עימה להקמת מרכזים מסחריים ביישובים ערביים, תמורת 50 מיליון שקל ● צים: "אמנם בימים אלה, על רקע בהלת הקורונה, השוק קצת מבולבל, אבל זו עסקה אסטרטגית לטווח ארוך"

אסנת רונן / צילום: ישראל הדרי

עסקת הוט-פרטנר: נשיא אלטיס נפגש עם יו"רית פרטנר אסנת רונן

דקסטר גואי, נשיא אלטיס ויד ימינו של פטריק דרהי בעל השליטה בהוט, הגיע לישראל לצורך קידום המו"מ לרכישת פרטנר ● החלטת דירקטוריון פרטנר צפויה בשבועות הקרובים

עבודה בסטארט אפ / אילוסטרציה: shutterstock, שאטרסטוק

דוח חדש: כמה משלמות חברות ההייטק הבינלאומיות ואיפה עובדים צעירים מוצאים עבודה?

18.5 אלף משרות פנויות יש בהייטק, שיעור הנשים בתעשיית ההייטק עומד במקום, ויש יותר ערבים וחרדים בתעשייה ● דוח חדש של רשות החדשנות וסטארט-אפ ניישן סנטרל על ההון האנושי מציג את ההזדמנויות ואת הבעיות בתעשיית ההייטק

עו"ד חנן פרידמן - יוני רייף / צילום: יחצ

מנכ"ל לאומי: "בתרחיש פסימי קיצוני התפשטות הקורונה תאט את צמיחת המשק לפחות מ-2% בשנת 2020"

כך אומר חנן פרידמן, מנכ"ל הבנק, שסיכם את 2019 עם רווח נקי של כ–3.52 מיליארד שקל ושיפור בתשואה להון שעלתה ל–9.8% ● מחלק דיבידנד בהיקף 297 מיליון שקל לצד רכישה עצמית של מניות ב–700 מיליון שקל ● גידול של 3.6% חל בהיקף האשראי שהבנק מעמיד לציבור, לכ–282.5 מיליארד שקל

רונן מיילי / צילום: יח"צ

משלושה יוצא אחד: פיץ', בלוסטון ומיוזיק ת"א מקימים משרד תוכן, הפקות ופרסום

מדובר בחיבור לא שגרתי בענף הפרסום המנסה לתת מענה ל"פרסום החדש", שבו מחפשים את הצרכן לא רק דרך אמצעי הפרסום המסורתיים אלא גם ע"י יצירת חוויות בעלות ערך וניסיון להשפיע באמצעות משפיענים - תחום המצוי בפריחה

אבנר מנדלסון, מנכ"ל בנק לאומי ארה"ב / צילום: איל יצהר, גלובס

טבלת שיאני השכר בבורסה בת"א ל-2019: כמה קיבל מנכ"ל לאומי ארה"ב

המנכ"לית הקודמת של לאומי, רקפת רוסק עמינח, הסתפקה אשתקד בפחות ממחצית הסכום שקיבל מנדלסון ● בצמרת טבלת מקבלי השכר הגבוה בבורסה בת"א עמד שבתאי אדלסברג, מנכ"ל אודיוקודס

ג'ייסון גרינבלט בוועידת ההשקעות OurCrowd2020 / צילום: OurCrowd

שליח הבית הלבן למזרח התיכון לשעבר ג'ייסון גרינבלט מצטרף לפלטפורמת השקעות ישראלית

שליח הבית הלבן למזרח התיכון לשעבר, ג'ייסון גרינבלט, יצטרף לפלטפורמת ההשקעות OurCrowd מירושלים כשותף שיתמקד בבנית קשרים בין הקרן לבין גורמים באיזור המזרח התיכון והמפרץ הפרסי

אברהם נניקשווילי / צילום: שלומי יוסף, גלובס

ננקשווילי מערער על הרשעתו; הפרקליטות מבקשת להחמיר בעונשו

אברהם נניקשוולי - שהורשע במתן שוחד של 400 אלף דולר לשר המנוח בנימין בן-אליעזר ונידון ל-14 חודשי מאסר - מערער הן על הרשעתו והן על עונשו ● מנגד, הפרקליטות תערער על קולת העונש ● העליון הורה על עיכוב ביצוע העונש עד להכרעה בערעורים