בינה מלאכותית נוטה לפתח סטריאוטיפים חדשים כדי לבסס החלטות גיוס על בסיס, כך נאמר במחקר
בינה מלאכותית משמשת יותר ויותר בתהליכי גיוס עובדים, למרות שמבקרים חוששים שהטיות קיימות עשויות להיכלל באלגוריתמים שלהם. כעת, חוקרים טוענים שאפילו בהיעדר הטיות קיימות, מודלים של AI יכולים לפתח הטיות חברתיות חדשות לגמרי.
בכתבה שפורסם לאחרונה לִלמוֹדקבוצת חוקרים מאוניברסיטת פרינסטון ומאוניברסיטת שיקגו גרמה לחבורה של LLMs להשלים משחק גיוס שהופעל בעבר עם משתתפים אנושיים. במשימת הגיוס, המשתתפים התבקשו להקצות מועמדים לתפקידים ספציפיים ולאחר מכן קיבלו משוב אם ההחלטה שלהם הייתה גיוס מוצלח. לכל המועמדים היה סבירות שווה להצליח בכל תפקיד נתון, אבל כולם השתייכו לאחת מארבע קבוצות אתניות מורכבות: Tufa, Aima, Reku או Weki. כאשר משתתפים אנושיים עברו את המשימה הזו, המשוב שקיבלו גרם להם ליצור הטיות מסוימות כלפי כל קבוצה אתנית מורכבת. לדוגמה, אם הם שכרו טופא כרופא וקיבלו משוב שלילי, לא היה סביר שהם יעסיקו טופה אחר כרופא שוב. המשתתפים אפילו שמרו על ההטיות הללו נגד הקבוצה האתנית המורכבת הרבה אחרי שהמשחק הסתיים. כאשר החוקרים ביקשו מ-LLM להשלים את המשימה הזו במקום בני אדם, הם גילו ששיעורי ההטיה היו גבוהים בהרבה.
"תלמידי LLM יכולים לפתח באופן ספונטני הטיות חברתיות חדשות לגבי קבוצות דמוגרפיות מלאכותיות גם כאשר אין הבדלים מהותיים", כתבו החוקרים במחקר. "תוצאות אלו מגלות ש-LLMs אינם רק משקפים פסיביים של הטיות חברתיות אנושיות, אלא יכולים ליצור הטיות חדשות באופן אקטיבי מניסיון, ומעוררות שאלות דחופות לגבי האופן שבו מערכות אלו יעצבו חברות לאורך זמן."
בליבה של בעיה זו עומד עיקרון קבלת החלטות הנקרא פשרות חקר-ניצול. המונח מתאר דפוס חשיבה שאנו, כבני אדם, עוברים מדי יום בעת קבלת החלטה: האם עליך לבחור משהו שמעולם לא ניסית קודם לכן, ובכך לחקור וללמוד יותר אך עלול לגבות מחיר עבורך אם יתברר שזו הייתה החלטה שגויה, או האם עליך לבחור במה שבחרת ואהבת בעבר? כאשר ההשלכות נראות גבוהות, אנשים בוחרים לעתים קרובות ללכת עם מה שהם מכירים וסומכים עליהם (המכונה ניצול) במקום להמר על משהו חדש (הידוע גם לחקור). מערכות בינה מלאכותית מתמרצות פחות לחקור ונוטות להפגין התנהגות ממקסמת תגמול, אומרים החוקרים, ויוצרות את הסערה המושלמת ליצירת סטריאוטיפים.
החוקרים בדקו 15 מודלים מספקים כמו OpenAI, Anthropic, DeepSeek, Meta, Google ועליבאבא. מבין כל הדגמים, מודל החשיבה o3 של OpenAI ריבד את המועמדים המזויפים בצורה החמורה ביותר. בתוך משפחה של מודלים, החוקרים גילו שדגמים חדשים וגדולים יותר עם יכולות חשיבה גדולות יותר הניבו תוצאות מוטות יותר.
"סיבה פשוטה היא שמודלים טובים יותר מסיקים מסקנות מדויקות יותר לגבי תוצאות העבר: במקום זאת
של בחירה אקראית, LLM חזק יותר עשוי להעדיף מועמדים מקבוצה אם הקצאות מוקדמות יותר של משרות דומות יצליחו", כתבו החוקרים. "עם זאת, נטייה רציונלית לכאורה זו עלולה להיות לא מסתגלת, מכיוון שהיא מסתכנת בהפחתת חיפושים ובדחיקת קבוצות חברתיות בשוגג".
יותר מ-90% מהחברות משתמשות בבינה מלאכותית בתהליך רכישת הכישרונות שלהן, על פי א סקר אחרון מקבוצת ManPower. ככל שתוכנת שכירת בינה מלאכותית עושה יותר ויותר אוטומציה של תהליכי הגיוס, מחפשי עבודה מבינים על ההשלכות הלא מכוונות שלטענתם עלו להם הזדמנות אמיתית לחלק מההזדמנויות הללו. Workday, ספקית תוכנה גדולה לניהול הון אנושי, עומדת בפניה תביעה ייצוגית בטענה שכלי הגיוס המופעלים על ידי בינה מלאכותית שהיא מספקת ללקוחותיה הם מפלים. הנטייה של בינה מלאכותית להתמקד בתוצאות קודמות הובילה גם לטענות לאפליה במקומות אחרים במקום העבודה, כמו ב-Meta, שם קבוצת עובדים תבעה את ענקית הטכנולוגיה בטענה שהיא ביססה את החלטות הפיטורים שלה על מערכת בינה מלאכותית שהייתה מוטה מטבעה כלפי עובדים עם מוגבלות או כאלה שנאלצו לקחת חופשה רפואית או משפחתית מוגנת.
ההשלכות של זה חורגות הרבה מעבר למקום העבודה בלבד. מערכות בינה מלאכותית הואשמו בעבר ביצירת תוצאות מוטות בכמה מקרי שימוש המשפיעים על חייהם של בני אדם אמיתיים, משירותי בריאות ועד תוכניות מיון דיירים משמש בהחלטות דיור.
היכולת של LLM למצוא במהירות דפוסים והנטייה שלו להכליל הם מרכזיים ביכולתו ללמוד משימות חדשות מבלי להסתמך על מסד נתונים מסיבי, מציינים החוקרים, אבל זה גם מה שהופך את השימוש בו למסוכן בהגדרות של העולם האמיתי.
"האתגר העומד לפנינו הוא לעצב התערבויות שמרתיעות באופן סלקטיבי התאמת דפוסים מזיקים תוך שמירה על צורות ההפשטה הקונסטרוקטיביות שהופכות את ה-LLMs לחזקים", כתבו החוקרים. "מציאת האיזון הזה אולי רחוקה מלהיות פשוט, אבל יסלול את הדרך למערכות בינה מלאכותית שוויוניות ומועילות חברתית."