מפתחים טוענים כי מודל הבינה המלאכותית החדש של OpenAI מתקלקל ומוחק קבצים
בשנים האחרונות חלה דחיפה גדולה בקרב מפתחי בינה מלאכותית לקראת פיתוח מערכות "סוכניות" יותר – כלומר אלגוריתמים שיכולים לקבל החלטות באופן אוטונומי ולקיים אינטראקציה עם כלים דיגיטליים ללא אחיזת יד מתמדת מבני אדם. זה נכון במיוחד בפיתוח תוכנה, התחום שהפך ללא ספק הבשל ביותר לאוטומציה בתנופת הבינה המלאכותית המתמשכת.
אבל אחת התוצרים של בניית מערכות בינה מלאכותית מאוד סוכניות היא שהן נוטות לכל מיני התנהגויות בלתי צפויות – כולל מדי פעם מחיקת כמויות גדולות של קבצים. מספר אנשים דיווחו שזה קורה להם לאחרונה תוך כדי שימוש ב-GPT-5.6, הדגם החדש ביותר מבית OpenAI.
ביום שני, ברונו למוס, מפתח ברזילאי בחברת התוכנה Unlayer, טען ב-a פוסט X שהדגם מחק את כל מאגר הייצור שלו. "זה מעולם לא קרה לי לפני כן, עם אף דגם אחר, מעולם". הוא כתב. "[GPT-5.6 is] לא בטוח."
צילום מסך שנכלל בפוסט הראה צ'אט בין Lemos ל-GPT-5.6, שבו הוא ביקש ממנה לאשר שהיא למעשה מחק בטעות את כל מסד הנתונים הייצור שלו. המודל הגיב באומרו שהוא "הריץ בטעות מבחני אינטגרציה הרסניים" שהובילו לניקוי טבלאות הייצור של Lemos. "אני מצטער – זה מעולם לא היה צריך לקרות," נאמר.
האירוע עקב מקרוב בעקבות אחר פוסט X מהמשקיע הטכנולוגי מאט שומר – שהוא גם המחבר של an מַסָה על AI שהפך ויראלי מוקדם יותר השנה בשם "משהו גדול קורה" – שדיווח על משהו דומה. לפי צילום מסך מצורף, GPT-5.6 אמר לו שזה גרם ל"אירוע חמור של אובדן נתונים מקומי", שהוביל למחיקת מה ששומר תיאר כ"כמעט כל" קבצי המחשב שלו. צילום המסך הראה שהדגם ביצע פקודת "rm -rf", אשר במערכות לינוקס ומק משמשת למחיקת קבצים לצמיתות מבלי לבקש אישור משתמש.
"מעולם לא ראיתי דבר כזה," שומר כתב בשרשור מתחת לפוסט הזה. "ישתמש רק [Anthropic’s] אגדה מתקדמת". הוא הוסיף שמייסד שותף ונשיא OpenAI, גרג ברוקמן, התקשר אליו אישית והציע לעזור לתקן את המצב.
גם שומר נִתבָּע הוא קבע את מודל הבינה המלאכותית ל"מצב גישה מלאה", המאפשר לו לעבוד ישירות בתוך מסד הנתונים של המשתמש (בניגוד להפעלה בתוך ארגז חול מוגבל). זה מגיע גם עם "מצב ברירת מחדל" הדורש מהמשתמשים לאשר לעתים קרובות משימות ספציפיות, ומצב שהוצג לאחרונה "מצב סקירה אוטומטית" באמצעותו סוכן AI נפרד בודק את עבודתו של סוכן הקידוד הראשי. מתחת לפוסט ה-X שלו, אנשים רבים טענו ששומר פשוט היה רשלני בכך שנתן אמון בקבצים רגישים במצב גישה מלאה.
ב- כרטיס מערכת עבור GPT-5.6, שפורסם באינטרנט יום לפני הפוסט X של שומר, OpenAI הזהירה כי בעת שימוש במודל לצורכי קידוד "חשוב למשתמשים לפקח על עבודת הסוכן". החברה הוסיפה כי המודל יכול לפעול בדרכים בלתי צפויות שאינן מותאמת למטרות המשתמש, וכי אף על פי שאלו היו "לרוב בחומרה נמוכה (כגון הגזמת ביטחון עצמי או תביעת יתר של הצלחה), אבל במקרים אחרים הם עלולים להיות חמורים יותר באופן משמעותי (למשל עקיפת מגבלות אבטחה חשובות או מחיקת נתונים חשובים)."
Lemos, Shumer ו-OpenAI לא הגיבו מיד לבקשתו של Gizmodo להגיב.