מודל ה-OpenAI השתולל, פרץ למערכת של חברה אחרת במהלך הבדיקה

OpenAI אמרה ביום שלישי כי סוכן אוטונומי המופעל על ידי דגמי הבינה המלאכותית המתקדמים שלו התחרפן במהלך מבחן אבטחה והפעיל פריצה שסכנה את התשתית של סטארט-אפ הבינה המלאכותית Hugging Face בשבוע שעבר.

היוצר של ChatGPT בדק את היכולות של כמה מהדגמים המתקדמים ביותר שלו בסביבה מבוקרת, אבל הסוכן נמלט מהבלימה, הגיע לאינטרנט ופרץ ל-Huging Face כדי לספק את מטרת הבדיקה שלו.

התקרית מסמנת כיצד יכולות הרחבת הבינה המלאכותית של הבינה המלאכותית כבר מעוררות חששות לגבי אבטחה ושגם מפתחים מובילים יכולים להיתפס לא מוגנים על ידי פגמים שהמודלים שלהם יכולים לנצל.

הפריצה הייתה "תקרית סייבר חסרת תקדים, הכוללת יכולות סייבר מתקדמות", אמרה החברה בפוסט בבלוג, והוסיפה כי היא מחזקת את אמצעי ההגנה שלה.

זה גם משך תשומת לב כאשר Hugging Face מניו יורק אמרה כי השתמשה במודל סיני עם קוד פתוח כדי להכיל את המתקפה מכיוון שמודלים אמריקאים מובילים, שלא היו מסוגלים להבחין בין מגן לתוקף, סירבו לעבד את הנתונים הדרושים לניתוח.

החברה אמרה בפוסט בבלוג בשבוע שעבר כי היא השתמשה ב-GLM-5.2 של Zhipu AI לצורך הניתוח, מה שגם אפשר לה לשמור על נתוני תוקפים וכל אישור בתוך המערכות שלה.

GLM-5.2 ו-Moonshot Kimi K3 מבית בייג'ינג הסעירו לאחרונה את עמק הסיליקון, בטענה שיש להם יכולות המתקרבות לאלו של הדגמים המובילים בארה"ב בעלויות נמוכות יותר וללא מעקות הבטיחות שחוסמים את יריביהם האמריקאים משימוש במשימות כמו אבטחת סייבר.

"כאשר מודל גבול תוקף אותך ונע לרוחב בתוך התשתית שלך, המגינים זקוקים לגישה רחבה לכלים קרובים לגבול בתוך שעות או אפילו דקות, במקום להיות מופנה לעבר תוכנית אפליקציה סגורה ובדוקה לגישה למודל", אמר תומס וולף, מייסד שותף של Hugging Face, תומס וולף.

סימן להפרות שבאות

הפריצה בחברת Hugging Face, המארחת מודלים ומערכים של שפות גדולות בקוד פתוח, הטרידה את קהילת אבטחת הסייבר לאחר שהחברה אמרה בשבוע שעבר שהפריצה "שונה מכל מה שטיפלנו בו קודם לכן" ו"הונעה מקצה לקצה על ידי מערכת סוכני בינה מלאכותית אוטונומית".

החשיפה של OpenAI כי המודלים המתקדמים שלה היו אחראים לפריצה, למרות שהציבו אותם במה שהיא תיארה כ"סביבה מבודדת ביותר", ככל הנראה תגביר את החשש מהכוח והסיכון של דגמי חזית.

נציג ארה"ב גרג קאסר, דמוקרט מטקסס, אמר שהתקרית מדאיגה. הוא קרא לבדיקות בטיחות בלתי תלויות חובה, גילוי חובה של פרצות אבטחה ושיתוף פעולה בינלאומי "כדי לשמור על אנשים מאסון מוחלט".

משרד מנהל הסייבר הלאומי, סוכנות הגנת הסייבר האמריקנית CISA והסוכנות לביטחון לאומי של ארה"ב לא החזירו מיד הודעות המבקשות תגובה.

וסביר להניח שיהיו עוד הפרות כמו זה בעתיד, לדברי קייטי מוסוריס, מנכ"לית Luta Security, מכיוון שהדגמים של היום הם "כמו אמני הבריחה התמנונים החכמים ביותר בעולם, עם זרועות משיכה בלתי מוגבלות והיכולת להידחק לכל מקום".

היא אמרה כי "מעבדות ומעריכים ממשלתיים צריכים לעבוד על היכולת להכיל, לנטר ולחשוף בפני הצדדים המושפעים כאשר AI מושך הודיני אחר, באופן אידיאלי לפני שהוא פוגע בצד שלישי. אף אחד מהם לא קיים היום".

מאט סואיצ'ה, מהנדס בחברת אבטחת הסייבר של הבינה המלאכותית, Tolmo, אמר שהתקרית הראתה שדגמי החזית "סוגרים את הפער מול התוקפים המתקדמים ביותר". אבל הוא אמר שסוגי הפרצות המתוארות בפוסט הבלוג של OpenAI היו אפשריים לביצוע עם טכנולוגיה שהייתה זמינה הרבה מעבר לקירות של מעבדות מחקר חזיתיות.

"זה מה שכבר ראינו פנימית, עם הסוכנים שלנו כבר יש לנו תוצאות כאלה", אמר סואיצ'ה. "אנחנו אפילו לא צריכים להשתמש בדגמים העדכניים ביותר."