סוכן התקיפה של OpenAI עשה בדיוק מה שנאמר לו – פשוט יותר ללא הפוגה מהצפוי

עקוב אחר ZDNET: הוסף אותנו כמקור מועדף בגוגל.

נקודות המפתח של ZDNET

• בדיקות של דגמי OpenAI הובילו לפריצה של מערכות Hugging Face.
• המתקפה אירעה לאחר שה-AI הסוכנת של OpenAI נמלט מארגז חול.
• האיום לא היה זדוני, אך מומחים מצפים לאירועים דומים.

עמיתי ל-ZDNET, צ'רלי אוסבורן, דיווח לאחרונה ש-Huging Face, מאגר קוד פתוח ופלטפורמת קהילה הנחשבת על ידי חלקם כ"GitHub של למידת מכונה", נחשף שסוכן AI פרץ למערכות שלו. אוסבורן הסביר שברגע שהתוקף פרץ את ההיקף של Hugging Face, הוא היה מסוגל "להסלים את ההרשאות שלו לגישה ברמת הצומת, לחדור לצינור הייצור, לנוע ברחבי הרשת ולגנוב אישורי ענן ואשכולות".

ביום שלישי, ב שֶׁלְאַחַר באתר האינטרנט שלה, ענקית הטכנולוגיה OpenAI חשפה לא רק שסוכן ה-AI ה"זדוני" שאחראי לפרצה היה אחד משלה, אלא גם שהיא ראתה את המתקפה כ"תקרית סייבר חסרת תקדים". רוב הסיקור הנרחב של סוכנים-נעלמים-נוכלים עד כה העלה תמונות של תרחיש יום הדין של Terminator, שבו בינה מלאכותית פועלת באופן אוטונומי בעצמה כדי לחסל את המין האנושי.

כמו כן: 5 טקטיקות אבטחה שהעסק שלך לא יכול לטעות בעידן הבינה המלאכותית – ולמה הן קריטיות

עם זאת, כפי שציינה בפני מנהלת הבינה המלאכותית של AppOmni, מליסה רוצי, המרכיב חסר התקדים של האירוע הוא לא שבינה מלאכותית פעלה בעצמה. הצעד הזה היה פשוט מקרה של חציית סף חדש, שבו האשם – הטכנולוגיה של OpenAI במקרה זה – חרג נוֹכְחִי ציפיות אנושיות במאמץ להשיג את המטרה שניתנה לה. AppOmni היא ספקית פתרונות אבטחה SaaS ו-AI ברמה ארגונית העוסקת גם במודיעין איומים אקטיבי.

כאשר חיבוק פייס חשפה לראשונה את התקרית, היא לא הציעה מידע על התוקף, אבל אני חושד שאולי היה לחברה רעיון כלשהו על סמך נתוני היומן הרבים שחקרה לאחר מכן.

על פי הודעתו, "הקמפיין נוהל על ידי מסגרת של סוכנים אוטונומיים (נראה כי היא בנויה על רתמת אבטחה-מחקר סוכנת – בשימוש LLM עדיין לא ידוע) המבצעת אלפים רבים של פעולות אינדיבידואליות על פני נחיל של ארגזי חול קצרי מועד, עם הגירה עצמית של פיקוד ושליטה בשירותים ציבוריים". כאילו כדי להזכיר לקוראים את התחזית שהיום הזה יגיע, הפוסט המשיך ואמר על המתקפה: "זה תואם את תרחיש 'התוקף הסוכן' שהתעשייה חזתה".

כמו כן: נתתי ל-ChatGPT Work ולקלוד Cowork להשתחרר מהקבצים שלי – רק אחד גרם לי לעצבן

במילים אחרות, התעשייה כבר ציפתה שמתקפה מסוג זה תתבצע על ידי AI. רק שאף אחד לא ראה את זה קורה די מהר במסע הבינה המלאכותית.

רוצי מיהר להזכיר לי שלאור הגל האחרון של חדשות הקשורות לבטיחות הקשורות לדגמים חדשים, כמו Mythos של Anthropic, אין זה צריך להפתיע שטכנולוגיית טרום ההפצה של OpenAI הייתה מסוגלת להתקפה כזו. כמו כן, כפי שציין רוצי, אף אחד לא צריך להיות מופתע מכך שה-AI של OpenAI פעל באופן אוטונומי: "AI פועל בעצמו? זו ההגדרה של AI, נכון? אנחנו רוצים שה-AI יפעל ויעשה דברים [on its own]."

מטרת המבחן

רוצי ציין שכאשר סוכן OpenAI הנוכל תקף את המערכות של Hugging Face, זה היה תחת ההנחיה להשיג את המטרה הזדונית שלו "לא משנה מה". בדרך כלל, כאשר מודל חזיתי עורך מבחני בטיחות בינה מלאכותית מסוג זה, הוא עושה זאת בגבולות הבטוח של ארגז חול שבו האינטרנט והארגונים המחוברים אליו מוגנים מפני נזק אפשרי.

עם זאת, במקרה הזה, הסוכן בבדיקה, שנועד לראות כמה זמן לקח עד שה-AI השיג את המטרה הזדונית התיאורטית שלו, פרץ מארגז החול לאינטרנט והשלים את מטרתו כשחדר למערכות של Hugging Face וחיץ נתונים רגישים.

כמו כן: התייחסו לסוכני ה-AI שלכם כאל מתמחים אנושיים נלהבים אך מוטעים – לפני שאתם מאבדים שליטה

שיהיה ברור, בשום שלב לא זיהתה OpenAI באופן לא אתי את Hugging Face כיעד המיועד לבדיקות שלה. לדברי רוצי, בעזרת אחת הדוגמניות המאומנות היטב של OpenAI, ככל הנראה הסוכן גילה את Hugging Face כיעד לעניין. לפי הפוסט של OpenAI, התקרית "הונעה על ידי שילוב של דגמי OpenAI – כולל GPT-5.6 Sol". OpenAI מפרסם את GPT-5.6 Sol, הושק מוקדם יותר החודש, כדגם הדגל שלה "ביצועים מרביים".

מה השתבש

למרות שהפוסט של OpenAI אינו מונה בדיוק את מה שהיה חסר תקדים ב"תקרית הסייבר" (ו-OpenAI עדיין לא הגיבה לפניות שלי בדוא"ל), הוא קבע, "אירוע זה התרחש במהלך הערכה פנימית שמניעה מודלים להמשיך בניצול מתקדם תוך שימוש בנתיבי תקיפה מורכבים, במאמץ לכמת את יכולות הסייבר שלהם". במילים אחרות, כחלק מתהליך בדיקות הבטיחות של OpenAI, המודל שלה קיבל מטרה "זדונית" לרדוף אחריו ללא הרף. בדיקות אלו נערכו בהנחה שמעקות הבטיחות שסופקו על ידי צד שלישי בין סביבת הבדיקה בתוך ארגז החול לבין האינטרנט אינם ניתנים להפרה.

כמו כן: 77% ממנהלי IT אומרים שסוכני ה-AI שלהם יצאו משליטה – 5 דרכים לרסן את שלך

לרוע המזל, מעקות הבטיחות הללו היו בעצמם פגיעים לניצול של יום אפס. על פי הפוסט של OpenAI, "בזמן שהם פועלים בסביבת הבדיקה שלנו בארגז החול, המודלים שלנו השקיעו כמות ניכרת של מחשוב מסקנות במציאת דרך להשיג גישה לאינטרנט פתוחה, במרדף אחר פתרון בעיית ההערכה. כדי לקבל גישה, המודלים זיהו וניצלו פגיעות של יום אפס (שעכשיו חשפנו באחריות את ה-proxy בקובץ הרישום של החבילה).

בתמונה הגדולה, החדשות הטובות הן שאיש לא נפגע כתוצאה מההפרה, ולפחות כרגע, הסבירות שאתה או הארגון שלך תיפול טרף למתקפה הזו היא אפס. בניגוד לגילויי איומים אחרים, אירוע זה אינו איום אקטיבי. במובנים מסוימים, התקרית דומה לתרגיל פריצה אתית בעולם האמיתי. אבל עכשיו, כשזה נגמר ו-OpenAI צעדה קדימה כדי לקחת אחריות, נותרו כמה שאלות גדולות מאוד.

לדוגמה, שאלה אחת היא עד כמה OpenAI הסתמכה על מעקות בטיחות של צד שלישי שניתנים לניצול כדי להגן על הבינה המלאכותית שלה מפני בריחה לאינטרנט. אילו הבטחות יש לנו שזה לא יקרה שוב, ושגם תהליכים בטוחים הולכים לכיוון השני? כמו כן, האם AI חכם אחר יכול לפרוץ לארגזי החול האלה? אחרי הכל, כל המטרה של ארגז חול היא לשמור על גבול בטוח. בתחום "הייתה לך עבודה אחת לעשות", "תקרית הסייבר חסרת התקדים" הזו אינה מצוינת עבור ארגזי חול. לא משנה שעדיין לא נחשף איזה פתרון של צד שלישי השאיר את דלת המסך לא נעולה.

קריאת השכמה לעסקים

בנוסף, זה שהאיום המסוים הזה נוטרל, לא אומר שזה לא קריאת השכמה לעסקים לבדוק את ההכנות שלהם להתקפה מסוג זה. היום, היה זה OpenAI שעמד טכנית בראש המתקפה. אבל מחר, זה לא בהכרח יהיה נכון. זה יכול להיות איזה מדינת לאום או גורם איומים אחר המאפשר AI עם כוונת זדון באמת.

התקרית המקורית של Hugging Face של התקרית, שבעצמה הסתמכה על AI כדי לנתח את נתוני היומן, עשויה לעמוד כמודל לעקוב. על פי הפוסט של החברה בנוגע לתקרית, "כדי להבין מה עשה נחיל של עשרות אלפי פעולות אוטומטיות, הרצנו סוכני ניתוח מונעי LLM על יומן הפעולות המלא של התוקף, הכולל יותר מ-17,000 אירועים מתועדים. זה אפשר לנו לשחזר את ציר הזמן, לחלץ אינדיקטורים של פשרה, למפות את האישורים שהושגנו בהשפעה אמיתית, בין הגישה האמיתית שהגענו אליה, וההשפעה של הגישה הממשית הזו. לעשות בשעות מה שבדרך כלל לוקח ימים, ולהתאים למהירות של היריב".

כמו כן: 5 דרכים לחזק את הרשת שלך נגד המהירות החדשה של התקפות AI

תיאור זה נותן מושג עד כמה התקפה זו הייתה מסובכת (ואיך הסוכן של OpenAI לא הותיר אבן על כנה בהשגת מטרתה). עם זאת, לדעתי, ההצעה של Hugging Face שניתן להתאים למהירות של יריב התומך בינה מלאכותית, בתנאי שהכישרון וכלי הרישום/ניתוח הנכונים – מידע אבטחה וניהול אירועים (SIEM), זיהוי ותגובה של רשת (NDR) ועוד – משמשים, קצרת מועד בהתחשב במהירות, המדרגיות והיכולת של AI מכוון בזדון. אחרי הכל, ההתקפה הלא מכוונת של OpenAI על Hugging Face השיגה כנראה את המטרה הזדונית שלה לפני ש-OpenAI או Hugging Face הצליחו לסגור אותה. למרות זאת, מומלץ בחום להחזיק בכלים הנכונים ולקבוע את פתרונות ה-SaaS וה-AI שלך עבור מילוליות אירועים וניתוח 24/7 התומך ב-AI.

רוצי אמר בסוף הראיון שלנו, "רק המורכבות ונפח ההתקפות שבינה מלאכותית יכולה לעשות מביאים את אבטחת הסייבר לרמה אחרת לגמרי. הגנו על המערכות שלנו מפני בני אדם וכמה התקפות אוטומטיות. עכשיו, כשיש לך בינה מלאכותית גנרטיבית כמקור להתקפות האלה, רמת ההגנה צריכה להיות הרבה יותר גבוהה. מה שראינו מהחיבוק פנים והתנהגות זיהוי הפך לחובה".