התייחסו לסוכני ה-AI שלכם כאל מתמחים אנושיים נלהבים אך מוטעים – לפני שאתם מאבדים שליטה

עקוב אחר ZDNET: הוסף אותנו כמקור מועדף בגוגל.

נקודות המפתח של ZDNET

• מצא איזון בין ריסון סוכני בינה מלאכותית לעצמאות.
• יש לשזור הקשר וכוונה בפיתוח סוכן.
• שקול את התצורות ואת הנתונים שסוכנים ניגשים אליהם.

סוכני בינה מלאכותית מתפתחים מצ'אטבוטים פשוטים לעובדים דיגיטליים מן המניין המורשים לנקוט בפעולה על יישומים ונתונים. ועם היכולות הללו מגיעות שורה של דאגות אבטחה וממשל.

התייחסו לסוכני הבינה המלאכותית שלכם כאל מתמחים להוטים אך מוטעים, הדורשים פיקוח והכוונה זהה לזה של מתמחים אנושיים, הציעו מומחים בפאנל שהתקיים בפסגת פתיתי השלג האחרונה בסן פרנסיסקו. סוכני AI דורשים הנחיות ספציפיות וניטור זהיר של מנהלים אנושיים.

כמו כן: כיצד לבנות סוכני AI טובים יותר עבור העסק שלך – מבלי ליצור בעיות אמון

סוכן ללא מעצורים יכול להיות בעייתי ביותר, הסכימו חברי הפאנל, המייצגים ספקי אבטחת בינה מלאכותית. "אתה יכול להגיד לסוכן לקנות לך נעליים, ולפני שאתה יודע את זה, הוא קנה לך מכונית", אמר Mayank Agarwal, מייסד ו-CTO של Resolve AI.

איפוק, הקשר וכוונה

"אתה צריך לחשוב טוב מאוד על אילו הרשאות אתה נותן לסוכן. אתה לא יכול פשוט לצפות מסוכן להישאר על הישר והצר. אתה צריך לשים את האילוצים האלה מסביב כדי להגביל את מה שהוא מסוגל לעשות".

לצד האיפוק, ההקשר והכוונה הן מילות המפתח ליצירת סוכנים וניהולם. "זה לא מספיק רק לדעת מה הסוכן הזה נוצר כדי לעשות. אתה גם צריך לדעת דברים כמו סמכותו של מי הוא פועל ומה הוא הולך לעשות, למשל, עם הנתונים שהוא ניגש אליו", אמרה ננסי וואנג, סמנכ"לית הטכנולוגיה של 1Password.

כמו כן: מה שתשלם עבור סוכני AI יהיה משתנה מאוד ובלתי צפוי

אנשי מקצוע צריכים לזרוק את ספר החוקים הישן לפיתוח תוכנה, שכן בנייה ופריסה של סוכנים כיום שונה מאוד משיטות תוכנה מהעבר הקרוב, ציין אגרוול.

"אם תחזור רק שנתיים אחורה, מהנדס ידע בדיוק איך הם הולכים לחבר ממשקי API בין מערכות שונות", אמר. "כל העניין היה מאוד צפוי: א' יתקשר ל-API B, B יעשה את זה עם הנתונים האלה, ויקרא ל-C, ויעשה את זה עם הנתונים האלה. בעולם הסוכן, זה לגמרי בלתי צפוי. הסוכן חוט את החומר תוך כדי תנועה. תן לו מטרה, תפתור את הבעיה הזו, והוא יוצא החוצה ומנסה את כל הנתיבים שיש לו גישה אליהם".

גישה זו יכולה להוביל לסוגים חדשים של נושאים שאנשי מקצוע ומנהלים אינם מוכנים אליהם. הסוכן "מדבר עם כלים שמסוגלים לעשות דברים בשמך, אז אתה לא יודע אם הכלים האלה מחלצים נתונים", אמר אגרוואל. "הסוכן עשוי לקרוא מכלי ולהשתמש בכלי אחר כדי לכתוב אותו למקום שבו הוא לא אמור להיות."

הספקטר של הצללים בינה מלאכותית

דאגה זו מעלה את רוח הרפאים של בינה מלאכותית בצל, הפועלת מחוץ לטווח הראייה. "היה לנו לקוח שהיו לו 12 מופעים של OpenClaw במסגרת שלו, עם גישה להזנות API, קוד מקור וקבלן שמשתמש בטלגרם כדי לתקשר", אמר ג'ייסון מריק, סגן נשיא בכיר למוצר ב-Tenable. "מה יכול להשתבש, נכון?"

גַם: סוכני בינה מלאכותית של כאוס? מחקר חדש מראה כיצד בוטים המדברים עם בוטים יכולים ללכת הצידה במהירות

כתוצאה מהבעיות הללו, הבנת מה הסוכנים עושים מאחורי הקלעים יכולה להיות אתגר. יעלו שאלות כמו "מי בעצם נקט פעולה נגד המערכת הזו? האם מדובר באדם? האם זה חשבון שירות? או שזה סוכן?" אמר וואנג. "הצוות שלך כנראה לא יודע, או שאין ודאות של 100% לתשובה הזו. כי היום, סוכנים נראים כמו בני אדם, אבל הם גם יכולים להיראות כמו חשבון שירות, כי יש להם את כל ההרשאות שלך."

לכן, יש צורך באיזון בין ממשל לגישה, שכן בינה מלאכותית היא כלי רב עוצמה לפרודוקטיביות וחדשנות שחייב להיות מסוגל לפעול באופן עצמאי. "אתה לא רוצה פשוט לחסום הכל או חומת אש", ייעץ וואנג.

הצורך הזה באיזון גם מסביר מדוע פיקוח אנושי עמוק הוא חיוני. "הסתכל על חלקי המשתמש שהעובדים יוצרים – דרך קופיילוט, קלוד צ'אט או ג'מיני", ייעץ מריק. "תסתכל על התצורות שלהם. האם AI מוגדר בצורה שגויה? לאיזה סוג של נתונים הוא ניגש? ולהיות מסוגל לנקוט בפעולה על זה. כמו כן, תסתכל על ההנחיות עצמן. עם מה ההנחיות מתקשרות?"

שורה תחתונה: הוראות ספציפיות

אזור זה הוא המקום שבו מעקות בטיחות ושיטות עבודה מומלצות של זהות מסורתית הם חיוניים, אמר וואנג. הסיכון הגדול ביותר יגיע "מסוכן שיש לו אישור יתר עם אישורים ארוכי שנים".

גַם: האם מתחיל באמת יכול לקודד אפליקציה? ניסיתי את הסמן והחזרה כדי לברר

האתגר הוא עיצוב ביטחון וממשל סביב מה שהם "ישויות לא דטרמיניסטיות", המשיך וואנג. "זה עניין של לאפשר להם להיות יצירתיים, אבל גם ליישם ערכות הוראות מסורתיות בעצם בצורת SDK. אתה רוצה פקדים צפויים, אבל גם, אתה לא רוצה להגביל אותם עד כדי כך שזה כבר לא יביא לך רווחי פרודוקטיביות."

השורה התחתונה של אנשי מקצוע להקשיב היא שסוכנים, כמו מתמחים, זקוקים ל"הנחיות מאוד מאוד ספציפיות", אמר וואנג. "לפעמים הם עדיין סוטים מהנתיב הרצוי. בין אם אתה חושב על סוכנים שלטוניים ובין אם אתה חושב על עקבות סוכנים מלאים חוזרים לנראות מלאה, לתיקון ולוודא שאתה מגדיר את הכוונה הנכונה מההתחלה – והכוונה הזו חייבת להימשך בכל שלב, בכל פעולה שהסוכן נוקט".