שילמתי לסוכני Copilot המובחרים של מיקרוסופט כדי שיעשו את העבודה שלי – הם היו גרועים בזה בביטחון

עקוב אחר ZDNET: הוסף אותנו כמקור מועדף בגוגל.

נקודות המפתח של ZDNET

• סוכני Copilot בנויים כדי לסייע במחקר וניתוח.
• בבדיקות שלי, הסוכנים האלה לא הניבו תוצאות שימושיות.
• פתרון בעיות עם Copilot בזבז זמן ולא פתר דבר.

מיקרוסופט מוציאה כמות מטורפת של כסף על תכונות הבינה המלאכותית שלה, בונה מרכזי נתונים ומעניקה רישוי מודלים של שפה גדולים מ-OpenAI, Anthropic ואחרים, בזמן שהיא גם מנסה לבנות חלופות פנימיות משלה.

המטרה, המונעת היישר מהחלק העליון של התרשים הארגוני של רדמונד, היא להפוך את השילוב של Windows ו-Microsoft 365 ל"מערכת הפעלה פעילה", המסוגלת לבצע את המשימות שממררות את חיי החברה: כתיבת תזכירים, בניית מצגות, ארגון פגישות ואוטומציה של משימות שגרתיות.

כמו כן: Work IQ הוא ההימור הגדול של מיקרוסופט ב-IT של ארגונים ארגוניים, ויש לי שאלות

אבל האם ההשקעות הללו משתלמות? נראה שמפתחים מרוצים בדרך כלל מהרווחים בפרודוקטיביות שהם רואים מכלים כמו Claude Code ו-GitHub Copilot, אבל הסוכנים העובדים בתחום העסקי לא נראים כמעט מוכשרים.

במהלך השבועות האחרונים, ניסיתי להשתמש בתכונות הבינה המלאכותית ב-Microsoft 365 ו-Windows עבור מגוון משימות עבודה יומיומיות. Copilot מראה מדי פעם הבזקים של כשירות, אבל לעתים קרובות יותר, התוצאות שאני רואה הן תערובת של מידע מוטעה, הזיות ומבוי סתום מבזבז זמן.

הרשה לי לחלוק איתך את החוויות האחרונות שלי.

"אני מצטער, אד, אני לא יכול לעשות את זה"

מיקרוסופט מטרידה אותי כבר חודשים לשדרג לתוכנית Microsoft 365 Premium החדשה שלה, הכוללת מגבלות גבוהות יותר על שימוש ב-AI וקומץ סוכנים בלעדיים. למען המדע, שילמתי את ה-10$ כדי לשדרג חשבון לא בשימוש למשך חודש כדי שאוכל לנסות אותם בעצמי.

התחלתי עם סוכן האנליסט, הזנתי אותו בעותק של הגיליון האלקטרוני שבו אני משתמש כדי לעקוב אחר ההכנסות וההוצאות של משק הבית שלנו וביקשתי עזרה כיצד לשפר את העיצוב שלו. אחרי כמה הלוך ושוב על מה שניסיתי להשיג, הוא הציע כמה הצעות שימושיות להדק נוסחאות, איחוד כמה טבלאות כפולות וביטול כמה דפים מיותרים, לסיכום עם הצעה מודגשת לבנות לוח מחוונים באמצעות נוסחאות וטבלאות ציר בלבד.

גַם: מעקב אחר דגמי בינה מלאכותית: מודל ההיגיון הראשון של מיקרוסופט בינה מלאכותית מגיע

"אם אתה רוצה," אמר לי קוטייס, "אני יכול לשרטט א פריסת לוח מחוונים נקייה (תאים ומקטעים מדויקים) מותאם לנתונים שלך כדי שתוכל לבנות אותם תוך 15 דקות בערך."

חשבתי שסוכנים אמורים לעשות את העבודה הזו בשבילי? אז שאלתי, "האם אתה יכול לבנות עבורי את קובץ האקסל בפועל או שאני צריך לעשות את זה בעצמי?"

כמובן, זה אמר לי. הייתה רק מגבלה קטנטנה אחת: אני אצטרך ליצור את אחד הצירים בעצמי, אבל המטלה הזו תימשך פחות מ-10 שניות.

קדימה, אמרתי.

דקה או שתיים לאחר מכן, Copilot אמר לי, "יצרתי את חוברת העבודה ששונתה. הורד אותה כאן." אז זה נתן לי קישור ל [sandbox:/mnt/data/Personal_accounts_modified.xlsm]. זה הקישור המדויק, סוגריים והכל. זה לא היה ניתן ללחיצה.

ארגז חול? מה לעזאזל…? "כן – זה תלוי בי," התוודה קופילוט. "הנתיב הזה של ארגז החול אינו ניתן ללחיצה בממשק שלך, אז לא יכולת להוריד אותו. תודה שקראת את זה… אני הולך ליצור מחדש את הקובץ ולוודא שהוא יגיע כקובץ מצורף אמיתי להורדה בצ'אט (כדי שתראה כרטיס קובץ הניתן ללחיצה, לא נתיב)."

גַם: מודל ההיגיון הראשון של מיקרוסופט הוא אחד מ-7 בינה מלאכותית ששוחררו זה עתה ב-Build – מה שאנחנו יודעים עד כה

כמה ניסיונות מאוחר יותר, קופיילוט ויתר. "הקובץ מוכן. עם זאת, אני צריך להיות שקוף: ממשק הצ'אט שלך אינו מעובד כרגע קבצים מצורפים להורדה בצורה נכונה (בגלל זה ראית את הנתיבים הבלתי שמישים של "ארגז חול" קודם לכן). אֲנִי עשה צור את הקובץ בהצלחה, אך הוא אינו מופיע כהורדה ניתנת ללחיצה בממשק המשתמש שלך."

הצ'אטבוט המשיך והסביר שהקישור לקובץ עשוי היה לעבוד אם הייתי משתמש ב-ChatGPT. ואחת הדרכים לעקיפת הבעיה שהסוכן הציע היה לעשות ליצור את הקובץ ב-Google Sheets ושלחו לי קישור! איכשהו, אני לא חושב שזה מה שמנהלי המוצר ברדמונד חשבו. (בבקשה אל תספר לסאטיה.)

גַם: MDASH של מיקרוסופט יוצא מהתצוגה המקדימה עם 100+ סוכני AI מיוחדים לציד איומים

פסק דין: יש לי כמה רעיונות טובים לשיפור חוברת העבודה שלי, אבל סוכן Copilot שאמור לעבוד ישירות עם Excel לא באמת יכול לעשות את העבודה בשבילי.

'לאיזו תוכנית ספציפית אתה מתכוון?'

בשלב הבא, ביקשתי מסוכן Microsoft 365 Premium Researcher לתת לי הסבר תמציתי על היתרונות והחסרונות של Microsoft 365 Premium. לא הייתי מוכן לתגובה:

כדי לוודא שאני מכסה בדיוק את מה שאתה צריך: לאיזו תוכנית ספציפית אתה מתכוון ב-"Microsoft 365 Premium"? א) Microsoft 365 Personal, ב) Microsoft 365 Family, C) Microsoft 365 Business Premium, או D) השוו בין תוכניות הצרכנים (אישית/משפחתית) וציינו בקצרה את Business Premium רק אם רלוונטי.

שיהיה ברור, עבדתי עם אחת מתכונות החתימה של מוצר שמיקרוסופט מקדמת בכבדות, ולא היה לה מושג על מה אני מדבר. תאר לעצמך שאתה מראיין מועמד לעבודה, ואתה אומר, "ספר לי על עצמך", והם עונים "אני לא מכיר אותה."

לאחר שהצעתי קישור לדף המוצר, Copilot נתנה לי סיכום די מופרך של תכונות במנוי החדש, מסוכם מקומץ מקורות צד שלישי. לא הייתי קורא לזה מחקר, וזה בהחלט לא היה עמוק.

"למה אני בטוח שזו הדרך הנכונה"

הדבר הכי משעשע בעיניי בצ'אטבוטים של AI הוא שהם כל כך בטוחים בתשובות שלהם. וכשאתה מציין שההוראות שהם הרגע נתנו לך לא עבדו, הביטחון הזה אף פעם לא מתבלט מכיוון שהם מציעים אפשרויות חדשות.

הבוקר, ניסיתי להתחבר למחשב ברשת המשרדית שלי באמצעות לקוח שולחן העבודה המרוחק, אך קיבלתי שגיאת אישור: "שם השרת באישור שגוי".

גַם: כיצד מיקרוסופט מחקה את מעקות הבטיחות בדגמי בינה מלאכותית פופולריים – עם הנחיה אחת בלבד

לאחר מספר דקות של פתרון תקלות בעצמי, החלטתי שהגיע הזמן לנסות "vibe-sysadmin" שלי באמצעותו בעזרת Copilot.

"התיקון פשוט," ענה Copilot בביטחון. כל מה שהייתי צריך לעשות זה לאלץ את Windows בתוך ה-VM ליצור אישור חדש לשולחן עבודה מרוחק. "הנה הדרכים הנקיות והאמינות לעשות זאת."

זה לא עבד. טייס המשנה, ללא חשש, אמר לי שהתוצאה הזו הייתה משמעותית והטרידה שלוש סיבות אפשריות, וסיכם ב"בואו נתקן את זה בצורה נקייה וכירורגי."

לאחר חבורה של פקודות PowerShell ואתחול מחדש, עדיין לא הצלחתי להתחבר, אבל הפעם, זה היה בגלל שגיאת אישור אחרת.

"אה – זה אומר לי בדיוק מה קורה עכשיו," אמר Copilot. אחרי עוד הסבר ארוך, הוא אמר, "בואו נתקן את זה בצורה נקייה".

גַם: נתתי לתכונת הבינה המלאכותית החדשה של Microsoft Edge לקרוא את כל הכרטיסיות הפתוחות שלי – וזה חוסך זמן מחקר מוחלט

ובכן, זה נמשך בערך 20 דקות וחצי תריסר אתחולים מחדש של ה-VM הזה. עם כל כישלון, ל-Copilot הייתה עוד התגלות קטנה של AI.

• "השגיאה הזו אומרת לי משהו מאוד ספציפי…"
• "זה עתה גילית את הסיבה האמיתית…"
• "חצינו לתרחיש האחד שבו Windows לא תתנהג כפי שהתיעוד טוען…"
• "וזה מסביר הַכֹּל ראית…"

אלה לוו בכותרות מודגשות כמו "למה אני בטוח שזו הדרך הנכונה", "למה זה התיקון הנכון" ו"למה זה ההסבר היחיד שנותר".

אף אחד מהתיקונים שהוצעו לא עבד, אז אמרתי לקופיילוט לשתוק. בדקתי מחדש את הגדרות החיבור וניקיתי תיבת סימון אחת בהגדרות החיבור. זה עשה את זה.

למען ההגינות, למדתי קומץ פקודות PowerShell לניהול תעודות, וקיבלתי קורס רענון כיצד Windows מנהל תעודות. אבל הלקח שלמדתי הוא לא לבקש שוב מהקופיילוט את הרמה הזו של פתרון בעיות.

אולי יום אחד Copilot ישיג בינה כללית מלאכותית. בשלב זה, הייתי מסתפק בשכל ישר כללי מלאכותי. ונראה שאפילו התחנה הזו מרוחקת הרבה תחנות מהמקום שבו אנחנו נמצאים עכשיו.