Cloudflare תסנן סורקי אינטרנט המשרתים חברות בינה מלאכותית

Cloudflare הכריז על תוכניות לחסום אוטומטית סורקי אינטרנט בשימוש מעורב המשלב אתרים עבור מנועי חיפוש ופועלים כסוכני AI ומאמנים בו זמנית. החברה הציעה בעבר ללקוחותיה את היכולת האופציונלית למנוע מהסורקים לגרד את האתרים שלהם לצ'אטבוטים של AI, אך כעת עמדתה של Cloudflare הופכת הגנתית יותר כברירת מחדל.

"כעת, כשרוב התעבורה באינטרנט היא לא אנושית, עלינו ללכת רחוק יותר ולפעול מהר יותר כדי שמערכת אקולוגית בת קיימא תוכל לצוץ", שיתף מתיו פרינס, מנכ"ל ומייסד שותף של Cloudflare בהצהרה. "הכלים והשותפויות החדשים של Cloudflare מעניקים לבעלי אתרים נראות מוגברת והזדמנויות מסחריות ומועילים לחברות בינה מלאכותית שיש להן בוטים עם כוונה ברורה ושקופה. אנו מקווים ששינויי ברירת המחדל המוצעים שלנו יעודדו סורקים בשימוש מעורב להפריד בין חיפוש משימוש והדרכה של סוכן".

תעבורת אינטרנט נהגה לציין שאנשים צופים במודעות של אתר אינטרנט או משלמים עבור המנויים שלו, אבל הפופולריות של מודלים של AI שיכולים לבקר באתרים מטעם משתמש כדי למשוך מידע מעודכן שיפרה את המערכת הזו. הגישה החדשה של Cloudflare היא ניסיון לאזן מחדש את מערכת היחסים בצורה הוגנת גם לחברות בינה מלאכותית וגם לכל מי שמנהל אתר אינטרנט.

החל מה-15 בספטמבר 2026, לקוחות חדשים ואתרים חדשים ממנויי Cloudflare קיימים כברירת מחדל "כדי לאפשר חיפוש אך לחסום הדרכה ושימוש בסוכן עבור דפים עם מודעות". סורקים מעורבים שאינם נותנים לבעלי אתרים את האפשרות לבחור אם האתר שלהם משמש ל-AI, ייחסמו גם הם בדפים עם מודעות כברירת מחדל. משתמשים עם חשבונות חינמיים יעברו גם הם לברירות מחדל אלה, אלא אם כן הם יבטלו את הסכמתם לפני המועד האחרון של 15 בספטמבר, לפי החברה.

כחלק מהשינויים הללו, Cloudflare משחררת גם גרסה חדשה של תכונת התשלום לפי סריקה שהציגה ב-2025 שאפשרה לאתרים לחסום סורקי אינטרנט בינה מלאכותית כברירת מחדל, אלא אם חברות שילמו כדי לגרד את התוכן שלהן. התכונה נקראת כעת Pay Per Use, ובמקום תשלומי בסיס על האם דף אינטרנט נסרק, Cloudflare אומרת שבעלי אתרים יקבלו תשלום כאשר התוכן שלהם יופיע בתשובות מצ'אטבוטים של AI. ההכרזה מזכירה רק שותפויות עם Ceramic.AI ו-You.com, אך סביר להניח ש-Cloudflare מקווה שחברות בינה מלאכותיות אחרות יצטרפו כאשר לקוחותיה יצטרפו.

מלבד הניסיון בדרך כלל להפוך את היחסים בין אתרים לחברות בינה מלאכותית להוגן יותר, כְּמוֹ TechCrunch הערותנראה שגם Cloudflare מכוונת לגוגל בעקיפין. הודעת החברה מזכירה כי "למנוע החיפוש הגדול ביותר יש גישה לפי 2 יותר מידע מאשר חברות בינה מלאכותית מובילות מכיוון שהן מקשות על הלקוחות להישאר ניתנים לגילוי מבלי שישמשו גם לבינה מלאכותית". הסורק הראשי של גוגל, Googlebot, מוסיף אינדקס אתרים עבור מנועי החיפוש השונים של החברה ואוסף מידע כדי לאמן את תאומים ולהפעיל תכונות בינה מלאכותית כמו סקירת AI ומצב AI. גוגל מאפשרת לאתרים להצטרף לסורק נפרד בשם Google-Extended שסורק רק אתרים לתוצאות חיפוש מסורתיות, אבל אם בעל אתר רצה להיכלל בתוצאות של מצב AI, אבל לא רוצה שהתוכן שלו ילמד את המודלים של גוגל, אין לו אפשרות. המדיניות החדשה של Cloudflare היא ניסיון לאלץ את גוגל וחברות אחרות עם סורקים מעורבים לשנות את הטקטיקה שלהן.