כדי להופיע בתשובות החיפוש של ChatGPT, האתר צריך להיות פתוח לבוט OAI-SearchBot, וחסימת GPTBot מונעת רק אימון. כאן מקלידים כתובת ובודקים מה robots.txt, השרת ו-Cloudflare מתירים לכל בוט, ואם הטקסט נמצא ב-HTML.
האם ChatGPT יכול לקרוא את האתר שלכם
כדי ש-ChatGPT, Perplexity או AI Overviews של גוגל יצטטו את האתר, בוט צריך קודם להגיע לדף ולקרוא אותו. זה נשמע מובן מאליו, אבל יש ארבע נקודות שבהן זה נעצר, ובדרך כלל בלי שבעל האתר יודע:
- robots.txt. קובץ בשורש האתר שאומר לכל בוט, לפי השם שלו, לאן מותר לו להיכנס. שורה אחת של
Disallow: /תחתUser-agent: *חוסמת את כולם. - השרת וה-CDN. חומת אש, תוסף אבטחה או Cloudflare יכולים להחזיר לבוט 403 או דף אימות, גם כש-robots.txt מתיר לו להיכנס.
- noindex ו-nosnippet. תגיות שאומרות למנוע חיפוש לא להכניס את הדף לאינדקס או לא להציג ממנו טקסט. לפי גוגל, דף צריך להיות באינדקס וזכאי להצגת קטע טקסט כדי להופיע כקישור ב-AI Overviews וב-AI Mode.
- תוכן שנבנה ב-JavaScript. אם הטקסט מגיע לדף רק אחרי שהדפדפן מריץ קוד, רוב הבוטים של AI רואים דף כמעט ריק.
הכלי בודק את ארבעתן מול האתר עצמו. הוא לא שואל מודל אם הוא מכיר את העסק שלכם. בשביל זה יש את המדריך מה ChatGPT אומר על העסק שלכם ואיך לבדוק. וגם כשהכול פתוח, זה רק התנאי הראשון לציטוט, לא הבטחה.
איך לקרוא את התוצאה
- בעיה: משהו שמונע מבוט לקרוא את הדף או לצטט אותו, למשל חסימה של OAI-SearchBot או noindex.
- לבדוק: משהו שעלול לחסום, או שחסר ועוזר, כמו דף אימות של Cloudflare או מפת אתר.
- לידיעה: לא נספר בסיכום. למשל בוטים שאוספים תוכן לאימון, שחסימה שלהם היא החלטה עסקית, ו-llms.txt.
הבוטים של OpenAI, Google, Anthropic ו-Perplexity ומה כל אחד עושה
לכל חברה יש כמה בוטים, ולכל אחד תפקיד אחר. ההבחנה החשובה היא בין שלושה סוגים:
- בוטים של חיפוש, כמו OAI-SearchBot, Claude-SearchBot ו-PerplexityBot. הם קובעים אם האתר יופיע כמקור בתשובות, וחסימה שלהם מוציאה אתכם מהתשובות.
- בוטים שנכנסים בשביל משתמש, כמו ChatGPT-User, Claude-User ו-Perplexity-User. הם פותחים דף כשמשתמש שואל עליו. לפי OpenAI ו-Perplexity, ייתכן שהבוטים שלהן מהסוג הזה לא מצייתים ל-robots.txt, כי הבקשה באה מאדם.
- בוטים של אימון, כמו GPTBot, ClaudeBot ו-CCBot. הם אוספים תוכן לאימון מודלים. לפי OpenAI, חסימה של GPTBot לא מוציאה את האתר מהחיפוש של ChatGPT.
אצל גוגל המצב שונה: אין בוט נפרד ל-AI. AI Overviews ו-AI Mode הם חלק מחיפוש גוגל, ולכן Googlebot הוא שקובע. Google-Extended הוא הרשאה ולא בוט: הוא קובע אם התוכן ישמש לאימון Gemini ולתשובות באפליקציית Gemini, ולפי גוגל אין לו השפעה על חיפוש גוגל ועל הדירוג. איך עסק ישראלי נכנס לתשובות של גוגל, במדריך AI Overviews בגוגל: מה זה אומר לעסק ישראלי.
| בוט | מה הוא עושה | אם חוסמים אותו |
|---|---|---|
| GooglebotGoogle, חיפוש ותשובות | סורק לחיפוש בגוגל. לפי גוגל, הוא גם מה שקובע אם הדף יכול להופיע ב-AI Overviews וב-AI Mode. | הדפים ייעלמו מחיפוש גוגל, וגם מ-AI Overviews ומ-AI Mode. |
| BingbotMicrosoft, חיפוש ותשובות | סורק לחיפוש של Bing. לפי Microsoft, גם Copilot נשען על האינדקס של Bing. | הדפים ייעלמו מ-Bing ומתשובות של Copilot שנשענות על האינדקס שלו. |
| OAI-SearchBotOpenAI, חיפוש ותשובות | מוצא דפים ומציג אותם בתשובות החיפוש של ChatGPT. | לפי OpenAI, האתר לא יוצג בתשובות החיפוש של ChatGPT, לכל היותר כקישור ניווט. |
| Claude-SearchBotAnthropic, חיפוש ותשובות | סורק אתרים כדי לשפר את תוצאות החיפוש ש-Claude מציג. | לפי Anthropic, האתר עלול להופיע פחות, ופחות מדויק, בתשובות החיפוש של Claude. |
| PerplexityBotPerplexity, חיפוש ותשובות | מוצא דפים ומקשר אליהם בתשובות של Perplexity. לפי Perplexity, הוא לא אוסף תוכן לאימון מודלים. | האתר לא יופיע כמקור בתשובות של Perplexity. |
| meta-webindexerMeta, חיפוש ותשובות | סורק אתרים לחיפוש ולציטוטים של Meta AI. | האתר יופיע פחות כמקור בתשובות של Meta AI. |
| ChatGPT-UserOpenAI, כניסה בשביל משתמש | נכנס לדף כשמשתמש מבקש מ-ChatGPT לפתוח אותו או לחפש בו. | ChatGPT לא ייכנס לדף בשביל משתמשים. לפי OpenAI, ייתכן שכללי robots.txt לא חלים עליו, כי הבקשה באה ממשתמש. |
| Claude-UserAnthropic, כניסה בשביל משתמש | נכנס לדף כשמשתמש שואל את Claude שאלה שהדף עונה עליה. | Claude לא ייכנס לדף בשביל משתמשים, ולפי Anthropic זה עלול להקטין את הנראות בחיפוש שמשתמשים מפעילים. |
| Perplexity-UserPerplexity, כניסה בשביל משתמש | נכנס לדף כשמשתמש שואל את Perplexity שאלה. | לפי Perplexity, הבוט הזה בדרך כלל מתעלם מ-robots.txt, כי הבקשה באה ממשתמש. |
| Google-ExtendedGoogle, Gemini | לא בוט נפרד אלא הרשאה: האם תוכן שגוגל סורקת ישמש לאימון Gemini ולביסוס תשובות באפליקציית Gemini וב-Vertex AI. | לפי גוגל, אין לזה השפעה על חיפוש גוגל, על הדירוג ועל AI Overviews. התוכן לא ישמש לאימון Gemini ולתשובות באפליקציית Gemini. |
| GPTBotOpenAI, אימון מודלים | אוסף תוכן לאימון המודלים של OpenAI. | התוכן לא ישמש לאימון. לפי OpenAI, זה לא משפיע על ההופעה בחיפוש של ChatGPT. |
| ClaudeBotAnthropic, אימון מודלים | אוסף תוכן שעשוי לשמש לאימון המודלים של Anthropic. | לפי Anthropic, תוכן עתידי של האתר לא ייכלל בנתוני האימון. |
| anthropic-aiAnthropic, אימון מודלים | שם ישן שמופיע בהרבה קבצי robots.txt. הוא לא מופיע ברשימת הבוטים הנוכחית של Anthropic. | כנראה בלי השפעה היום. החסימה שקובעת לאימון היא של ClaudeBot. |
| CCBotCommon Crawl, אימון מודלים | בונה את הארכיון הפתוח של Common Crawl, שחברות רבות מאמנות עליו מודלים. | הדפים לא ייכנסו לארכיון. אין לזה השפעה על חיפוש. |
| Applebot-ExtendedApple, אימון מודלים | לא סורק דפים. קובע אם תוכן ש-Applebot אסף ישמש לאימון המודלים של Apple. | לפי Apple, האתר עדיין יכול להופיע בחיפוש של Apple, וההגדרה לא משפיעה על הדירוג. |
| meta-externalagentMeta, אימון מודלים | אוסף תוכן לאימון מודלי AI של Meta ולשיפור מוצרים. | התוכן לא ישמש לאימון. לחיפוש של Meta AI יש בוט נפרד, meta-webindexer. |
| BytespiderByteDance, אימון מודלים | הבוט של ByteDance, החברה של TikTok. לפי Cloudflare הוא אוסף נתונים לאימון מודלי שפה. ByteDance לא מפרסמת עליו תיעוד רשמי. | אין לזה השפעה על מנועי החיפוש שבדף הזה. |
robots.txt מומלץ לנראות בבינה מלאכותית
אם המטרה היא להופיע בתשובות של ChatGPT, Claude ו-Perplexity, אלה השורות שכדאי שיהיו ב-robots.txt. בדוגמה בוטי האימון חסומים, וזו בחירה. אחרי בדיקה, הכלי מייצר גרסה לאתר שלכם, עם האזורים שכבר חסמתם ועם אפשרות להשאיר את בוטי האימון פתוחים.
# AI search and answer bots
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /admin
# AI training crawlers
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Bytespider
Disallow: /
User-agent: *
Disallow: /admin
Sitemap: https://www.example.co.il/sitemap.xml- בוט עם קבוצה משלו מתעלם מהקבוצה הכללית. לפי התקן RFC 9309, כשיש בקובץ קבוצה עם השם של בוט, הוא פועל רק לפיה ולא לפי
User-agent: *. לכן בדוגמה השורהDisallow: /adminמופיעה פעמיים. - הכלל הארוך ביותר קובע. כשגם Allow וגם Disallow מתאימים לאותה כתובת, הכלל עם יותר תווים גובר, ובתיקו Allow גובר.
- שגיאת שרת ב-robots.txt חוסמת הכול. אם הקובץ מחזיר שגיאה 5xx, בוטים צריכים להניח שכל האתר חסום. אם הוא מחזיר 404, הם רשאים להיכנס לכל מקום.
- השינוי לא מיידי. לפי OpenAI, לוקח כ-24 שעות עד ששינוי ב-robots.txt משפיע על החיפוש של ChatGPT.
לחסום את בוטי האימון או לא, זו החלטה עסקית. עסק שרוצה שהמודלים יכירו אותו בדרך כלל משאיר אותם פתוחים, ואתר שמוכר את התוכן שלו נוטה לחסום. אם תחסמו את Google-Extended, התוכן לא ישמש גם לתשובות באפליקציית Gemini, אבל האתר ימשיך להופיע בחיפוש גוגל וב-AI Overviews.
מה llms.txt עושה ומה לא
llms.txt הוא קובץ Markdown בשורש האתר, עם סיכום של האתר וקישורים לדפים החשובים, שנועד לעזור למודלי שפה להבין אותו. זו הצעה של ג׳רמי הווארד מספטמבר 2024, לא תקן.
בפועל אין עדות שמנועי AI משתמשים בו. ביוני 2025 כתב ג׳ון מולר מגוגל שאף מערכת AI לא משתמשת היום ב-llms.txt, לפי Search Engine Roundtable. ביולי 2025 אמר גארי איליש מגוגל שגוגל לא תומכת בקובץ ולא מתכננת לתמוך בו, לפי Search Engine Land. אף מערכת חיפוש AI גדולה לא אישרה רשמית שהיא קוראת אותו.
לכן הכלי מציג את llms.txt כ״לידיעה״ ולא כבעיה. אין נזק ביצירת הקובץ, והיא לוקחת כמה דקות, אבל הוא לא תחליף ל-robots.txt פתוח, לשרת שלא חוסם בוטים ולטקסט שנמצא ב-HTML.
למה תוכן שנטען ב-JavaScript לא נראה לבוטים
דפדפן מוריד את ה-HTML, מריץ את ה-JavaScript ובונה את הדף. רוב הבוטים של AI עוצרים בשלב הראשון. Vercel בדקה את התנועה של בוטי AI ברשת שלה ומצאה שאף אחד מבוטי ה-AI הגדולים לא מריץ JavaScript: GPTBot ו-ClaudeBot מורידים קבצי JavaScript אבל לא מריצים אותם. גם Common Crawl כותבת בשאלות הנפוצות שלה שהבוט שלה לא מריץ JavaScript. היוצאים מן הכלל לפי Vercel הם Gemini, שמשתמש בתשתית של Googlebot, ו-Applebot.
המשמעות: אתר שבנוי כאפליקציה שרצה בדפדפן, למשל React בלי רינדור בצד השרת, נראה לבוטים האלה כמעט ריק. גם באתר רגיל חלק מהתוכן יכול להיעלם כך, למשל מחירים, שאלות ותשובות או ביקורות שנטענים אחרי שהדף עולה.
הכלי סופר כמה מילים יש ב-HTML שהשרת מחזיר, בלי להריץ JavaScript, כמו שבוט רואה אותו. בדיקה ידנית: פותחים את הדף, לוחצים Ctrl+U ומחפשים משפט מהדף בקוד המקור. אם הוא לא שם, הפתרון הוא רינדור בצד השרת (SSR), דפים סטטיים או prerendering. מה לכתוב כדי שמנועי AI יצטטו את הדף, במדריך GEO: קידום אתרים בעידן הבינה המלאכותית.
Cloudflare וחסימת בוטים של AI
הרבה אתרים יושבים מאחורי Cloudflare, ושם אפשר לחסום בוטים של AI ברמת הרשת, עוד לפני ש-robots.txt נקרא. ב-1 ביולי 2025 Cloudflare שינתה את ברירת המחדל: כל דומיין חדש נשאל בהרשמה אם לאפשר בוטים של AI, וברירת המחדל היא חסימה.
ההגדרה הישנה נקראת Block AI bots. היא חוסמת בוטים מאומתים שמסווגים כאוספי תוכן לאימון AI, וגם בוטים לא מאומתים שמתנהגים כמותם. לפי התיעוד של Cloudflare, היא מוחלפת ב-15 בספטמבר 2026 בהגדרה AI bot policies, שבה מחליטים בנפרד על שלוש קטגוריות, Search, Agent ו-Training, ולכל אחת בוחרים Allow, Block או חסימה רק בדפים עם פרסומות. דומיינים חדשים מקבלים מאז חסימה של Training ו-Agent בדפים עם פרסומות, ו-Search נשאר פתוח.
כשאחת הקטגוריות מוגדרת לחסימה, Cloudflare יכול גם להוסיף ל-robots.txt בלוק משלו, עם Disallow ל-GPTBot, ל-ClaudeBot, ל-Google-Extended ולבוטים נוספים, ושורת Content-Signal. כך יוצא שבקובץ שבשרת שלכם הכול פתוח, ומה שבוטים מקבלים שונה.
כך קרה גם אצלנו. ביוני 2026 גילינו ש-Cloudflare מחזיר 403 ל-GPTBot, ל-ClaudeBot ול-PerplexityBot ומוסיף ל-robots.txt שורות שחוסמות אותם, בזמן ש-Googlebot קיבל את האתר כרגיל, וה-robots.txt שלנו התיר לכולם להיכנס.
מה הכלי יכול לזהות ומה לא
- מזהה: דף אימות או חסימה של Cloudflare ושל חומות אש מוכרות, את הבלוק המנוהל ב-robots.txt, ושגיאה שמגיעה רק כשהמילה GPTBot מופיעה ב-User-Agent של הבקשה.
- לא מזהה: מה מקבל GPTBot האמיתי. Cloudflare מזהה בוטים אמיתיים לפי כתובות IP וחתימות, והבקשה שלנו לא באה מהכתובות של OpenAI. לכן ״לא מצאנו חסימה״ לא מבטיח שאין.
הדרך לבדוק בוודאות היא בדשבורד של Cloudflare: Security Settings, ואז Configure AI bot policies, או Block AI bots בחשבונות שעוד לא עברו. שם רואים מה מוגדר, ובאירועי האבטחה רואים אם בקשות של בוטים נחסמו.
מקורות
- OpenAI: Overview of OpenAI Crawlers: OAI-SearchBot, ChatGPT-User ו-GPTBot, ההבדל בין חיפוש לאימון, וכ-24 שעות עד ששינוי ב-robots.txt משפיע
- Google: Google’s common crawlers: Googlebot ו-Google-Extended, כולל המשפט ש-Google-Extended לא משפיע על ההופעה בחיפוש גוגל ועל הדירוג
- Google: AI features and your website: מה צריך כדי להופיע כקישור ב-AI Overviews וב-AI Mode, ו-nosnippet, max-snippet ו-noindex
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?: ClaudeBot, Claude-SearchBot ו-Claude-User, ושהבוטים של Anthropic מכבדים את robots.txt
- Perplexity: Perplexity Crawlers: PerplexityBot ו-Perplexity-User, ושהשני בדרך כלל מתעלם מ-robots.txt
- Bing Webmaster: Which crawlers does Bing use?: Bingbot
- Bing Webmaster Blog, ספטמבר 2023: אפשרויות לשלוט בשימוש בתוכן ב-Bing Chat: noarchive ו-nocache
- Apple: About Applebot: Applebot-Extended, ושהוא לא משפיע על ההופעה בחיפוש של Apple
- Common Crawl: CCBot: שם הבוט ואיך חוסמים אותו
- Common Crawl: FAQ: CCBot בודק את robots.txt ולא מריץ JavaScript
- Meta: Web crawlers: meta-externalagent ו-meta-webindexer
- Cloudflare Blog, יולי 2024: Declaring your AIndependence: Bytespider של ByteDance, שאין לו תיעוד רשמי
- Cloudflare Blog, 1 ביולי 2025: Content Independence Day: השינוי בברירת המחדל לדומיינים חדשים
- Cloudflare Docs: Block AI bots: מה ההגדרה חוסמת, וההחלפה שלה ב-AI bot policies ב-15 בספטמבר 2026
- Cloudflare Docs: Managed robots.txt: הבלוק ש-Cloudflare מוסיף ל-robots.txt ושורת Content-Signal
- Vercel, דצמבר 2024: The rise of the AI crawler: בוטי ה-AI הגדולים לא מריצים JavaScript, חוץ מ-Gemini ו-Applebot
- llmstxt.org: ההצעה המקורית ל-llms.txt, ספטמבר 2024
- Search Engine Roundtable, יוני 2025: Google on llms.txt: ג׳ון מולר: אף מערכת AI לא משתמשת היום ב-llms.txt
- Search Engine Land, יולי 2025: Google says normal SEO works for ranking in AI Overviews: גארי איליש: גוגל לא תומכת ב-llms.txt
- RFC 9309: Robots Exclusion Protocol: קבוצות לפי שם בוט, הכלל הארוך ביותר, ומה קורה כש-robots.txt מחזיר 4xx או 5xx
הבוטים, השמות וההגדרות בדף נבדקו מול התיעוד הרשמי של כל חברה ב-23 באוקטובר 2026. החברות משנות את הבוטים ואת ההגדרות מדי פעם, ולכן לפני שינוי גדול כדאי לבדוק שוב את התיעוד.
אנחנו מתקנים את מה שחוסם את האתר בפני ChatGPT, Gemini ו-Perplexity, ובונים את התוכן והסכמה שמנועי AI מצטטים.
קידום ב-AI