הצעה לקובץ טקסט בפורמט Markdown בכתובת /llms.txt, שמציג למודלי שפה ולסוכנים תקציר של האתר ורשימת קישורים חשובים. לפי המפרט בכתובת llmstxt.org, הכותרת הראשית עם שם האתר היא החלק היחיד שחובה בו. אחריה בא ציטוט עם תקציר, אפשר להוסיף פסקאות בלי כותרות, ואחר כך סעיפים עם רשימות קישורים. הסעיף Optional מיועד, לפי המוסכמה, למידע משני שאפשר לדלג עליו.

גוגל משתמשת ב-llms.txt?

לא. במדריך של גוגל לאופטימיזציה לתכונות AI בחיפוש כתוב שאין צורך ליצור קבצים לקריאת מכונה, קבצי טקסט ל-AI או Markdown כדי להופיע בחיפוש של גוגל, כולל התכונות הגנרטיביות שלו, כי חיפוש גוגל עצמו לא משתמש בהם, ושאפשר להתעלם מקבצי AI מיותרים כמו llms.txt. לכן הקובץ לא ישפיע על הדירוג בגוגל או על הופעה ב-AI Overviews.

אז למה ליצור אותו?

הקובץ הוא הצעה של הקהילה ולא תקן שמחייב מערכת כלשהי. אין לנו אישור רשמי שסורקי החיפוש של ספקי ה-AI הגדולים קוראים אותו. הוא זול ליצירה, ויכול לשמש כלי עבודה וסוכנים שמבקשים אותו במפורש, למשל כשמשתמש מצביע עליו, אבל אל תצפו שהוא יעלה את הנראות או את מספר הציטוטים שלכם.

מה ההבדל בין בוט חיפוש לבוט אימון?

בוט חיפוש, כמו OAI-SearchBot, Claude-SearchBot ו-PerplexityBot, בונה אינדקס כדי להציג ולצטט אתרים בתשובות. בוט אימון, כמו GPTBot ו-ClaudeBot, אוסף תוכן שעשוי לשמש לאימון מודלים. אפשר לחסום אימון ולהישאר בחיפוש: OpenAI, למשל, מפרידה בין OAI-SearchBot ל-GPTBot ומציינת ש-GPTBot אחראי רק על אימון.

חסימת Google-Extended מורידה אותי מחיפוש גוגל?

לא. לפי הדף של גוגל על הסורקים שלה, Google-Extended לא משפיע על הכללת האתר בחיפוש גוגל ואינו אות דירוג. הוא קובע אם התוכן ישמש לאימון מודלי Gemini ולביסוס תשובות באפליקציית Gemini וב-Vertex AI.

robots.txt חוסם גם בקשות של משתמשים לעוזר AI?

לא תמיד. OpenAI מציינת ש-ChatGPT-User פועל לפי בקשת משתמש ולכן כללי robots.txt אולי לא יחולו עליו, ו-Perplexity מציינת ש-Perplexity-User בדרך כלל מתעלם מ-robots.txt מאותה סיבה. חסימה אמינה של בקשות כאלה דורשת חסימה בשרת או בחומת אש, לפי כתובות ה-IP שהחברות מפרסמות.

אפשר להחליף את ה-robots.txt הקיים בקובץ שנוצר?

עדיף לא. הבלוק שנוצר מכיל רק כללים לבוטים של AI. אם יש בקובץ שלכם כללים אחרים, כמו נתיבי ניהול או מפת אתר, הוסיפו את הבלוק אליו. סורק שיש לו קבוצה משלו בקובץ לא קורא את הכללים של User-agent: , ולכן נתיבים שאסור לסרוק צריך לחזור בכל קבוצה, וזה מה שהכלי עושה בעבורכם.

כלי חינמי

מחולל llms.txt ו-robots.txt לבוטים של AI

עודכן ונבדק מול המקורות: 25.10.2026

הכלי נבנה ומתוחזק בידי AITERRA, סוכנות דיגיטל ישראלית. מי אנחנו · יצירת קשר

ממלאים שם, תיאור וכמה קישורים ומקבלים קובץ llms.txt לפי המפרט. בוחרים אילו בוטים של AI להכניס ואילו לחסום ומקבלים בלוק robots.txt מוכן. הכל בדפדפן, ובלי הרשמה.

מה הקבצים האלה עושים ומה לא

robots.txt הוא הכלי שבאמת קיים כדי לשלוט בסורקים: סורק מכבד אותו או לא, אבל הוא הערוץ שחברות ה-AI עצמן מתעדות. llms.txt הוא הצעה לתקציר קריא למודלים. הוא לא מחליף את robots.txt, אינו מגביל גישה, וגוגל מצהירה במפורש שהיא לא משתמשת בו. מי שמצפה שהקובץ יגדיל ציטוטים בתשובות AI יתאכזב, ומי שרוצה סדר ושליטה צריך להתחיל מ-robots.txt.

בוט חיפוש, בוט משתמש ובוט אימון

הכלי מחלק את הבוטים לשלוש קבוצות, כי ההחלטה לגביהן שונה:

חיפוש: OAI-SearchBot של OpenAI, Claude-SearchBot של Anthropic, PerplexityBot ו-Bingbot. חסימה מוציאה אתכם מהתשובות של אותו שירות. OpenAI ו-Perplexity ממליצות לאפשר אותם אם רוצים להופיע.
בקשת משתמש: ChatGPT-User, Claude-User ו-Perplexity-User. הם פועלים כשמשתמש מבקש מהעוזר לקרוא עמוד. חלק מהספקים לא מחייבים אותם ב-robots.txt.
אימון: GPTBot, ClaudeBot, CCBot, ואותות הבקרה Google-Extended ו-Applebot-Extended. חסימה אומרת שהתוכן לא ישמש לאימון, בלי השפעה על הופעה בחיפוש של אותה חברה.

ברירת המחדל בכלי היא להישאר בחיפוש ולחסום אימון. זו החלטה עסקית: מי שמעדיף שהתוכן שלו לא ישמש לאימון חוסם, ומי שרוצה את הנראות המרבית מאפשר הכל. שום חסימה ב-robots.txt אינה אכיפה, והיא מבוססת על מחויבות הסורק.

איך משתמשים בקבצים

מורידים את llms.txt ומעלים לשורש האתר, כך שהוא נגיש בכתובת /llms.txt.
מוסיפים את הבלוק של robots.txt לקובץ הקיים. לא מוחקים כללים שכבר יש שם.
בודקים בדפדפן ששני הקבצים נטענים, ושה-robots.txt לא חוסם את Googlebot בטעות. אפשר לבדוק את מוכנות האתר ל-AI בבודק המוכנות לחיפוש AI.

מקורות

שמות הבוטים והתיאורים נבדקו מול התיעוד הרשמי של כל חברה באוקטובר 2026. חברות מוסיפות ומשנות סורקים, ולכן כדאי לבדוק את התיעוד לפני שמסתמכים על רשימה.

רוצים שהאתר יצוטט בתשובות של ChatGPT, Gemini ו-Perplexity? הקבצים האלה הם החלק הקטן. אנחנו בונים גם את התוכן והמבנה שהמנועים מצטטים.

לשירות קידום בחיפוש AI

שאלות נפוצות על מחולל llms.txt ו-robots.txt לבוטים של AI

הצעה לקובץ טקסט בפורמט Markdown בכתובת /llms.txt, שמציג למודלי שפה ולסוכנים תקציר של האתר ורשימת קישורים חשובים. לפי המפרט בכתובת llmstxt.org, הכותרת הראשית עם שם האתר היא החלק היחיד שחובה בו. אחריה בא ציטוט עם תקציר, אפשר להוסיף פסקאות בלי כותרות, ואחר כך סעיפים עם רשימות קישורים. הסעיף Optional מיועד, לפי המוסכמה, למידע משני שאפשר לדלג עליו.
לא. במדריך של גוגל לאופטימיזציה לתכונות AI בחיפוש כתוב שאין צורך ליצור קבצים לקריאת מכונה, קבצי טקסט ל-AI או Markdown כדי להופיע בחיפוש של גוגל, כולל התכונות הגנרטיביות שלו, כי חיפוש גוגל עצמו לא משתמש בהם, ושאפשר להתעלם מקבצי AI מיותרים כמו llms.txt. לכן הקובץ לא ישפיע על הדירוג בגוגל או על הופעה ב-AI Overviews.
הקובץ הוא הצעה של הקהילה ולא תקן שמחייב מערכת כלשהי. אין לנו אישור רשמי שסורקי החיפוש של ספקי ה-AI הגדולים קוראים אותו. הוא זול ליצירה, ויכול לשמש כלי עבודה וסוכנים שמבקשים אותו במפורש, למשל כשמשתמש מצביע עליו, אבל אל תצפו שהוא יעלה את הנראות או את מספר הציטוטים שלכם.
בוט חיפוש, כמו OAI-SearchBot, Claude-SearchBot ו-PerplexityBot, בונה אינדקס כדי להציג ולצטט אתרים בתשובות. בוט אימון, כמו GPTBot ו-ClaudeBot, אוסף תוכן שעשוי לשמש לאימון מודלים. אפשר לחסום אימון ולהישאר בחיפוש: OpenAI, למשל, מפרידה בין OAI-SearchBot ל-GPTBot ומציינת ש-GPTBot אחראי רק על אימון.
לא תמיד. OpenAI מציינת ש-ChatGPT-User פועל לפי בקשת משתמש ולכן כללי robots.txt אולי לא יחולו עליו, ו-Perplexity מציינת ש-Perplexity-User בדרך כלל מתעלם מ-robots.txt מאותה סיבה. חסימה אמינה של בקשות כאלה דורשת חסימה בשרת או בחומת אש, לפי כתובות ה-IP שהחברות מפרסמות.
עדיף לא. הבלוק שנוצר מכיל רק כללים לבוטים של AI. אם יש בקובץ שלכם כללים אחרים, כמו נתיבי ניהול או מפת אתר, הוסיפו את הבלוק אליו. סורק שיש לו קבוצה משלו בקובץ לא קורא את הכללים של User-agent: *, ולכן נתיבים שאסור לסרוק צריך לחזור בכל קבוצה, וזה מה שהכלי עושה בעבורכם.

עוד כלים

לכל הכלים