llms.txt ו-robots.txt לעידן ה-AI — מה להגדיר ולמה זה חשוב

שני קבצים קטנים בשורש האתר שלכם — robots.txt ו-llms.txt — קובעים איך סורקים אוטומטיים, כולל אלה של מנועי הבינה המלאכותית, רואים את האתר שלכם. הגדרה נכונה שלהם היא מהצעדים הפשוטים והזולים ביותר בקידום לעידן ה-AI. המדריך הזה מסביר מה כל קובץ עושה ומה בדיוק להגדיר.

robots.txt — מה זה ומה תפקידו

robots.txt הוא קובץ טקסט פשוט ב-example.co.il/robots.txt שאומר לסורקים לאילו חלקים באתר מותר להם לגשת. הוא קיים שנים ומשמש בעיקר לחסימת אזורים לא רלוונטיים (עמודי ניהול, חיפוש פנימי, פרמטרים) כדי לא לבזבז את תקציב הזחילה של גוגל.

מה השתנה עם ה-AI

למנועי ה-AI יש סורקים משלהם, וכל אחד עם שם (User-agent) משלו. אתם יכולים להחליט לכל אחד אם לאפשר או לחסום:

• GPTBot — הסורק של OpenAI (ChatGPT).
• ClaudeBot ו-Claude-User — של Anthropic.
• PerplexityBot — של פרפלקסיטי.
• Google-Extended — שולט אם התוכן שלכם משמש לאימון ולתשובות של Gemini ו-AI Overviews (בנפרד מהאינדוקס הרגיל של גוגל).
• OAI-SearchBot — סורק החיפוש של OpenAI.
• anthropic-ai, Claude-SearchBot, ChatGPT-User ואחרים.

מה מומלץ להגדיר — לעסק שרוצה נראות

אם המטרה היא שהעסק יופיע בתשובות של מנועי ה-AI, יש לאפשר לסורקים האלה לגשת. חסימה מבטיחה שלא תופיעו. הגדרה טיפוסית:

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://example.co.il/sitemap.xml
LLMS: https://example.co.il/llms.txt

מה כן לחסום מכולם (גם מגוגל): עמודי ניהול, תוצאות חיפוש פנימי, סלים ותהליכי תשלום, ופרמטרים שיוצרים אינסוף גרסאות. הרחבנו על זה במדריך Robots.txt מוגדר לא נכון.

llms.txt — הסטנדרט החדש

llms.txt הוא קובץ Markdown ב-example.co.il/llms.txt שנותן למנועי AI מפה תמציתית של האתר: מי אתם, מה העמודים החשובים, וקישור אליהם. במקום לצפות מהמנוע לזחול ולהבין את כל האתר, אתם נותנים לו תקציר מסודר. הפורמט:

# Example SEO Agency

> משרד קידום אתרים לעסקים קטנים ובינוניים בישראל.

## עמודים מרכזיים
- [קידום אתרים](https://example.co.il/seo/): המדריך המלא לשירות
- [קידום מקומי](https://example.co.il/local/): קידום לעסקים מקומיים
- [מחירון](https://example.co.il/pricing/): טווחי מחיר ומודלים

## בלוג
- [כמה זמן לוקח לקדם אתר](https://example.co.il/blog/timeline/)
...

הסטנדרט עדיין צעיר ולא כל המנועים משתמשים בו באופן רשמי, אבל העלות להוסיף אותו אפסית והוא כבר נקרא על ידי חלק מהכלים. הכי חשוב: שהוא ייווצר מתוך הנתונים האמיתיים של האתר ויעודכן כשמתווסף תוכן משמעותי.

טעויות נפוצות

• robots.txt של סביבת פיתוח שנשאר בפרודקשן — Disallow: / שחוסם את כל האתר. טעות הרסנית, ונפוצה אחרי העלאת אתר.
• לחסום את סורקי ה-AI מבלי לשים לב — חלק מהתוספים והפלטפורמות עושים את זה כברירת מחדל. אם אתם רוצים נראות ב-AI, בדקו.
• לחשוב ש-robots.txt חוסם אינדוקס — הוא חוסם זחילה. עמוד חסום ב-robots.txt עדיין יכול להופיע בתוצאות (בלי תיאור). לחסימת אינדוקס משתמשים בתגית noindex.
• llms.txt מיושן — נכתב פעם אחת עם כתובות ישנות ולא עודכן אחרי שינוי דומיין או הוספת תוכן.
• לשכוח לעדכן אחרי שינוי דומיין — שני הקבצים כוללים כתובות מקודדות, ומנגנון "החלף-והחלף" במסד הנתונים לא נוגע בהם.

מעבר ל-robots.txt: איך למשוך תשומת לב חיובית ממנועי AI

הגדרת הקבצים היא רק תנאי הכניסה. מה שבאמת קובע אם מנוע AI יבחר לצטט אתכם הוא איך התוכן בנוי מעבר לקבצים האלה. שלושה עקרונות שעובדים בפועל:

• תשובה עצמאית בפסקה אחת — כל סעיף חשוב צריך לעמוד בפני עצמו. אם מנוע שולף פסקה בודדת מהעמוד שלכם, היא צריכה להיות מובנת גם בלי ההקשר שמעליה ומתחתיה. פסקאות שמתחילות ב"כפי שראינו למעלה" או "לכן" קשות לציטוט.
• עובדות ניתנות לאימות — מספרים, תאריכים, טווחים, השוואות מפורשות. מנוע AI "בוטח" יותר בתוכן שאפשר להצליב מול מקורות אחרים, ופחות בטקסט שיווקי כללי.
• עקביות בין העמודים — אם עמוד אחד אומר "3 עד 6 חודשים" ועמוד אחר באותו אתר אומר "כמה שבועות" על אותו נושא, המנוע מזהה סתירה ונוטה לא לצטט אף אחד מהם. שמרו על מסר אחיד בכל האתר.

העיקרון המנחה: קובץ robots.txt פותח את הדלת, אבל תוכן ברור, עקבי ומבוסס הוא מה שגורם למנוע לבחור דווקא בכם מתוך עשרת המקורות שהוא קרא.

איך אנחנו מגדירים את זה ב-Wise Rank

כחלק מהשלב הטכני של קידום אתרים, אנחנו מגדירים robots.txt שמאפשר לסורקי ה-AI ולגוגל לגשת לתוכן החשוב וחוסם רק את הזבל, ומייצרים llms.txt מתוך הנתונים החיים של האתר — עם עדכון כשמתווסף תוכן. פרטים בעמוד קידום ב-AI ו-GEO, או בקשו בדיקת SEO חינם.

סורקי AI מרכזיים — של מי, ומה חסימה עושה

סורק	של מי	חסימה משפיעה על
Googlebot	גוגל (חיפוש)	הדירוג האורגני — לא לחסום לעולם
Google-Extended	גוגל (Gemini, AI Overviews)	שימוש בתוכן שלכם ב-Gemini וב-AIO
GPTBot	OpenAI (אימון)	שימוש בתוכן לאימון מודלים של OpenAI
OAI-SearchBot	OpenAI (חיפוש ב-ChatGPT)	הופעה בתשובות חיפוש של ChatGPT
ClaudeBot / Claude-SearchBot	Anthropic	הופעה ושימוש בתוכן ב-Claude
PerplexityBot	Perplexity	הופעה בתשובות של Perplexity

מה מומלץ להגדיר — לעסק שרוצה נראות

לעסק שהמטרה שלו נראות (רוב העסקים), ההגדרה הנכונה ב-robots.txt היא: לא לחסום את סורקי החיפוש והתשובות של ה-AI. לאפשר במפורש את Google-Extended, OAI-SearchBot, Claude-SearchBot ו-PerplexityBot — אלה הסורקים שקובעים אם תופיעו בתשובות. לגבי סורקי האימון (GPTBot, ClaudeBot) — זו החלטה עסקית: חוסמים אם חשוב לכם שהתוכן לא ישמש לאימון, ומאפשרים אם נראות חשובה יותר. מה שלא עושים לעולם: Disallow: / גורף, או חסימת Googlebot — זה מוחק אתכם מהחיפוש.

מבנה קובץ llms.txt לדוגמה

הקובץ יושב בשורש (הדומיין/llms.txt) וכתוב ב-Markdown פשוט. מבנה טיפוסי: כותרת עם שם העסק ומשפט תיאור; סעיף "עמודים עיקריים" עם קישור ותיאור קצר לכל עמוד ליבה (שירותים, אודות, צור קשר); סעיף "מדריכים ומשאבים" עם הבלוג והמונחון; ולסיום קישור ל-sitemap. הרעיון: לתת למנוע AI מפה נקייה של מה שחשוב באתר ואיך לתאר אותו, במקום שיסתמך רק על זחילה. העלות להוסיף אותו אפסית, והוא כבר נקרא על ידי חלק מהכלים — אין סיבה לא.

איך בודקים שהקבצים תקינים

• robots.txt — פותחים הדומיין/robots.txt בדפדפן. רואים Disallow: / בלי הקשר? יש בעיה. Search Console מציע כלי בדיקה ייעודי שמראה אם כתובת ספציפית חסומה.
• llms.txt — פותחים הדומיין/llms.txt, מוודאים שכל הקישורים עובדים ומחזירים 200, ושאין שם כתובות מהדומיין הישן (אם הייתה הגירה).
• אחרי כל הגירה או שינוי מבנה — לבדוק את שניהם מחדש. שניהם קבצים פיזיים ש-DB search-replace לא נוגע בהם.

זכויות יוצרים מול נראות — איך להחליט

חלק מהעסקים והמו"לים חוסמים את סורקי האימון של ה-AI מטעמי זכויות יוצרים — הם לא רוצים שהתוכן שהשקיעו בו ישמש לאימון מודל מסחרי בחינם. זו עמדה לגיטימית, אבל היא באה במחיר: חסימה גורפת מגדילה את הסיכוי שלא תופיעו גם בתשובות החיפוש של אותם כלים. לרוב עסק קטן שרוצה לידים, האיזון הנכון הוא: לאפשר את סורקי החיפוש/התשובות (הם מביאים תנועה), ולשקול חסימה רק של סורקי האימון הטהורים. למו"ל שהתוכן הוא המוצר — השיקול הפוך.

robots.txt מומלץ לעסק שרוצה נראות — דוגמה

המבנה הבסיסי לעסק שרוצה גם דירוג בגוגל וגם נוכחות בתשובות AI: User-agent: * עם Allow: / ו-Disallow רק לאזורים שבאמת לא צריכים זחילה (עמודי מערכת, ניהול, תוצאות חיפוש פנימיות, סל קניות). שורה נפרדת שמאפשרת במפורש את Google-Extended, OAI-SearchBot, Claude-SearchBot ו-PerplexityBot. ובסוף, Sitemap: עם הכתובת המלאה של ה-sitemap. מה שלא שמים: Disallow: /, חסימת Googlebot, או חסימת נתיבים שבטעות כוללים עמודי תוכן.

טעויות נפוצות ב-robots.txt

• Disallow: / ששרד מסביבת פיתוח — חוסם את כל האתר. הטעות הכי הרסנית, ונפוצה אחרי העלאה לאוויר.
• חסימת /wp-content/ או /assets/ — חוסם CSS ותמונות, וגוגל לא יכול "לראות" את העמוד כמו שצריך.
• לחסום עמוד כדי להוציא אותו מהאינדקס — לא עובד. עמוד חסום ב-robots עדיין יכול להתאנדקס אם יש אליו קישורים. לזה משתמשים ב-noindex.
• נתיב sitemap שגוי או ישן — אחרי הגירה, שורת ה-Sitemap ב-robots לרוב עדיין מצביעה על הדומיין הישן.

מה קורה אם לא מגדירים כלום

אתר בלי robots.txt פיזי מקבל התנהגות ברירת מחדל: כל הסורקים מורשים לזחול על הכול. זה לא אסון — אבל זה אומר שאין שליטה על תקציב הזחילה (גוגל יבזבז אותו גם על עמודי מערכת ותוצאות חיפוש), אין שורת Sitemap: שמכוונת את הסורקים, ואין הצהרה מפורשת לגבי סורקי ה-AI. בלי llms.txt, מנועי ה-AI פשוט מסתמכים על זחילה רגילה. שני הקבצים לא חובה, אבל הם זולים להוסיף ונותנים שליטה שאין בלעדיהם — במיוחד לאתר גדול.

llms.txt מול sitemap — מה ההבדל

שניהם קבצים בשורש שמכוונים בוטים, אבל למטרות שונות. sitemap.xml הוא רשימה מלאה ומובנית של כל הכתובות שרוצים שייסרקו, בפורמט שגוגל אוכל — הוא נועד לזחילה ואינדוקס. llms.txt הוא מסמך קריא לאדם (Markdown) שמצביע על העמודים החשובים ומתאר אותם במילים — הוא נועד לתת למנוע AI הקשר על מה שמרכזי באתר ואיך לתאר אותו. sitemap אומר "הנה הכול"; llms.txt אומר "הנה מה שחשוב ולמה". שניהם משלימים, לא מחליפים זה את זה.

אחרי כל שינוי מבנה — לבדוק שוב

robots.txt ו-llms.txt הם קבצים פיזיים, ולכן כל שינוי גדול באתר יכול "לשבור" אותם בלי שתשימו לב: הגירת דומיין (שורת ה-Sitemap והקישורים ב-llms.txt נשארים עם הדומיין הישן), החלפת מערכת ניהול תוכן (המערכת החדשה מייצרת robots.txt וירטואלי משלה שדורס את שלכם), או מעבר אחסון. הרגל פשוט: אחרי כל שינוי כזה, פותחים בדפדפן את הדומיין-שלכם/robots.txt ואת הדומיין-שלכם/llms.txt, ומוודאים ששניהם קיימים, לא חוסמים כלום בטעות, ומצביעים על הדומיין הנכון. שתי דקות שמונעות חודשים של אי-אינדוקס.

שאלות נפוצות

איפה בודקים את robots.txt של האתר שלי?

פשוט הזינו בדפדפן הדומיין-שלכם/robots.txt. אם אתם רואים Disallow: / בלי הקשר — יש בעיה. Search Console מציע גם כלי בדיקה ייעודי.

llms.txt חובה?

לא חובה, והסטנדרט עדיין צעיר. אבל העלות להוסיף אותו אפסית והוא כבר נקרא על ידי חלק מהכלים, אז אין סיבה לא.

אם אני חוסם GPTBot, זה משפיע על הדירוג בגוגל?

לא. GPTBot הוא של OpenAI. הדירוג בגוגל תלוי ב-Googlebot. אבל חסימת Google-Extended כן משפיעה על השימוש בתוכן שלכם ב-Gemini וב-AI Overviews.

עודכן לאחרונה: 9 בספטמבר 2026