Robots.txt מוגדר לא נכון: איך זה חוסם את גוגל מלסרוק אתכם

קובץ קטן אחד, כמה שורות טקסט, יכול לחסום את גוגל מלסרוק חלקים שלמים מהאתר שלכם — בלי שום הודעת שגיאה בולטת, בלי אזהרה, ולפעמים במשך חודשים לפני שמישהו שם לב. זה בדיוק מה ש-Robots.txt מוגדר לא נכון עושה.

מה זה בעצם הקובץ הזה

robots.txt הוא קובץ טקסט פשוט שיושב בשורש הדומיין (למשל yoursite.com/robots.txt) ואומר לרובוטים של מנועי חיפוש אילו חלקים באתר מותר לסרוק ואילו אסור. הוא לא מונע מדפים להופיע בגוגל לגמרי (יש לזה כלים אחרים), אבל הוא כן קובע אם הרובוט בכלל ניגש לתוכן כדי לקרוא אותו. קובץ ריק או לא קיים בדרך כלל בסדר גמור — הבעיה מתחילה כשמישהו מוסיף כלל שחוסם בטעות יותר ממה שהתכוון.

הטעות הכי נפוצה והכי הרסנית

השורה Disallow: / חוסמת סריקה של האתר כולו. זה נשמע כמו טעות שאף אחד לא יעשה במכוון, אבל זה קורה בפועל בתדירות מפתיעה — בעיקר כשקובץ שנועד לסביבת פיתוח או בדיקות (staging) בטעות "עולה" לאתר החי בהעברה בין שרתים, או כשמישהו מעתיק-מדביק קובץ מדריך כללי בלי להתאים אותו. אתר עם חסימה כזו יכול פשוט להיעלם בהדרגה מתוצאות החיפוש, כי גוגל מפסיק לסרוק אותו מחדש — לא באופן מיידי, אלא לאט, ככל שהאינדקס הקיים מתיישן ולא מתעדכן.

טעויות עדינות יותר שקל לפספס

• חסימת תיקיית תמונות או CSS — גוגל לא יכול להעריך נכון איך העמוד נראה או נטען אם הוא חסום מלראות את הקבצים שמרכיבים אותו ויזואלית.
• חסימת פרמטרים דינמיים בטעות רחבה מדי — כלל שנועד לחסום כתובות מסוננות תופס בטעות גם עמודי תוכן אמיתיים עם אותו פרמטר בכתובת.
• הפניה לקובץ Sitemap שגוי או ישן — robots.txt הוא גם המקום שבו בדרך כלל מפנים את גוגל לקובץ ה-Sitemap העדכני. הפניה לקובץ ישן או שבור מבזבזת הזדמנות פשוטה לעזור לגוגל לגלות תוכן חדש.

איך בודקים שהקובץ תקין

הבדיקה הפשוטה ביותר: לפתוח את yoursite.com/robots.txt בדפדפן ולקרוא אותו ידנית — הוא אמור להיות קצר וברור. מעבר לזה, Search Console כולל כלי ייעודי לבדיקת robots.txt שמראה בדיוק אילו כתובות URL חסומות ואילו מותרות, ומאפשר לבדוק כתובת ספציפית מול הכללים הקיימים. שווה לבדוק את הקובץ אחרי כל מעבר שרתים, שדרוג פלטפורמה, או עבודה עם מפתח חדש — אלה הרגעים שבהם קבצי staging "מתגנבים" הכי הרבה לסביבת הייצור.

דוגמה מהשטח

אתר של רשת חנויות עבר שדרוג פלטפורמה, ותוך חודש התנועה האורגנית צנחה בעשרות אחוזים בלי שום הסבר גלוי. הבדיקה חשפה ש-robots.txt של סביבת הבדיקות, עם השורה החוסמת את כל האתר, הועלה בטעות לסביבה החיה במהלך ההעברה. הקובץ תוקן תוך יום מרגע הגילוי, אבל לקח לגוגל כמה שבועות נוספים לסרוק מחדש ולשקם את האינדקס במלואו. הלקח המרכזי: בדיקת robots.txt צריכה להיות סעיף קבוע ברשימת הבדיקה בכל מעבר טכני, לא משהו שבודקים רק אחרי שכבר רואים ירידה בתנועה.

רוצים שנבדוק שה-robots.txt שלכם לא חוסם בטעות תוכן חשוב? דברו איתנו.

שאלות נפוצות

מה קורה אם אין קובץ robots.txt בכלל?
בהיעדר קובץ, גוגל מניח שהכל מותר לסריקה. זה בדרך כלל בסדר, אבל עדיף קובץ מפורש שגם מפנה לקובץ ה-Sitemap.

האם robots.txt מונע מעמוד להופיע בגוגל?
הוא מונע סריקה, לא בהכרח הופעה באינדקס — לפעמים עמוד חסום עדיין יכול להופיע בלי תיאור, אם יש קישורים חיצוניים אליו. למניעת הופעה מלאה יש להשתמש בתגית noindex, לא ב-robots.txt.

כמה זמן לוקח לגוגל לזהות שינוי ב-robots.txt?
בדרך כלל תוך ימים ספורים, אבל שיקום מלא של אינדקס שנפגע מחסימה ממושכת יכול לקחת שבועות.

כדאי גם לקרוא

• Crawl Budget — למה אתרים גדולים חייבים לשים לב לזה
• Sitemap שלא התעדכן 3 שנים: מה שגילינו
• שגיאות 404 ו-5XX: איך למצוא אותן לפני שגוגל מוצא