מה זה Robots.txt

Robots.txt הוא קובץ טקסט קטן שיושב בשורש האתר ומורה לבוטים של מנועי חיפוש (ולאחרונה גם לבוטים של כלי AI) אילו חלקים באתר מותר או אסור לסרוק. הוא לא "נסתר" — כל אחד יכול לראות אותו פשוט על ידי הוספת /robots.txt לכתובת האתר.

למה Robots.txt חשוב לעסק שלך

קובץ Robots.txt מוגדר לא נכון יכול בטעות לחסום את גוגל מלסרוק את כל האתר — טעות שקורית יותר ממה שנדמה, במיוחד אחרי מעברי אחסון או עדכוני אתר. היום גם חשוב לוודא שהקובץ מאפשר גישה לבוטים של AI (כמו ChatGPT ו-Claude) אם רוצים נראות גם שם.

מה קורה אם אין קובץ Robots.txt בכלל

אם אין קובץ Robots.txt, גוגל פשוט מניח שמותר לסרוק את כל האתר — זה בדרך כלל בסדר לאתר עסקי רגיל. הקובץ הופך לחשוב כשרוצים למנוע במפורש סריקה של אזורים מסוימים (כמו לוח בקרה של אתר, עמודי תודה, או תוצאות חיפוש פנימיות) שאין תועלת בהצגתם בגוגל.

טעות מסוכנת ונפוצה: חסימה בטעות של אזורים חשובים באתר בקובץ Robots.txt (למשל אחרי מעבר לשרת חדש) — כדאי לבדוק את הקובץ ידנית אחרי כל שינוי גדול באתר, כי טעות שם יכולה להעלים חלקים שלמים מהאינדקס.

מה ההבדל בין Robots.txt לתגית noindex

Robots.txt מונע מגוגל לסרוק עמוד בכלל — אבל אם עמוד כבר נמצא באינדקס, חסימתו ב-Robots.txt לא בהכרח תסיר אותו משם. תגית noindex בקוד העמוד עצמו היא הדרך הנכונה והבטוחה יותר להסיר עמוד מהאינדקס של גוגל לחלוטין.

עודכן לאחרונה: 25 באוגוסט 2026