מה זה Robots.txt

Robots.txt הוא קובץ טקסט קטן שיושב בשורש האתר ומורה לבוטים של מנועי חיפוש (ולאחרונה גם לבוטים של כלי AI) אילו חלקים באתר מותר או אסור לסרוק. הוא לא "נסתר" — כל אחד יכול לראות אותו פשוט על ידי הוספת /robots.txt לכתובת האתר.

למה זה חשוב לעסק שלך

קובץ Robots.txt מוגדר לא נכון יכול בטעות לחסום את גוגל מלסרוק את כל האתר — טעות שקורית יותר ממה שנדמה, במיוחד אחרי מעברי אחסון או עדכוני אתר. היום גם חשוב לוודא שהקובץ מאפשר גישה לבוטים של AI (כמו ChatGPT ו-Claude) אם רוצים נראות גם שם.