הגדרה
robots.txt הוא קובץ שיושב בכתובת yoursite.com/robots.txt ומגדיר כללים: אילו נתיבים מותר לסרוק, אילו אסורים.
מילון מונחים
מה זה robots.txt?
robots.txt הוא קובץ טקסט בשורש האתר שמנחה סורקים של מנועי חיפוש.
למה זה חשוב
שגיאה ב-robots.txt יכולה לחסום את כל האתר מגוגל. גם sitemap מקושר משם בדרך כלל.
דוגמה
Disallow: /admin/ - אומר לגוגל לא לסרוק אזור ניהול. Disallow: / - חוסם הכל (טעות נפוצה).