بررسی و تست فایل robots.txt

یک فایل متنی در ریشه دامنه (مثل example.com/robots.txt) که به ربات‌های موتور جستجو می‌گوید کدام بخش‌های سایت را خزش نکنند. هر ربات گروه مخصوص خودش (User-agent) را پیدا می‌کند و قوانین Allow و Disallow همان گروه را اجرا می‌کند.

نه. Disallow فقط خزش را می‌بندد؛ اگر لینک‌های دیگری به صفحه باشد، گوگل ممکن است آدرس را بدون محتوا ایندکس کند. برای حذف از نتایج، صفحه را باز بگذارید و از متاتگ noindex استفاده کنید.

گوگل قانونی را اجرا می‌کند که طولانی‌ترین مسیر (بیشترین کاراکتر) را دارد. اگر طولشان برابر باشد، Allow برنده است. همین ابزار دقیقاً با همین منطق تست می‌کند و قانون تعیین‌کننده را نشان می‌دهد.

اگر آدرس robots.txt خطای ۴۰۴ (یا هر خطای ۴xx) بدهد، گوگل فرض می‌کند محدودیتی نیست و همه صفحه‌ها را خزش می‌کند. اما خطای ۵xx باعث می‌شود گوگل موقتاً خزش کل سایت را متوقف کند.

نه. گوگل Crawl-delay را نادیده می‌گیرد (بینگ و یاندکس آن را می‌خوانند). دستور noindex هم از سال ۲۰۱۹ در robots.txt پشتیبانی نمی‌شود.