ابزار ساخت حرفه‌ای Robots.txt
دسترسی ربات‌های جستجوگر (مانند گوگل) را به بخش‌های مختلف سایت خود به شکل اصولی مدیریت کنید. یک فایل ربات‌تکست استاندارد، تاثیر مستقیمی در افزایش سرعت کرال و سئو سایت دارد.
راهنمای ساخت یک Robots.txt عالی
دسترسی عمومی را باز بگذارید
همیشه دسترسی پیش‌فرض (User-agent: *) را روی حالت آزاد (Allow) قرار دهید تا ربات‌ها بتوانند محتوای اصلی سایت شما را بررسی کنند.
پوشه‌های مدیریتی را مسدود کنید
مسیرهایی مانند ورود به پیشخوان (`/wp-admin/`) نباید در گوگل ایندکس شوند. بنابراین این مسیرها را در بخش مسدودسازی قرار دهید.
فایل‌های مهم سیستم را مستثنی کنید
اگر پوشه مدیریت را بسته‌اید، حتماً فایل admin-ajax.php را باز بگذارید. (با دکمه تنظیمات استاندارد، این کار خودکار انجام می‌شود).
نقشه سایت (Sitemap) را معرفی کنید
درج لینک دقیق نقشه سایت در انتهای این فایل، یک سیگنال بسیار قدرتمند به خزنده‌هاست تا سریع‌تر ساختار لینک‌های سایت را پیدا کنند.
سوالات متداول (FAQ)
فایل ربات تکست یک فایل متنی ساده است که به خزنده‌های موتورهای جستجو (مانند گوگل‌بات) می‌گوید که مجاز به بررسی و ایندکس کدام بخش‌های سایت هستند و کدام بخش‌ها را نباید بررسی کنند. این فایل در روت (پوشه اصلی) هاست قرار می‌گیرد.
خیر. به طور پیش‌فرض بهتر است دسترسی آزاد را انتخاب کنید و فقط پوشه‌های حساس مثل پنل مدیریت (`/wp-admin/`) یا فایل‌های سیستمی را مسدود کنید تا سئوی سایت شما افت نکند.
پس از تنظیم فیلدها روی دکمه "دانلود" کلیک کنید. فایل دریافت شده را دقیقاً در روت اصلی هاست (پوشه public_html) خود آپلود نمایید به گونه‌ای که آدرس آن به شکل yoursite.com/robots.txt قابل دسترس باشد.