DA

Robots.txt Test

Web sitenizin robots.txt dosyasını kontrol edin ve arama motoru botları için optimize edin.

Robots.txt Hakkında

Robots.txt dosyası, arama motoru botlarına web sitenizin hangi bölümlerini tarayabileceklerini söyler.

Temel Komutlar:

  • User-agent - Hangi botlar için kural geçerli
  • Disallow - Belirtilen yolları taramayı yasakla
  • Allow - Belirtilen yolları taramaya izin ver
  • Sitemap - XML sitemap konumunu belirt
  • Crawl-delay - Bot istekleri arasındaki bekleme süresi

Örnek Robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/

User-agent: Googlebot
Crawl-delay: 1

Sitemap: https://example.com/sitemap.xml

En İyi Uygulamalar:

  • Dosyayı sitenizin kök dizinine yerleştirin (/robots.txt)
  • Dosya adını küçük harflerle yazın
  • UTF-8 kodlaması kullanın
  • Gereksiz sayfa/dizinleri engelleyin
  • Sitemap'inizi mutlaka belirtin
  • Düzenli olarak kontrol edin ve güncelleyin