Robots.txt Nedir? Yanlış Kullanılırsa Ne Olur?

robots.txt taramayı yönlendirir; gizli veriye erişim kontrolü değildir. Bir URL'yi Google sonucundan çıkarmak istiyorsanız yalnız robots engeline güvenmeyin.

1. Kök dosyayı kontrol edin

curl -i https://example.com/robots.txt

Dosya ilgili host'un kökünde olmalıdır. Test ortamından kalan Disallow: / bütün site taramasını engelleyebilir. Farklı alt alan adları kendi robots dosyalarına sahiptir.

2. Basit bir örnek hazırlayın

User-agent: *
Disallow: /yonetim/
Sitemap: https://example.com/sitemap.xml

Yönetim yolunu kendinize göre değiştirin. Bu, yönetim panelini korumaz; parola ve yetki kontrolü gerekir. CSS/JS kaynaklarını gereksiz engellemek sayfanın arama motorunda doğru işlenmesini bozabilir.

3. Noindex ile çakışmayı önleyin

Noindex etiketiyle çıkarılacak sayfanın taranabilir olması gerekir ki arama motoru etiketi görebilsin. Aynı sayfayı robots'ta engelleyip noindex'in okunmasını beklemeyin. Gizli test alanını parola ile kapatın; robots dosyasında hassas dizin isimleri yayınlamayı güvenlik yöntemi saymayın.

4. Yayın kontrolü

Dosyayı UTF-8 düz metin sunun, HTML şablonu eklemeyin. Başlangıçta bir örnek herkese açık yazı, yönetim URL'si ve statik dosya için beklenen kuralı kontrol edin. Search Console raporundaki tarama engellerini gerçek isteğinizle karşılaştırın. Yanlış bir engeli kaldırdıktan sonra yeniden taranmayı bekleyin; anında indeks garantisi yoktur.