robots.txt dosyası analiz sonuçları ne anlama gelir?
Bir URL’yi bir robots.txt dosyasına göre test ettiğinizde aşağıdaki sonuçlardan birini görürsünüz:
.
* İzin verildi— Googlebot URL’yi tarayacak.
* Engellendi— Googlebot, URL’yi taramayacak.
* Etki alanında değil— Bu URL dosyası, robots.txt ile aynı etki alanında değil ve bu yüzden engelleyemezsiniz.
* Sözdizimi anlaşılmadı— Googlebot, bunu geçerli bir URL olarak tanımıyor.
Ek olarak aşağıdaki iletiyi görebilirsiniz:
* Bir dizin olarak tespit edilen belirli dosyaların farklı sınırlamaları olabilir— Bu dizin engellense veya dizine izin verilse bile, dosyada dizindeki URL’lere izin veren veya onları engelleyen diğer kurallar olabilir. Dolayısıyla bunları da kontrol etmeniz gerekir.
Eğer Googlebot robots.txt dosyanızın bazı kısımlarını anlamakta zorluk çekerse, düzeltmeniz gereken aşağıdaki çözümleme sonuçlarından birini görürsünüz:
* Kabul edildi, ancak İzin Verme olmalı—”İzin Verme” kelimesi yanlış yazıldı.
* Kabul edildi, ancak kullanıcı-aracı olmalı— “Kullanıcı-aracı” kelimesi yanlış yazıldı.
* Kabul edildi, ancak doğru sözdizimi bir iki nokta üst üste işaretini içerir (Kural: yol)— “İzin Ver” veya “İzin Verme” ve yol arasına iki nokta üst üste koymayı unuttunuz.
* Kural Googlebot tarafından yok sayıldı— Bu, Googlebot tarafından uygulanan bir kural değil (örneğin, “Tarama-erteleme”).
* Hiçbir kullanıcı aracı belirtilmedi— Bir kullanıcı-aracıyla ilişkili olmayan kurallarınız var.
* Sözdizimi anlaşılmadı— Googlebot bu satırı anlamıyor.
* robots.txt dosyası geçerli değil— Googlebot bu dosyanın herhangi bir kısmını anlayamaz ve bu sebeple bunu geçerli bir robots.txt dosyası olarak tanımaz.
