27 Haziran 2011 Pazartesi

robots.txt nedir ne işe yarar

Domatez.net okurlarına bugun robot.txt ne işe yarar bilgilendirmek istedim.

Arama motorlarının indeksleme robotları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Bu dosya robotlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak için yerleştirilir. Robotlar sadece kök dizindeki robots.txt dosyasına bakacakları için alt dizinlere bu dosyayı yerleştirmek anlamsızdır. Eğer alt dizinlerden birisine ait url (veya url’lerin) indekslenmesini istemiyorsanız bunlar da kök dizindeki robots.txt dosyasında bildirmeniz gerekiyor. Ya da alternatif olarak indekslenmesini istemediğiniz sayfalarda Meta Tag kullanabilirsiniz. Çoğu ücretsiz blog servisi kök dizine erişime izin vermediğinden Meta Tag’lardan yararlanmak gerekecetir…

Tüm robotların blog’unuzun tamamını indekslemesini engellemek için;
User-agent: *
Disallow: /

Blog’unuzun tamamının robotların birisi tarafından indekslenmesini engellemek için;
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:

Tüm robotların blog’unuzun tamamını indekslemesi için;
User-agent: *
Disallow:

Not: Boş bir robots.txt dosyası da aynı mesajı verecektir.





Bir dizinin tüm robotlar tarafından indekslenmesini engellemek için;
User-agent: *
Disallow: /dizin-adi/

Bir sayfanın tüm robotlar tarafından indekslenmesini engellemek için;
User-agent: *
Disallow: /dizin-adi/ozel-sayfa.html

Robots.txt dosyasında “/dizin-adi/*” veya “/dizin-adi/*.html” gibi ifadeler kullanamazsınız. Hariç tutulmasını istediğiniz sayfaları ve dizinleri teker teker belirtmek zorundasınız. Tabii ki hariç tuttuğunuz bir dizinin içindeki dosyaları ayrıca belirtmenize gerek yok

Örnek bir kod aşağıdaki şekilde olabilir;

# www.ornek.com için robots.txt dosyası
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/private/
Disallow: /private.html

Tags:
robots txt nedir

robots.txt nedir ne işe yarar yazısına ait etiketler : robots, robots txt dosyası, robots txt nedir, robots.txt, robots.txt ne işe yarar
robots.txt nedir ne işe yarar

0 yorum:

Yorum Gönder