• 0543 237 86 79
  • info@webtasari.net

robots.txt nedir ne işe yarar robots.txt kodları

Arama motorlarının indeksleme robotları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Bu dosya robotlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak için yerleştirilir. Robotlar sadece kök dizindeki robots.txt dosyasına bakacakları için alt dizinlere bu dosyayı yerleştirmek anlamsızdır. Eğer alt dizinlerden birisine ait url (veya url’lerin) indekslenmesini istemiyorsanız bunlar da kök dizindeki robots.txt dosyasında bildirmeniz gerekiyor. Ya da alternatif olarak indekslenmesini istemediğiniz sayfalarda Meta Tag kullanabilirsiniz. Çoğu ücretsiz blog servisi kök dizine erişime izin vermediğinden Meta Tag’lardan yararlanmak gerekecetir. Örnek bir robots.txt adresi şu şekilde olmalıdır; http://www.acemiblogcu.com/robots.txt veya http://acemiblogcu.blogspot.com/robots.txt Aşağıdaki örneklerdeki robots.txt dosyaları ise, bulundukları hatalı pozisyon nedeni ile, robotlar tarafından dikkate alınmayacaklardır; http://www.acemiblogcu.com/fotograflar/robots.txt veya http://acemiblogcu.blogspot.com/ozel/robots.txt robots.txt dosyası sadece belirli bir şekilde düzenlenmiş metin içeriğine sahip olmalıdır ve asla HTML kodları içermemelidir. Aşağıdaki örnekleri inceleyelim;

Tüm robotların blog’unuzun tamamını indekslemesini engellemek için;

User-agent: * Disallow: /

Blog’unuzun tamamının robotların birisi tarafından indekslenmesini engellemek için;

User-agent: Googlebot Disallow: / User-agent: * Disallow:

Tüm robotların blog’unuzun tamamını indekslemesi için;

User-agent: * Disallow: Not: Boş bir robots.txt dosyası da aynı mesajı verecektir.

Bir dizinin tüm robotlar tarafından indekslenmesini engellemek için;

User-agent: * Disallow: /dizin-adi/

Bir sayfanın tüm robotlar tarafından indekslenmesini engellemek için;

User-agent: * Disallow: /dizin-adi/ozel-sayfa.html Robots.txt dosyasında “/dizin-adi/*” veya “/dizin-adi/*.html” gibi ifadeler kullanamazsınız. Hariç tutulmasını istediğiniz sayfaları ve dizinleri teker teker belirtmek zorundasınız. Tabii ki hariç tuttuğunuz bir dizinin içindeki dosyaları ayrıca belirtmenize gerek yok :) Örnek bir kod aşağıdaki şekilde olabilir; # www.ornek.com için robots.txt dosyası User-agent: * Disallow: /cgi-bin/ Disallow: /images/private/ Disallow: /private.html Kaynaklar;





Diğer Makaleler

Etkili WordPress SEO Yöntemleri

Etkili WordPress SEO Yöntemleri…

Görüntüle

Perspektif nedir ne demektir?

Perspektif nedir? İki boyutlu…

Görüntüle

WordPress’te Eklentisiz Sayfa Kaç Kez Okundu (Views) Gösterme

WordPress siteleri için  gerekli…

Görüntüle

Biz Kimiz

webtasari.net olarak 2006 yılından bu yana tecrübemizle webtasarım grafik tasarım logo karvizit afiş broşür tasarımı seo google optimizasyonu konularında hizmet vermekteyiz.

Aylık Bülten'e Kaydolun

Son gelişmelerden haberdar olmak için mail adresinizle kaydolun

Bize Ulaşın

webtasari.net.
Perpa Ticaret Merkezi
Şişli/İstanbul
P : 0543 237 86 79
E : info@webtasari.net
W : www.webtasari.net

© 2019, Tüm hakkı saklıdır. seo web master | webtasari.net
web tasarım seo hizmetleri