8.150 views Kişi Okumuş ve 2 Yorum Yapılmış. admin tarafından Arama Motoru Optimizasyonu, Genel, SEO Kategorisine Eklenmiş.

robots.txt-nedirRobots.txt Nedir? Robats.txt nosıl Oluşturulur?

robots.txt arama motorlarına yol gösterici mahiyette kodların yer aldığı site ana dizinde bulunması gereken bir txt dosyasıdır. Arama motoru robotları siteye ilk girdiklerinde bu txt’ye bakarak hangi dizinleri indexleyip indexlemiyeceklerini anlarlar. Arama motorları siteyi indexlemek için robots.txt dosyasını görmezlerse tüm dizinleri indexlerler. Websitenizin içerisinde gizlilik içeren klasör ve dosyalarınız mevcutsa, arama motorlarının size özel dosyaları index’lememesi için robots.txt oluştururken Disallow olarak belirtirseniz indexlenmesine engel olmuş olursunuz.

Tüm robotların sitenizi indexlemesini istiyorsanız. robots.txt şu şekilde olmalı

User-agent: * Disallow:

Disallow un türkçe karşılığı “izin vermemek” anlamındadır.

Arama motoru robotlarının hangi dizinleri indexlemesini istemiyorsanız.

User-agent: * Disallow: /cgi-bin/ Disallow: /images/private/ Disallow: /wp-content/plugins/

gibi engellenmesini istediğiniz dizinlere belirterek indexlemesini önleyebilirsiniz.

User-agent: xxx.com  kısmına arama motoru sitelerinin isimlerini yazarak arama motorlarının sitenizi indexlemesini engelliyebilirsiniz. robots.txt yi oluştururken dikkatli olmak durumundasınız. yanlış düzenlenen bir robots.txt dosyası sitenizin hiç indexlenmemesine neden olabilir.

wordpress bloğunuz olupta robots.txt nin nasıl düzenlenmesi gerektiği konusunda tereddütleriniz varsa.  “wp-robots-txt” eklentisini wordpress sitesinden indirip eklentilerin içine atıp aktifleştirdikten sonra yönetim panelinden oluşturabilirsiniz.

wordpress robots.txt nin en iyi nasıl olması gerektiği konusunda binlerce döküman bulmak mümkün. Bana göre gizli bir içeriğiniz yoksa bu dosyayı oluşturup oluşturmamanız çok önemli değildir. Sade bırakmakta fayda görüyorum.

1 User-Agent: *
2 Disallow: /wp-content/plugins/

şeklinde oluşturulacak bir wordpress robots.txt dosyası yeterli olabilir. Sadece wordpress sitenizde kullanmış olduğunuz eklentilerin indexlenmesine engel olmuş olursunuz. wp-config php gibi mysql bilgilerinin yer aldığı dosyayıda engelleyebilirsiniz .

  • Takvim

    Ekim 2017
    P S Ç P C C P
    « Haz    
     1
    2345678
    9101112131415
    16171819202122
    23242526272829
    3031  
  • Son Yazılar

  • Son Yorumlar

  • Arşivler

  • Kategoriler

  • Online Ziyaretçiler