Robots.txt Oluşturma

14

Temmuz

Ana Sayfa » Arama Motoru Optimizasyonu » Robots.txt Oluşturma

robots.txt-nedirRobots.txt Nedir? Robats.txt nosıl Oluşturulur?

robots.txt arama motorlarına yol gösterici mahiyette kodların yer aldığı site ana dizinde bulunması gereken bir txt dosyasıdır. Arama motoru robotları siteye ilk girdiklerinde bu txt’ye bakarak hangi dizinleri indexleyip indexlemiyeceklerini anlarlar. Arama motorları siteyi indexlemek için robots.txt dosyasını görmezlerse tüm dizinleri indexlerler. Websitenizin içerisinde gizlilik içeren klasör ve dosyalarınız mevcutsa, arama motorlarının size özel dosyaları index’lememesi için robots.txt oluştururken Disallow olarak belirtirseniz indexlenmesine engel olmuş olursunuz.

Tüm robotların sitenizi indexlemesini istiyorsanız. robots.txt şu şekilde olmalı

User-agent: * Disallow:

Disallow un türkçe karşılığı “izin vermemek” anlamındadır.

Arama motoru robotlarının hangi dizinleri indexlemesini istemiyorsanız.

User-agent: * Disallow: /cgi-bin/ Disallow: /images/private/ Disallow: /wp-content/plugins/

gibi engellenmesini istediğiniz dizinlere belirterek indexlemesini önleyebilirsiniz.

User-agent: xxx.com  kısmına arama motoru sitelerinin isimlerini yazarak arama motorlarının sitenizi indexlemesini engelliyebilirsiniz. robots.txt yi oluştururken dikkatli olmak durumundasınız. yanlış düzenlenen bir robots.txt dosyası sitenizin hiç indexlenmemesine neden olabilir.

wordpress bloğunuz olupta robots.txt nin nasıl düzenlenmesi gerektiği konusunda tereddütleriniz varsa.  “wp-robots-txt” eklentisini wordpress sitesinden indirip eklentilerin içine atıp aktifleştirdikten sonra yönetim panelinden oluşturabilirsiniz.

wordpress robots.txt nin en iyi nasıl olması gerektiği konusunda binlerce döküman bulmak mümkün. Bana göre gizli bir içeriğiniz yoksa bu dosyayı oluşturup oluşturmamanız çok önemli değildir. Sade bırakmakta fayda görüyorum.

1 User-Agent: *
2 Disallow: /wp-content/plugins/

şeklinde oluşturulacak bir wordpress robots.txt dosyası yeterli olabilir. Sadece wordpress sitenizde kullanmış olduğunuz eklentilerin indexlenmesine engel olmuş olursunuz. wp-config php gibi mysql bilgilerinin yer aldığı dosyayıda engelleyebilirsiniz .

Bir önceki yazımız olan Anti SEO nedir başlıklı makalemizde Anti SEO yöntemleri, DDOS Anti SEO ve Google Anti SEO hakkında bilgiler verilmektedir.

Bir önceki yazımızı okumanızı tavsiye ederiz : »
Yazar Hakkında

7.090 views Kişi Okumuş ve 2 Yorum Yapılmış. Arama Motoru Optimizasyonu, Genel, SEO Kategorisine Eklenmiş.

Yorumlar
İsminiz
E-Posta Adresiniz
Yorumunuz

OsmanNuri
18 Temmuz 2013 - 23:02

wp-config.php yi robots.txt ye eklememize gerek varmı acaba.Eklemesek sorun olurmu?

admin
19 Temmuz 2013 - 03:06

Eskiden önemliydi şu an için çok önemli değil eklenmesede olur yeterli önlemler mevcut.

  • Takvim

    Nisan 2017
    P S Ç P C C P
    « Haz    
     12
    3456789
    10111213141516
    17181920212223
    24252627282930
  • Son Yazılar

  • Son Yorumlar

  • Arşivler

  • Kategoriler

  • Online Ziyaretçiler