Robots.txt Nedir ? Nasıl Oluşturulur ?

Merhaba arkadaşlar bu konumuzda sizlere teknik bir konu olup bir o kadar da çok önemli bir konu olan robots.txt dosyası nedir , nasıl oluşturulur bunları anlatacağız.

Robots.txt Nedir ?

İnsanlar gibi arama motorlarının robotları da sitemizi geziyor ve  bilgi topluyorlar daha sonra işte örneğin google da arama sonuçlarında çıkıyoruz.  Sadece arama motorlarında dahil tüm web tarama motorlarının botlarına robots.txt dosyamız ile yön veriyoruz. Site hızı ölçmeden tutunda, site mobil uyumlu mu değil mi bunların testleri botlar ile yapılıyor o yüzden robots.txt dosyanızda bir sıkıntı var ise bu testlerden doğru sonuç alamayabilirsiniz.

Robots.Txt Nasıl Oluşturulur ?

Normal bir metin belgesi oluşturup içine aşağıda vereceğimiz komutları düzenleyerek ekledikten sonra ismini robots yapıp ftp üzerinden ana dizine  ekleyebilirsiniz. Basit dimi 🙂 zaten tüm mevzu botları nasıl yönlendireceğiniz de.

Diğer bir seçenek ise wordpress kullanıcısı iseniz bu konuda bir çok eklenti var onlardan sizin wordpress sürümü ile yakın olanı yani güncel olanı kurarak etkin hale getirebilirsiniz.

WordPress kullanmıyorsanız da internet sitesi olarak bir sürü robots.txt oluşturucu bulabilirsiniz ama oluşturmadan önce mutlaka yazımızı okuyun.

Robots.txt Kullanılan Komutlar

User-agent : Bu parametre ile belli bir bot için komutlar verebiliriz.

Örneğin :

User-agent : googlebot (sadece googlebot’u ilgilendiren talimatlar altına yazılır)

User-agent : * (Tüm botlar için ortak talimatlar altına yazılır )

Birazdan daha iyi anlayacaksınız .

Disallow  : Bu parametre ile botların taramaması gereken konumlar belirtilir. Bunlar bir dosya dizini de olabilir bir url de olabilir .Sitenizde bulunan resim, konu, etiket, admin dosyaları gibi gibi şeyleri de bu parametre ile engelleye bilirsiniz.

Örneğin :

Disallow : /wp-admin/ (Admin klasörüne ve onun altındaki tüm dosyalara botların erişimini kapattık.)

Disallow :  /*.pdf* (Tüm .pdf uzantılı dosyalarının erişimini kapattık .)

Allow : Bu parametre izin parametresidir örneğin disallow ile admin klasörünü komple erişime kapattık bu allow ile de o admin klasörü içinden bir şeyi erişime açabiliriz.

Örneğin :

User-agent : *Disallow : /sayilar/ (Burada tüm sayılar klasörünü botlara kapattık .)

Allow : /sayilar/36 (Burada ise sayılar klasöründe sadece 22 dosyasına izin verdik . 1-100 e kadar dosyalar olduğunu düşünürsek 36 hariç tüm sayıların erişimi kapalı olur .)

Sitemap :  Bu parametre ile robots.txt içinde site haritanızın yolunu ekleyebilirsiniz.

Örneğin  :

Site Haritası: http://www.sanalkasif.com/post-sitemap.xml

Robots.txt Örnekleri

Sanalkaşif’ in kullandığı :

 
User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/



Sitemap: http://www.sanalkasif.com/post-sitemap.xml
Sitemap: http://www.sanalkasif.com/page-sitemap.xml
Sitemap: http://www.sanalkasif.com/category-sitemap.xml

WordPress Seo Devlerinden Yoast’ın kullandığı  :

User-Agent: *
Disallow: /suggest/?*

Yoast yetkilerine göre robots.txt’e sitemap eklemenin bir manası yok ve onlar hiç bir şeyin gizlenmesinden yana olduklarını söylüyorlar. Orada da gizledikleri suggest onların internet sitesindeki kullanıcıların girdiği kelimeleri analiz eden bir sistem. Sürekli dışarıdan kontrolsüz kaynak giriyor onlarda sadece bu işleme engel oluyorlar.

Robots.txt Çalışıp Çalışmadığını Nasıl Anlarız ?

Öncelikle siteadi.com/robots.txt  yazarak o urlye gidin eğer sonuç bulunamadı diyor veya boş bir sayfa gözüküyorsa yok demektir.

Bu sorunun sebepleri  dosyanızı kök dizine değilde alt klasörlere atmış olabilirsiniz. yani index.php ile yan yana olacaklar 🙂

Buraya kadar dosyanın olup olmadığının kontrolünü yaptık şimdi sıra yazdığımız komutlar işe yarıyor mu onu öğrenmekte.

Bu işlem için size google test aracını öneriyorum buradan robots.txt inizi gönül rahatlığı kontrol edebilirsiniz.

Bir önceki Dünyaca Ünlü Hackerlar  yazımıza da göz atmanızı tavsiye ediyoruz .