ROBOTS.TXT DOSYALARI NE İŞE YARAR?

Robots.txt dosyaları kısaca arama motorlarının sitenize nasıl ulaşacağının kök dizinler üzerinden haritalandırılmasıdır. Bu text dosyası yönlendirmeler içererek hangi sayfaların izin dâhilinde (Allow) ulaşılabileceğini ya da ulaşılamayacağını belirlemenize yardımcı olur. Eğer siz hatalı yönlendirmeler eklerseniz bu durum Google sıralamalarında hızlı bir şekilde arka sayfalara itilmeniz ile sonuçlanabilir. Bu çok doğaldır çünkü arama motoru robotları sitenizden veri toplayamaz ve ayrıca yönlendirildikleri alanlarda boşluklar görürler ise kendi ölçütlerine göre siteyi kullanıcı deneyimi zayıf ya da yok olarak işaretlerler.

Robots kelimesinin kullanılma sebebi ise farklı arama motoru firmalarının kendi araçlarını farklı şekilde isimlendiriyor oluşudur. Aslında tamamı dijital kodlardan oluşan robotlardır. Diğer isimleri ise örümcekler, botlar ve web tarayıcılarıdır. Mesela Google kendi veri toplayıcılarına Googlebot demektedir. İsimleri her ne olursa olsun asıl amaçları site içeriğinizin, veri trafiğinizin, algoritmik mimarinizin sağlığını tespit etmektir.

 Robots.txt oluşturmak için en akıllı yollardan bir tanesi Google’ın kendi önerisini ve eğitimini kullanmaktır (https://support.google.com/webmasters/answer/6062596?hl=tr ). Bu sayfadaki yönerge ile hem mobil hem de masaüstü sürümlerinizi oluşturabilirsiniz. Ana hatlarıyla Robots.txt; görsel olmayan dosyalar, görsel dosyalar ve kaynak dosyaları başlıklarında düzenleme yaratabilir. Önemli olmadığını düşündüğünüz görsel, görsel olmayan ve kaynak dosyalarınızı her robotun işlem yapısı içerisinde göstermek anlamsız olacaktır. Bu durum özellikle sunucu kaynaklarının kullanımının düzenlenmesi için çok önemlidir.

Kısaca Robots.txt dosyanız ile site URL yapınız birbiriyle tam uyumlu olmalıdır.  Yani mesela http://tuncbilekreklam.com/anasayfa/robots.txt yerine http://tuncbilekreklam.com/robots.txt (ya da http://www.tuncbilekreklam.com/robots.txt yerine https://www.tuncbilekreklam.com/robots.txt ) yapısı uygulanmalıdır. Ayrıca Robots.txt dosyanız kök dizininiz içerisine konmalıdır. Bütün komutlarınız bu kök dizin içerisinden hareket etmelidir. Özellikle gizlemek istediğiniz alanları da tam anlamıyla detaylandırmalısınız. Mesela sıklıkla şu alanları engellemek mantıklı olacaktır:

/cart/

/cgi-bin/

/scripts/

/wp-admin/

Google özellikle site içi çöpü fazla olan siteleri uyarmaktadır. Uyarıları ise içeriğini “budamayan” sitelerin kesinlikle klasman kaybedeceği yönündedir. Yani düşük kaliteli sayfalarınız var ise bunları düzeltmenizi ya da kaldırmanızı öneririz. Aynı şekilde site içi kopya içeriklerin de bloklanması da gerekmektedir. Mesela elinizde iki adet sayfanız var ve bir tanesi print out sürümünü içermektedir. Bu durumda içeriğin orijinali Robots.txt içinde izine, basılabilir sürüm ise görünmezliğe büründürülmelidir. Yoksa Google botu aynı içerikten iki tane konularak kendisinin kandırılmaya çalışıldığını düşünecektir. Bazı sayfalar özellikle SERP içerisinde gösterilmemelidir.

Eğer subdomainleriniz var ise bunların da kendilerine özel Robots.txt dosyalarının oluşturulması gerekmektedir. Bu aşamada da Google’ın Robots.txt denetleyicisini rahatlıkla kullanabilirsiniz.  Bu araç Google Search Console içerisinde tarayıcı başlığının altında bulunabilir.

TEMEL ROBOTS. TXT KOMUTLARI

Robts.txt dosyası hazırlarken UTF-8 karakter kodlamasını referans almanızı ve içeriği sadece düz bir metin olarak hazırlamanızı önermekteyiz. Hazırladığınız yapı sitenizin ve sektörünüzün konusuna göre dinamik ya da değişken bir örnek olabilir. Değişiklikler yaparken ise dosya kullanımdan kalkmamalı ve gizlenmemelidir.

Temel düzeyde grup komutları da tasarlanabilir. Bu başlıklar genellikle şu şekilde listelenebilir: Arama robotlarına izin verme / engel yaratma (en temeli), Sayfa ya da dizinlere izin verme ya da engelleme birimi yerleştirme, tarama gecikmelerini iletme, grup dışı konutları tanımlama, site haritasını listeleme, notlar ve yorumları açma gibi. Eğer dizinleri kodlara eklerseniz ya da yazım esnasında hatalar yaparsanız komutlar çalışmayacaktır. Hatta URL söz konusu olduğunda dizinlerdeki harflerin büyük ya da küçük olması da önemlidir. Buna dikkat ediniz.

Eğer sitenizin içeriğine tüm arama motoru robotları ulaşsın istiyorsanız sadece ilk satırı referans alarak kullanınız; eğer limit koymak istiyorsanız devamını yerleştiriniz.

user-agent: *

disallow: /

Sayfa izin verme / engelleme

Diğer bir konu ise arama motoru robotlarının sitenize geldiklerinde geçirdikleri sürenin ayarlanabilmesidir. Bunu yönetmek için crawl-delay komutu yaratmalısınız. Eğer sunucu hatanız varsa ya da çok yüksek sayıda tanlık takipçiniz varsa arama motoru örümceğini siteden uzaklaştırabilirsiniz. Tabi bunu sürekli yapmamalısınız çünkü bu aslında özel şartlar haricinde tercih edebileceğimiz bir komut olmamalıdır.

user-agent: googlebot

crawl-delay: 1

Hoşçakalın!