fbpx
SEO

Robots.txt Nedir?

Robots.txt Ne İşe Yarar? Robots.txt Dosyası Nasıl Düzenlenir?

Robot.txt nedir? Ne işe yarar? Robots.txt dosyası, arama motorlarına hangi sayfaların indeksleneceğini ve hangilerinin atlanacağını söylemek için web sitenizin kök dizinine yerleştirilen basit bir metin dosyasıdır. Bir robots.txt dosyası, botlar için bir dizi talimattır.

Bu dosya çoğu web sitesinin kaynak dosyalarında bulunur. Robots.txt dosyaları, çoğunlukla web tarayıcıları gibi iyi botların faaliyetlerini yönetmeye yöneliktir, çünkü kötü botların talimatları izlemesi pek olası değildir.

Bir robots.txt dosyasını bir spor salonu, bar veya toplum merkezinde duvara yapıştırılmış bir “Davranış Kuralları” işareti gibi düşünebilirsiniz.

Robot.txt Nedir?

Robots.txt protokolü, web sitenizdeki dolaşıma rehberlik etmenize olanak tanır, böylece yalnızca taramalarını istediğiniz sayfaları tararlar. Bu, SEO hedeflerine aykırı gibi görünse de, örümceklerin içeriğinizin bir kısmını keşfetmesini engellemek aslında faydalı olabilir.

Örneğin, bu, yeni bir web sitesi oluştururken veya sitenizde bir sayfanın birden çok sürümü varsa ve yinelenen içerik nedeniyle cezalandırılmak istemiyorsanız faydalı olabilir.

SEO çalışmalarında teknik uygulayarak ödül almaktan ziyade ceza almadan internet sitelerinin yayın hayatlarına devam etmeleri de oldukça önemlidir. Bu nedenle robots.txt dosya yapısı oldukça önemlidir. Peki bu robots.txt dosyası ne işe yarar? Dilerseniz gelin lafı daha fazla uzatmadan bu dosya yapımızın ne işe yaradığını kısaca kaleme alalım.

Robots.txt Ne İşe Yarar?

SEO uzmanları, çabalarının çoğunu ilgili anahtar kelimeler için sayfaların görünürlüğünü iyileştirmeye harcasalar da, bazı durumlarda belirli sayfaları arama motorlarından gizlemek gerekir. Bu yüzden Robots.txt dosyası kullanılır.

Robots.txt dosyası genel olarak şu işlevleri yerine getirir;

  • Dosya yalnızca gerçekten alakalı olanı ziyaret edeceğinden ve bir sayfayı tarama zamanını daha iyi kullanacağından, tarama bütçesinin optimize edilmesine yardımcı olurlar.
  • Robots.txt dosyası, sayfaları işaret ederek sayfa indekslemeyi zorlamak için iyi bir yoldur.
  • Robots.txt dosyaları, sitenizin belirli alanlarına tarayıcının yapmış olduğu erişimi kontrol eder.
  • Her kök etki alanı için ayrı robots.txt dosyaları oluşturabileceğiniz için bir web sitesinin tüm bölümlerini güvende tutabilirler.
  • Dahili arama sonuçları sayfalarının SERP’lerde görünmesini de engelleyebilirsiniz.
  • Robots.txt, PDF’ler veya belirli görüntüler gibi dizine eklenmesi gerekmeyen dosyaları gizleyebilir.

Arama motorlarının iki ana görevi vardır: İçeriği keşfetmek için Web’i tarar ve bilgi arayan kullanıcılara dağıtılabilmesi için bu içeriği dizine ekler.

Arama motorları siteleri taramak için bir siteden diğerine gitmek için bağlantıları takip eder, milyarlarca bağlantı ve web sitesini tarar. Buna “örümcek” denir. Arama motoru robotu bir web sitesine eriştiğinde bir robots.txt dosyası arar. Bir tane bulursa, robot sayfaya göz atmaya devam etmeden önce bu dosyayı okuyacaktır.

Robots.txt dosyası, arama etkinliğini kısıtlayan yönergeler içermiyorsa ya da sitede robots.txt dosyası yoksa, sitedeki diğer bilgileri tarar. Bu durumda tekrarlayan içerikler olması durumunda içeriğiniz SEO açısından sıkıntıya girebilir.

Robots.txt Dosyası Nasıl Düzenlenir?

Robots.txt dosyaları herkese açıktır. Basitçe bir kök etki alanı yazabilir ve URL’nin sonuna /robots.txt ekleyebilir ve dosyayı görebilirsiniz. Dosyayı sunucunuzun kök dizininde bulabilir ve düzenleyebilirsiniz, dosya yöneticisini veya web sitesinin FTP’sini kontrol edebilirsiniz. Bunun için;

  1. Dosyayı düz metin düzenleyiciyle oluşturun veya düzenleyin.
  2. Dosyayı büyük harf kullanmak gibi herhangi bir değişiklik yapmadan “robots.txt” olarak adlandırın.
  3. “İzin Verme”yi boş bıraktığımıza dikkat edin; bu, taranmasına izin verilmeyen hiçbir şey olmadığını gösterir.
  4. Her alt etki alanı için ayrı bir robots.txt dosyası kullanın.
  5. Dosyayı web sitesinin üst düzey dizinine yerleştirin.
  6. Robots.txt dosyalarını kök dizininize yüklemeden önce Google Web Yöneticisi Araçları’nı kullanarak test edebilirsiniz.

Robots.txt Dosyası Kullanılmalı Mı?

Basit gibi görünse de, kullanması zor değil gibi gelse de robots.txtdosyası ve içerisindekiler oldukça önemli SEO kurallarından bir tanesidir. Sahip olduğunuz web siteleri için arama motorlarının işlerini kolaylaştırmak adına bu dosya yapısını aktif olarak kullanmanızı tavsiye ediyorum. 

Herhangi bir içeriği, sayfayı engellemekten ve/veya onaylamaktan kesinlikle çekinmeyiniz. Çünkü arama motorlarının işlerini ne kadar kolaylaştırırsak bizi o kadar hızlı analiz edebilir ve potansiyel müşterilerimizin karşısına çıkmamıza yardımcı olurlar. Müşterilerimizin karşısına çıkmak ise ticari olarak bir gelir elde etme durumu ile ödüllenmektedir. Bu ve bunun gibi nedenlerden dolayı bu dosya yapısının kullanılmasını kesinlikle tavsiye ediyorum.

Son olarak robots.txt dosyası ile ilgili zorlandığınız herhangi bir konuda bana ulaşabilirsiniz. Ücretsiz bir şekil de yardım talebinizi karşılayacağımdan şüpheniz olmasın. Hepinize iyi çalışmalar diliyorum.

Kaynaklar:

https://www.ugureskici.com/notlarim-makalelerim/robotstxt-nedir-nasil-kullanilir

Daha Fazla Göster

Berkay Ağlar SEO

Freelancer dijital performans ve dijital insan iknası uzmanı. Yaşadığı tramvatik bir olayın arkasından 6 yıl insan psikolojisini, geleneksel ve dijital pazarlama tekniklerini derinlemesine araştırmış ve bunları tecrübe olarak edinmiş birisi.

İlgili Makaleler

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

82 − = 77

Başa dön tuşu
Film İzle -
SEO Uzmanı -