robots.txt dosyası, web sitenizin kök dizininde (örneğin, siteadi.com/robots.txt) bulunan ve arama motoru botlarının davranışlarını yönetmek için kullanılan temel bir araçtır. Özünde, arama motorlarına hangi sayfaların ve bölümlerin taranabileceğini, hangilerinin taranamayacağını bildiren bir talimatlar metnidir.

robots.txt Neden Gereklidir?

  • İndeksleme Kontrolü

robots.txt’nin ana görevi, istenmeyen sayfaları indekslenmeye kapatmaktır: teknik bölümler, yönetim panelleri, yinelenen içerikler, sıralama ve filtreleme sayfaları ile geçici veya test sayfaları. Bu dosya olmadan, arama motoru botları her şeyi indeksler; bu da arama sonuçlarında hizmet bilgilerinin görünmesine ve ana sayfaların indekslenme kalitesinin düşmesine yol açabilir.

  • Tarama Bütçesi Optimizasyonu

Özellikle büyük siteler için robots.txt, tarama bütçesini (crawling budget) yönetmek açısından kritik öneme sahiptir. Tarama bütçesi, arama motorlarının sitenizi taramak için ayırdığı kaynaklardır. Önemsiz bölümleri kapatarak botları gerçekten değerli sayfalara yönlendirir, bu sayfaların daha hızlı keşfedilmesini ve indekslenmesini sağlarsınız.

  • Sunucu Yükünü Azaltma

Gereksiz sayfaların taranmasını engelleyerek sunucu yükünü azaltırsınız. Bu, özellikle çok sayıda sayfası olan veya sınırlı barındırma (hosting) kaynaklarına sahip siteler için önemlidir.

robots.txt Nasıl Çalışır?

Bir arama motoru botu sitenizi ziyaret ettiğinde, ilk olarak robots.txt dosyasına bakar ve buradaki yönergeleri okur.

Önemli Not: Bu bir tavsiyedir, kesin bir zorunluluk değildir. Googlebot, Yandex botu ve Bing botu gibi büyük arama motorları bu talimatları takip eder, ancak bazı botlar bunları görmezden gelebilir. Hassas bilgileri tam koruma altına almak için şifre koruması kullanın; sayfaları aramadan tamamen kaldırmak içinse noindex meta etiketini tercih edin.

robots.txt’deki Temel Yönergeler

  • User-agent — Kuralın hangi arama motoru botu için geçerli olduğunu belirtir (* tüm botlar anlamına gelir).
  • Disallow — Belirli sayfaları veya dizinleri taramaya kapatır.
  • Allow — Kapalı bir dizin içindeki belirli bir sayfaya erişime izin verir.
  • Sitemap — XML site haritasının yolunu göstererek botların önemli sayfaları daha hızlı bulmasına yardımcı olur.

Örnek:

User-agent: *
Disallow: /admin/
Disallow: /sepet/
Disallow: /*siralama=
Allow: /public/
Sitemap: https://siteadi.com/sitemap.xml

Bu dosya, tüm botlara yönetim panelini, sepeti ve sıralama sayfalarını indekslememelerini söyler; /public/ dizinine erişime izin verir ve site haritasının adresini gösterir.

Pratik Öneriler:

  1. Dosyayı doğru konuma yerleştirin — yalnızca kök dizine, adı kesinlikle robots.txt (küçük harflerle) olacak şekilde koyun.
  2. Yayınlamadan önce test edin — Google Search Console ve Yandex Webmaster’daki doğrulama araçlarını kullanın.
  3. Kritik hatalardan kaçının — örneğin, Disallow: / tüm siteyi taramaya kapatır ve SEO trafiğini tamamen durdurur.
  4. Büyük-küçük harf duyarlılığını kontrol edin — botlar için /Admin ve /admin farklı yollardır.
  5. Alt alan adlarını (subdomain) unutmayın — her alt alan adı için ayrı bir robots.txt dosyası gerekir.

Özet:

robots.txt dosyasının doğru yapılandırılması, teknik SEO’nun olmazsa olmaz bir parçasıdır. Bu dosya, indekslemeyi kontrol etmenize, arama motoru botlarının çalışmasını optimize etmenize ve sitenizin istenmeyen sayfalarının arama sonuçlarında görünmesini engellemenize yardımcı olur. Sitenizin aramadaki görünürlüğüyle ilgili ciddi sorunlar yaşamamak için bu dosyaya gereken özeni gösterin.

Sayfa görüntüleme sayısı 0