Dinamik XML Sitemap ve Robots.txt Yönetimi İle Hızlı İndeks

Google Botlarına Yol Gösterin

Arama motoru tarayıcıları (Googlebot, Bingbot), web sitelerini ziyaret ettiklerinde sınırlı bir zaman ve kaynak bütçesine sahiptir. Buna Tarama Bütçesi (Crawl Budget) denir. Sitenizdeki yeni eklenen veya güncellenen sayfaların arama motorları tarafından anında fark edilip indekslenmesi için tarayıcı botlara doğru bir harita sunmanız ve girmemeleri gereken alanları belirtmeniz gerekir. Bu iletişimi sağlayan iki temel dosya XML Sitemap ve Robots.txt dosyalarıdır.

Dinamik XML Sitemap Mimarisi Nasıl Kurulur?

Statik olarak elle oluşturulan XML site haritaları sürdürülebilir değildir. Yeni bir blog yazısı veya ürün eklendiğinde site haritasının elle güncellenmesi unutulabilir. Bunun yerine, veritabanından aktif içerikleri anında çeken Dinamik PHP tabanlı Sitemap mimarisi kullanılmalıdır.

Dinamik Sitemap Mimarisinin Çalışma Prensibi

Yazılım tarafında Content-Type header değeri application/xml olarak ayarlanır. Veritabanındaki aktif yazılar sorgulanarak standart XML urlset şemasına dönüştürülür. Böylece sitenize yeni bir makale eklendiği anda sitemap.xml dosyanız otomatik olarak güncellenir.

Robots.txt Dosyasının Doğru Yapılandırılması

Robots.txt, arama motoru botlarının sitenizde hangi dizinleri tarayıp hangilerini taramayacağını belirleyen yönlendirme dosyasıdır. Yanlış yazılan bir kural, tüm sitenizin Google dizininden silinmesine neden olabilir!

İideal Bir Robots.txt İçeriği

Yönetim paneli, include klasörleri ve veritabanı önbellek dizinleri Disallow ile taramaya kapatılmalıdır. Dosyanın en alt satırına ise canlı sitemap.xml adresinin tam bağlantısı eklenmelidir.

Tarama Bütçesini (Crawl Budget) Verimli Kullanma Taktikleri

• Yönetim Paneli ve Özel Dizinleri Engelleyin: Admin veya arama sonuç sayfaları gibi değersiz alanları Disallow ile taramaya kapatın. Botlar zamanını değerli içeriklerinize harcasın.
• Kırık Bağlantıları (404) Temizleyin: Sitemap içinde silinmiş veya bulunamayan sayfaların yer alması kalite puanınızı düşürür.
• Google Search Console Bildirimi: Yeni bir içerik yayınlandığında cURL ile Google Search Console API tarafına otomatik bildirim atarak indeks alma süresini dakikalara indirin.

SEO altyapısı kusursuz, hızlı indeks alan ve arama motoru dostu web sistemleri inşa etmek için Kod Uzmanı SEO Çözümleri yanınızda.