XML Sitemap ve robots.txt Optimizasyonu: Teknik SEO Rehberi

Google'ın sitenizi doğru anlayabilmesi için iki dosya kritik role sahiptir: XML sitemap ve robots.txt. Birincisi Google'a hangi sayfaların var olduğunu ve güncel olduğunu söyler; ikincisi hangi alanlara girip girmemesi gerektiğini belirtir. Bu iki dosyada yapılan hatalar, iyi içeriğin bile dizine girmemesine ya da yanlış sayfaların dizine girmesine yol açabilir. Bu rehberde her ikisini de doğru yapılandırmak için ihtiyaç duyduğunuz her şeyi bulacaksınız.

XML Sitemap Nedir ve Hangi Sayfalar Dahil Edilmeli?

XML sitemap, sitenizin Google ve diğer arama motorlarına sunduğu bir URL listesidir. Bu liste sayesinde Googlebot yeni veya güncellenmiş sayfaları daha hızlı keşfeder. Ancak sitemapa her URL'yi dahil etmek, sitemapi daha güçlü yapmaz; tam tersi, dağınık ve güvenilmez bir sinyal gönderir.

Sitemapa dahil edilmesi gereken sayfalar: canonical olarak kendini işaret eden yayında sayfalar, dizine alınmasını istediğiniz blog yazıları ve ürün/kategori sayfaları, hreflang alternatifleriyle birlikte çok dilli sayfalar. Sitemapa kesinlikle dahil edilmemesi gereken sayfalar ise şunlardır: noindex etiketi taşıyan sayfalar (çelişki yaratır), canonical etiketi başka bir URL'yi gösteren duplicate sayfalar, 301 veya 302 yönlendirmesi olan URL'ler, 404 döndüren sayfalar, değer taşımayan ince içerikli (thin content) sayfalar, oturum açmayı gerektiren ya da robots.txt ile engellenen sayfalar.

• Sitemapa ekle: canonical URL, yayında, indekslenebilir, değerli içerik
• Sitemaptan çıkar: noindex, canonical-olmayan, 301/302, 404, robots.txt ile engellenen
• Sitemapa her URL'yi koymak gereksiz — kalite sinyal verir, miktar değil
• Hreflang kullanan çok dilli sitelerde her dil versiyonu sitemapa eklenebilir

priority ve changefreq Alanlarını Google Yok Sayıyor — Ne Kullanmalı?

XML sitemap spesifikasyonunda yer alan priority (0.0-1.0 arası öncelik değeri) ve changefreq (always/daily/weekly gibi güncelleme sıklığı) alanları, Google tarafından resmi olarak yok sayılmaktadır. Google Search Central belgeleri bu noktada açıktır: priority alanı öznel ve içsel çalışmalar sonucunda sayfanın gerçek önceliğini yansıtmadığı görülmüştür; changefreq ise pratikte doğrulanamayan bir beyan olduğundan Googlebot kendi kararını verir. Bu bilgi, Haziran 2023 tarihli Google Search Central Blog gönderisiyle de teyit edilmiştir.

Google'ın sitemap üzerinden fiilen kullandığı tek alan lastmod'dur — o da yalnızca tutarlı ve doğrulanabilir biçimde sağlandığında. Bir sayfayı her gün güncelleyip lastmod değerini değiştirmiyorsanız ya da değiştirmesine rağmen sayfa içeriği aynı kalıyorsa, bu sinyal Googlebot nezdinde güvenilirliğini yitirir. Sonuç olarak lastmod'u dikkatli ve gerçekten değişen sayfalarda güncelleyin; priority ve changefreq alanlarını ise ya hiç kullanmayın ya da XML'e yazmak zorundaysanız bunların Google üzerinde etkisi olmadığını bilin.

• priority: Google tarafından yok sayılıyor (resmi kaynak: Google Search Central)
• changefreq: Google tarafından yok sayılıyor (Haziran 2023 Search Central Blog)
• lastmod: Tutarlı ve gerçek güncellemelerde kullanılırsa Googlebot dikkate alır
• Sitemap boyut limiti: 50.000 URL veya 50 MB (sıkıştırılmamış) — aşılınca sitemap index kullanın

robots.txt Nasıl Yazılır? Doğru Sözdizimi ve Yaygın Hatalar

robots.txt dosyası, web sitenizin kök dizininde (example.com/robots.txt) yer alır ve arama motoru botlarına hangi URL'lere erişip erişemeyeceklerini söyler. Google bu dosyada yalnızca dört direktifi destekler: User-agent, Disallow, Allow ve Sitemap. Bunların dışındaki direktifler (özellikle Crawl-delay) Googlebot tarafından yok sayılır; Crawl-delay, Bing ve Yandex tarafından tanınmaya devam etmektedir.

Temel sözdizimi şöyledir: Her kural grubu bir User-agent satırıyla başlar. Tüm botlar için User-agent: * kullanılır. Disallow: /admin/ satırı /admin/ yolu altındaki her şeyi engeller. Allow: /admin/public/ satırı ise bir Disallow kuralının üzerinde belirli bir yolu açar. Alan adlarına duyarlı değildir (Disallow büyük/küçük harf farketmez) ancak yol değeri büyük/küçük harfe duyarlıdır.

Sitemap bildirimi robots.txt'e şu şekilde eklenir: Sitemap: https://example.com/sitemap.xml — Bu satır herhangi bir User-agent grubuna bağlı olmaksızın dosyanın sonuna eklenir ve tüm botlar tarafından okunur. Birden fazla sitemap varsa birden fazla Sitemap satırı yazılabilir.

• Yaygın hata 1: Tüm siteyi Disallow: / ile engellemek — genellikle geliştirme ortamından kopyalama kaynaklı
• Yaygın hata 2: CSS, JS ve görüntü dosyalarını engellemek — Googlebot bu dosyaları render için kullanır, engellemek zararlı
• Yaygın hata 3: Crawl-delay kullanmak — Google tarafından yok sayılır, gerçek hız koruması sağlamaz
• Yaygın hata 4: robots.txt ile dizinden kaldırma beklentisi — Disallow yalnızca erişimi engeller, zaten dizindeki sayfayı kaldırmaz; bunun için noindex gerekir
• Yaygın hata 5: Robots.txt ile engellenen URL'yi sitemapa eklemek — çelişki, Googlebot'ta karışıklık yaratır

Google Search Console'da Sitemap Gönderimi ve Kapsam Hatalarını Çözme

Sitemapınızı Google Search Console'a göndermek, Google'ın sayfalarınızı daha hızlı bulması için en doğrudan yoldur. Bunu yapmak için Search Console'a giriş yapın, sol menüden Dizin oluşturma > Sitemap bölümüne gidin ve sitemap URL'nizi ekleyin. Google gönderilen sitemapı işlediğinde kaç URL keşfettiğini ve kaç tanesini dizine aldığını raporlar.

Search Console'daki Kapsam (Coverage veya Sayfa Dizini) raporunda görebileceğiniz yaygın hatalar ve çözümleri şunlardır: Gönderildi ve dizine alındı durumu idealdir. Gönderildi ama dizine alınmadı durumu, Google'ın sayfanın değer taşımadığına karar verdiğini gösterebilir — içeriği güçlendirin. Sitemaptaki URL'de canonical URL olmayan hatası, sitemapa canonical-olmayan bir URL eklendiği anlamına gelir — sitemapı ve canonical etiketleri hizalayın. Robots.txt tarafından engellendi hatası, URL'nin hem sitemapda hem robots.txt engeli altında olduğunu gösterir — çelişkiyi giderin. Kapsam raporunu her ay düzenli olarak incelemek, dizin sorunlarını erkenden yakalamanın en pratik yoludur.

Crawl Budget Gerçekte Kimin İçin Önemli?

Crawl budget, Googlebot'un belirli bir süre içinde bir siteye yapabileceği tarama sayısının üst sınırıdır. SEO içeriklerinde çokça işlenen bu kavram, gerçekte yalnızca belirli büyüklükteki siteler için anlamlı bir endişe kaynağıdır. Google'ın resmi belgelerine göre crawl budget öncelikle şu siteler için geçerlidir: günde değişen 10.000'den fazla URL'ye sahip orta ve büyük siteler; haftada değişen 1 milyon'dan fazla URL'ye sahip büyük siteler; büyük bölümü taranmış ama dizine alınmamış URL'lerden oluşan siteler.

Google'ın Search Advocate'i John Mueller, crawl budget'ın aşırı değerlendirildiğini ve çoğu sitenin hiçbir zaman bu konuyla ilgilenmesine gerek olmadığını defalarca dile getirmiştir. Sezgisel bir kılavuz olarak: sitenizde Search Console'da büyük miktarda taranmış-ama-dizine-alınmamış URL yoksa, crawl budget sizin için pratik bir sorun değildir. Odaklanmanız gereken asıl etkenler şunlardır: site otoritesi (kaliteli backlink profili), sayfa kalitesi ve özgünlüğü, iç linkleme yapısı ve güncellik sinyalleri. Crawl budget dolaylı olarak bu faktörlerin bir sonucudur — doğrudan optimize edilecek bir hedef değil.

• Crawl budget büyük site eşiği: genellikle 10.000+ sık değişen URL veya 1M+ URL
• Küçük/orta siteler (birkaç bin URL'ye kadar) için crawl budget endişesi gereksizdir
• Gerçek crawl verimliliği: gereksiz URL'leri temizle, yönlendirme zincirlerini kısalt, iç linklemeyi güçlendir
• Search Console > Kapsam raporu: büyük ölçekte taranmamış URL yoksa sorun yok

Sitemap, robots.txt ve Canonical Çakışma Senaryoları

En sık karşılaşılan teknik SEO çakışmaları, sitemap, robots.txt ve canonical etiketlerin birbiriyle çelişmesinden kaynaklanır. Bu çelişkiler Googlebot'ta karışıklık yaratır ve sayfaların dizine girememe ya da yanlış versiyonun dizine alınması sonuçlarına yol açar.

• Senaryo 1 — robots.txt engeli + sitemap kaydı: Disallow ile engellenen bir URL sitemapa eklenirse Google kural olarak robots.txt engeline uymaya eğilimlidir; sayfa ne taranabilir ne de dizine alınabilir. Çözüm: robots.txt engelini kaldırın ya da URL'yi sitemaptan çıkarın.
• Senaryo 2 — noindex + sitemap kaydı: noindex etiketi taşıyan bir sayfanın sitemapa eklenmesi çelişkidir. Google zamanla noindex'i uygular ama sizi Kapsam raporunda uyarır. Çözüm: noindex sayfalarını sitemaptan çıkarın.
• Senaryo 3 — canonical başka URL'ye işaret ediyor + sitemap kaydı: Sayfa B, canonical olarak Sayfa A'yı gösteriyorsa Sayfa B'yi sitemapa eklemek anlamsızdır. Google Sayfa A'yı tercih eder. Çözüm: sitemapa yalnızca canonical URL'leri ekleyin.
• Senaryo 4 — hreflang çakışması: Türkçe ve İngilizce sürümlerin her ikisi de birbirini hreflang ile göstermeli; yalnızca birinin sitemapa eklenmesi hreflang sinyalini zayıflatır. Çözüm: tüm dil versiyonlarını sitemapa dahil edin.
• Senaryo 5 — sitemap'te eski/kaldırılan URL'ler: Silinen veya yönlendirilen URL'lerin sitemapda kalması gereksiz tarama kaybına yol açar. Çözüm: sitemapı düzenli (üç ayda bir) gözden geçirin ve temizleyin.

ADWEBX ile Teknik SEO Altyapınızı Sağlıklı Tutun

XML sitemap ve robots.txt yapılandırması, SEO'nun en temel katmanıdır; hatalı kurulum tüm içerik üretim çabanızın önünde bir tavan oluşturur. ADWEBX olarak teknik SEO denetimlerinde sitemap-robots.txt-canonical üçlüsünü sistematik biçimde inceliyoruz ve Google Search Console kapsam raporundaki sorunları kök nedenleriyle çözüyoruz. Sitenizin teknik temelinin sağlıklı olup olmadığını anlamak için ücretsiz bir teknik SEO analizi talep edebilirsiniz. WhatsApp üzerinden de ulaşabilirsiniz: +90 532 247 73 88.

Sıkça Sorulan Sorular

Sitemap olmadan Google sayfalarımı bulamaz mı?

Google, sitemap olmadan da sayfaları iç linkler ve dış bağlantılar aracılığıyla bulabilir. Ancak sitemap, özellikle yeni sayfaların veya güncellenmiş içeriklerin daha hızlı keşfedilmesini sağlar. Küçük ve iyi iç linklenmiş sitelerde kritik olmasa da sitemap eklemek risk içermez ve her zaman önerilir.

priority değerini 1.0 yaparsam sayfam daha hızlı dizine girer mi?

Hayır. Google, priority alanını resmi olarak yok saymaktadır. Bu değeri 1.0, 0.5 veya 0.1 yapmanızın Google'ın tarama ve dizine alma kararları üzerinde hiçbir etkisi yoktur. Öncelik sinyali vermek istiyorsanız asıl yöntem iç linkleme: önemli sayfaları ana sayfa ve merkezi sayfalardan linklendirmektir.

robots.txt ile bir sayfayı Google'dan kaldırabilir miyim?

Hayır. robots.txt Disallow kuralı, Googlebot'un o URL'yi taramasını engeller; ancak sayfa zaten Google dizinindeyse oradan çıkarmaz. Dizinden kaldırma için sayfaya noindex meta etiketi eklemek ya da Google Search Console'daki URL kaldırma aracını kullanmak gerekir. Hâlâ taranabilir sayfaları Disallow yapmak yerine noindex etmek genellikle daha güvenli bir yöntemdir.

Crawl budget için ne yapmalıyım? Sitime optimizasyon şart mı?

Siteniz birkaç bin sayfadan oluşuyorsa ve Search Console'da çok sayıda taranmış-ama-dizine-alınmamış URL yoksa crawl budget sizin için pratik bir sorun değildir. Google arama mühendisi John Mueller bu konuyu açıkça ortaya koymuştur: crawl budget büyük ölçekte URL üreten (genellikle 10.000+ sık değişen veya 1 milyon+ URL) siteler için anlamlıdır. Odağınızı sayfa kalitesi, backlink otoritesi ve iç linkleme yapısına çevirmek çok daha yüksek getiri sağlar.

Sitemap index nedir, ne zaman kullanılır?

Tek bir XML sitemap dosyası en fazla 50.000 URL veya 50 MB (sıkıştırılmamış) içerebilir. Bu limitleri aşan büyük siteler için sitemap index dosyası kullanılır: bu dosya, her biri 50.000 URL sınırına uyan birden fazla sitemap dosyasını listeleyen üst düzey bir XML belgesidir. Sitemap index dosyası Search Console'a tek bir dosya olarak gönderilir ve tüm alt sitemapları kapsayan bir görünüm sunar.