Crawl Budget Optimizasyonu

Crawl Budget Optimizasyonu SEO çalışmaları arasında en önemli aşamalardan bir tanesidir. Türkçe karşılığı Tarama Bütçesi olan Crawl Budget, Google tarafından duyurulan bir metriktir. Crawl Budget birden fazla metriğe bağlı olarak değişkenlik gösterebilmektedir. Peki tam olarak Crawl Budget nedir? Nasıl optimize edilir? Gelin hep birlikte bu soruların yanıtlarını arayalım.

Crawl Budget Nedir?

Google Botları düzenli olarak dünya üzerinde mevcut olan tüm web sitelerini crawl eder. Bu işlemi her web sitesi için farklı sıklıkla yapar. Crawl Budget her web sitesi için farklı olarak belirlenen tarama limitlerini ifade eder. Bu limitler sitelerin boyutları, sağlığı ve sahip olduğu bağlantılara göre değişkenlik göstermektedir. Nitekim bazı web sitelerinin günlük 10 tarama limiti mevcut iken bazılarının milyonlarca olabilir.

Crawl Budget Optimizasyonu bu noktada sitenizdeki eksikleri gidermenize ve Google Botlarının daha sık ziyaretlerde bulunmasına olanak sağlamaktadır. Tarama Bütçesi Optimizasyonuna geçmeden önce Googlebot nedir ve siteleri nasıl tarar buna göz atalım.

Googlebot Nedir?

Google Botları gerçek kullanıcıları simüle eden tarayıcılardır. Bu botlar gerçek kullanıcılar gibi davranarak her gün web sitelerini ziyaret eder. Ziyaret ettikleri web sitelerinin ilk olarak Robots.txt dosyasını kontrol eder. Bu dosyada site sahiplerinin belirlediği tüm sayfaları ziyaret eder. Ziyaret ettikleri tüm sayfaları crawl ederek indexe kaydeder. İndekslenen bu sayfalar ise ilgili arama sonuçlarında kullanıcılara sunulur.

Eğer Googlebot sitenizi ziyaret etmemiş ve indexine kaydetmemişse kullanıcılar tarafından yapılan arama sonuçlarında yer alamazsınız. Bu nedenle sitenizin etkin bir şekilde taranması ve indexlenmesi büyük önem arz etmektedir. Crawl budget Google tarafından otomatik olarak belirlenen bir limittir. Bu limiti manuel olarak doğrudan artırmamız mümkün değildir. Ancak yapacağımız optimizasyon çalışmaları ile bu limiti etkin bir şekilde kullanabiliriz.

Crawl Budget Optimizasyonunun Mantığı

Crawl Budget Optimizasyonu sitelerin taranması, indekslenmesi ve sıralama alması açısından oldukça önemlidir. Bu optimizasyon çalışması ile önemli sayfaları ön plana çıkararak daha hızlı indekslenmesini ve sıralama almasını sağlayabiliriz. Örneğin fiziksel bir mağazamız olduğu varsayalım, mağazamızın vitrinine her zaman en iyi ürünlerimizi sergileriz. Böylece önünden geçen herkes bu ürünlerimizi görür. Mağazamızda aktif olarak kullandığımız demirbaş araç gereçleri ise müşterilerin giremeyeceği yerlerde bulundururuz. Özetle Crawl Budget optimizasyonu çalışması da böyledir. Ziyaretçilerinizin görmesi gereken önemli sayfaları ön plana çıkarıp, önemsiz veya görülmemesi gereken sayfaları arka plana iterek arama sonuçlarından daha etkin sonuçlar alabilirsiniz.

Crawl Budget her site için farklı bir önem derecesine sahiptir. E-ticaret siteleri gibi çok sayıda sayfası bulunan siteler için büyük bir önem arz eder. Bu sebeple e-ticaret ve benzeri web sitelerinde Crawl Budget Optimizasyonu oldukça önemlidir.

Crawl Budget Nasıl Optimize Edilir?

Tarama Bütçesi (Crawl Budget) Optimizasyonu oldukça kritik bir çalışmadır. Eğer çok fazla sayıda indeksli sayfanız mevcut ise atılacak herhangi yanlış bir adım çok önemli olumsuz sonuçlara yol açabilir.

Robots.txt Dosyasını Düzenleyin

Optimizasyon çalışmasında en önemli nokta Robots.txt dosyasıdır. Bu dosya arama motoru botları için özel olarak oluşturulur ve amacı yalnızca bu botlara gerekli sinyalleri vermektir. Google, Yahoo, Bing ve Yandex gibi arama motorlarının botları ilk olarak bu dosyayı ziyaret eder. Web sitesi sahipleri bu dosya ile botlara taranması ve taranmaması gereken sayfaları belirtir. Ek olarak sitenin haritasını sunarak botların sitede daha hızlı ve etkin bir şekilde tarama yapmasına olanak sağlar.

Örneğin filtreleme sonucu oluşan sayfaların taranmasını engelleyebilirsiniz. Bu sayfalar birbiri ile benzer yapı ve içeriğe sahip olduğu için arama sonuçlarında çıkmasının bir artısı olmayacaktır. Robots.txt dosyasında taranmasını engelleyebileceğiniz sayfa türleri;

• Noindex etiketine sahip sayfalar
• Pagination yapısına sahip sayfalar
• Arama sonucu oluşan sayfalar
• Parametreli sayfalar
• Test sayfaları
• Filtreleme sonucu oluşan sayfalar

Örnek bir robots.txt dosyası için news.google.com örneğine bakabiliriz;

Botların taramasını istemediğiniz dizinleri “Disallow” ayarı ile belirleyerek botların bu dizinin altındaki tüm sayfaların indekslenmesini engelleyebilirsiniz. Örnekten yola çıkarsak “news.google.com/topics/” dizini ve altındaki tüm sayfalar disallow edilerek taranmaması yönünde Googlebot’a sinyal göndermektedir.

Sitenizde eğer bir Robots.txt dosyası mevcut değilse arama motorlarının botları sitenizi yine de tarar. Ancak örnekte belirttiğimiz gibi önemli, önemsiz sayfaların sinyallerini alamadığı için sitede yer alan tüm sayfaları crawl edecektir. Bu durumda botlar önemsiz sayfalarınızı tararken tüm bütçenizi tüketebilir ve önemli sayfalarınıza uğrayamayabilir. Bu sebeple Robots.txt Crawl Budget Optimizasyonunun en önemli parçasıdır.

Site Haritanızı Sürekli Güncel Tutun

Site haritaları sitedeki sayfa yapılarının daha iyi anlaşılabilmesi açısından büyük bir öneme sahiptir. Arama motoru botları siteleri daha verimli bir şekilde tarayabilmek için bu dosyaları ziyaret eder. Site haritaları sayfaların en son ne zaman güncellendiği ve farklı dil sürümleri gibi bilgiler içerir. Bu bilgiler tarama botlarının daha etkin veri almasına olanak sağlar.

Sitenizin Teknik Hatalarını Giderin

Teknik sorunlar arama motoru botlarının sayfalarınıza erişmesine ve haliyle crawl etmesine engel olacaktır. Özellikle yönlendirme, bulunamayan ve sunucu hatalarına sahip sayfalar arama motoru botları tarafından taranamacağı için indekslenemeyecektir. Arama motoru botları sürekli bu hatalarla karşılaştığı sayfalara bir noktadan sonra uğramayı bırakır.

Örneğin çok sayıda 4xx veya 5xx status koduna sahip sayfanız mevcut ise arama motoru botları sürekli bu sayfalara uğrayarak tarama bütçenizi tüketebilir. Bu durumda botlar önemli sayfalarınıza uğramadan sitenizi terk eder.

Özellikle 5xx status koduna sahip sayfalar tarama bütçenizin azalmasına dahi yol açabilir. Nitekim arama motoru botları sitenize her uğradığında 5xx sunucu hatası ile karşılaştığında gereğinden fazla istek attığını düşünür. Fazla istek attığı için sitenizde sunucu hatalarına yol açtığını ve bu sebeple bu istek sayısının azaltılması gerektiği sonucuna varır. Bu sebeple sunucu hataları crawl budget limitlerini olumsuz yönde etkileyen en önemli faktörlerin arasında yer almaktadır.

Site Hızınızı Kontrol Edin

Arama motoru botları sayfalarınızı gerçek bir kullanıcı gibi ziyaret eder. Nitekim bu sayfalar ne kadar yavaş ise tarama hızı da aynı derecede yavaş ilerleyecektir. Zaman aşımına uğrayan ve yavaş yüklenen sayfalar crawl botlarını yavaşlattığı gibi kullanıcı deneyimini de doğrudan etkileyen bir faktör olarak karşımıza çıkmaktadır.

Yönlendirmeleri En Aza İndirgeyin

Sayfa yönlendirme zincirleri çok uzun olduğunda arama motoru botları zaman zaman bu yönlendirmeleri izlememektedir. Ek olarak birden fazla yönlendirme isteği bazı durumlarda zaman aşımına uğrayarak hedef sayfa erişimlerini engellemektedir. Bu durumda crawl bütçesi verimsiz kullanılmaktadır.

Crawl Etkinliği Nasıl Kontrol Edilir?

Bu noktaya kadar Crawl Budget hakkında her şeyi öğrendik; peki crawl isteklerini nasıl kontrol edebiliriz? Tabii ki Google Search Console üzerinden gönderilen tarama isteklerine ve diğer verilere ulaşabiliriz. Bu ekran üzerinden Googlebot’un sitemizde nasıl gezdiğini, hangi zaman aralığında uğradığını ve ne gibi hatalarla karşılaştığını gözlemleyebiliriz. Bu istatistik sayfasına Google Search Console > Settings > Crawling yolunu izleyerek ulaşabilirsiniz.

Örnek bir Google Search Console Tarama İstatistikleri sayfası;

Crawl Budget Optimizasyonu Önemi

Crawl budget optimizasyon çalışması neden bu kadar önemlidir? Özellikle anlık bilgi sunan haber siteleri örneğinden yola çıkarsak sayfalarımızın hızlı indekslenmesi, arama sonuçlarında yer alması ve sıralanması açısından oldukça büyük bir öneme sahiptir.