Tarama, Dizinleme ve Sıralama

Giriş

Günümüzde insanlar arama motorlarını bir cevap makinesi olarak görüyor, soru ve ihtiyaçlarını karşılamak için arama motorlarına başvuruyor. Arama motorları ise kullanıcı ihtiyaçlarına en hızlı ve uygun cevapları sıralayabilmek için web sitelerini tarıyor, verileri depoluyor ve birçok sinyali dikkate alarak sıralıyor.

SEO çalışmalarında arama motoru sonuç sayfalarında (SERP) görünürlük ve üst sıralarda yer almak hedeflenir. Böylece hedef kitleye görünür olmak ve organik trafiğin artırılması amaçlanır. Arama motorları botlar aracılığıyla web sitelerini tarar yani crawl eder, sonrasında da dizinine ekler yani index'ler. Son olarak dizine eklediği verileri birçok faktör ve sinyale göre sıralar. Bu sürece hakim olmak, web sitesinin içeriğinin arama motorları tarafından daha iyi anlaşılması ve daha iyi sıralamalar elde edebilmek için gereklidir.

Bu içerikte arama motorları nasıl çalışır, web sitelerini nasıl tarar (crawling), verileri dizine ekler (indexing) ve sıralar (ranking) bunlardan bahsedeceğiz.

Arama motoru nedir, nasıl çalışır?

İnternetteki web sitelerini tarayarak uygun ve kaliteli sonuçları hızlı bir şekilde kullanıcılara sunmayı amaçlayan araçlara arama motoru denir. Her arama motoru kullanıcılara en alakalı sonuçları sunmak için çeşitli sıralama faktörlerine ve sinyallere dikkat eder. Site hızı, içerik kalitesi, anahtar kelimeler, arama niyeti ve daha birçok kritere göre değerlendirme yapıldıktan sonra SERP (arama motoru sonuç sayfası) oluşturulur ve alakalı sonuçlar listelenir. Bu sayede kullanıcıların arama motoru üzerinden aradığı bilgiye ulaşabilmesi hedeflenir.

En popüler arama motorları şunlardır:

• Google
• Bing
• Yahoo
• Yandex
• DuckDuckGo

Arama motorlarının interneti tarama, verileri saklama ve sıralama süreci en basit haliyle şu 3 aşama ile açıklanabilir:

• Tarama (Crawling): Arama motorları, crawlers (bot) adını verdiği arama motoru botları ile internette bulunan sayfaları tarar. İnternette yer alan her URL'i inceler, kod yapısını ve sayfa içeriğini anlamlandırmaya çalışır.
• Dizine ekleme (Indexing): Tarama sürecinde bulunan veri ve dosyaların veri tabanına kayıt edilme sürecidir. Taranan veriler kategorize edilir ve alakalı arama sorgularında listelenmek için veri tabanında saklanır.
• Sıralama (Ranking): Dizine eklenen yani index'lenen sayfaların sonuç sayfalarındaki sıralanma sürecidir. SERP sonuçları sıralama faktörleri ve arama motorlarının dikkat ettiği sinyallere göre belirlenir.

Arama motoru botları (crawlers)

Arama motorları interneti tararken “crawlers” adı verilen botları kullanır. Bu botlar kullanıcı gibi siteyi ziyaret eder ve sunucuya bir istekte bulunur. Sürekli web sitelerini ziyaret ederek güncellenmiş bir içerik olup olmadığını kontrol ederler. Sunucuya istekte bulunan bu botların her birinin farklı bir user-agent adı vardır. En çok kullanılan arama motorlarına ait user agent isimleri şunlardır:

• Google — Googlebot
• Bing — Bingbot
• Yahoo — Slurp Bot
• Yandex — Yandexbot
• DuckDuckGo — DuckDuckbot

Tarama (crawling): Arama motoru sayfaları nasıl tarar?

Arama motoru crawlers (spider veya bot olarak da adlandırılır) aracılığıyla sayfaları tarar. Botlar sayfaları crawl ederken yani tararken, bir sayfadan bir sayfaya geçerek hareket eder. Güncellenen veya yeni içerikleri keşfetmek için bağlantıları kullanır.

Tarama aşamasında sorun yaşanmaması için botların sayfalara ulaşabileceği bağlantıların olması gerekir. Bu yüzden iç link yapısı ve backlink'ler çok önemlidir. Çünkü arama motorları bu bağlantıları kullanarak tarama yapmaktadır.

Tarama konusunda dikkat edilmesi gereken diğer bir konu Crawl Budget yani tarama bütçesidir. Google bir siteyi ziyaret ettiğinde belirli bir süre vakit geçirir. Bu süreyi en iyi şekilde kullanmak ve önemli sayfaların taranmasını sağlamak gerekir. Bu yüzden sitemap ve robots.txt dosyaları etkili bir şekilde kullanılmalıdır. Sitemap dosyası ile taranmasını istenen sayfalara ait bir liste belirtilir ve botların tarama yaparken işini kolaylaştırmak amaçlanır. Robots.txt dosyasında ise hangi botların hangi sayfaları tarayıp tarayamayacağı hakkında yönergeler bulunur.

Dizinleme (indexing): Arama motoru sayfalar hakkındaki bilgileri nasıl okur ve saklar?

Tarama işleminden sonra arama motorları sayfanın ne hakkında olduğunu anlamak için sayfa elementlerini ve kod yapısını inceler.

Sayfanın HTML yapısı, metin içeriği, başlık yapısı, tıklanabilir bağlantılar ve daha birçok bilgiyi kaydeder. Bu bilgiler, bir sonraki aşamada sayfaların hangi arama sorguları ile ilişkilendirilmeleri gerektiğini anlamak için veritabanında depolanır. Bu süreç dizine ekleme (Indexing) olarak adlandırılır. Kullanıcılar arama yaptığında arama sorgusuyla alakalı URL'leri listelemeye yarar.

Index, arama motoru botları tarafından taranan ve içeriği hakkında bilgiye sahibi olduğu sayfalardan oluşan bir veritabanıdır. Arama motorları arama sonuçlarında sıralama yaparken bu veritabanından ilgili aramayla alakalı sayfaları seçer ve sonuçları buna göre sıralar.

Her taranan sayfanın dizine eklenme garantisi yoktur. Sayfaların dizine eklenmemesinin birden fazla sebebi olabilir. Meta etiketi kullanılarak “noindex” komutu verilen sayfalar arama motorları tarafından dizine eklenmez. Diğer bir sebep ise sayfa içeriğinin zayıf veya kalitesiz içeriğe sahip olması olabilir. Kullanıcıya fayda sağlamayacak bu sayfalar kalitesiz veya zararlı içeriğe sahip olduğu için arama motorları tarafından dizine eklenmez.

Dizine eklenen sayfalar nasıl kontrol edilir?

Dizine eklenen sayfaları görmek için Google Search Console'u kullanmak mümkün. Search Console > Dizin oluşturma > Sayfa sayısı sekmesinde dizine eklenen ve eklenmeyen sayfaların sayısı yer alır. Bu sekmede dizine eklenmeyen sayfalar ve dizine eklenmeme sebepleri de yer alır.

Dizine eklenen yani indexlenen sayfaları kontrol etmenin diğer bir yolu “site:” arama operatörünü kullanmaktır. Google'da “site:siteadı.com” şeklinde bir arama yaparak, ilgili domaine ait dizine eklenen sayfaları görebilirsiniz.

Sıralama (ranking): Arama motoru sayfaları nasıl sıralar?

Taranma ve dizine eklenme süreçleri gözle görülebilir olmasa da sıralama yani ranking, arama motoru kullanan herkesin aşina olduğu ve tecrübe ettiği bir süreçtir. Kullanıcılar bir arama yaptığında arama motoru dizine eklediği sayfalar arasından arama sorgusuyla alakalı sayfaları hızlıca listeler. Sayfa içeriğinin kalitesi, sayfanın hızı, kod yapısının uygunluğu, güvenilirlik ve daha birçok sıralama faktörüne göre en iyi sonuçlar listenin en başında yer alır. Kriterlere uygunluk azaldıkça sıralama da düşer.

Arama motorları sonuçları listelerken şu konulara dikkat eder:

• Kullanıcının arama niyetini anlamak
• Arama niyetine uygun alakalı sonuçlara sahip sayfaları belirlemek
• Bu sayfaları alaka düzeyi ve kalite seviyesine göre sıralamak

Aynı konuda içeriği olan veya aynı hizmeti veren sayısız web sitesi bulunuyor. Bu sebeple rakiplerden ayrışmak, organik trafik çekebilmek için sıralama faktörlerine ve arama motorlarının dikkat ettiği konulara göre sayfa içeriğini optimize etmek gerekir. Kullanıcılar genelde ilk sayfada bulunan, hatta ilk 3 sırada yer alan sayfaları ziyaret ederler. Bu yüzden arama motoru yönergelerine uymak, SEO optimizasyon çalışmaları yapmak web sitesinin daha iyi sıralama alması ve organik trafiğinin artması için gereklidir.

Özet

Arama motorları yeni ve güncellenmiş sayfaları keşfetmek ve ilgili arama sorgularıyla eşleştirmek için interneti crawl eder, yani tarar. Tarama sürecinde elde ettiği verileri dizine ekler yani indexler. İndexlenen veriler, alakalı sorgularda sonuç sayfalarında sıralanmak ve kullanıcılara sunulmak üzere arama motoru veri tabanında depolanır. Sonuçlar alaka düzeyi, kalite ve daha birçok farklı kritere göre sıralanır.

Bu sürece ve nasıl çalıştığına dair bilgi sahibi olmak, SEO çalışmaları yapan web sitesi sahiplerine ve SEO uzmanlarına büyük fayda sağlar. Web sitesinin arama motorları tarafından görünürlüğünü ve anlaşılabilirliğini arttırmayı kolaylaştırır. Böylece arama sonuçlarında daha iyi sıralamalar elde etme ihtimali de artar.