Tarama, Dizinleme ve Sıralama
Ali Güngör
Ali Güngör

Günümüzde insanlar arama motorlarını bir cevap makinesi olarak görüyor, soru ve ihtiyaçlarını karşılamak için arama motorlarına başvuruyor. Arama motorları ise kullanıcı ihtiyaçlarına en hızlı ve uygun cevapları sıralayabilmek için web sitelerini tarıyor, verileri depoluyor ve birçok sinyali dikkate alarak sıralıyor.

SEO çalışmalarında arama motoru sonuç sayfalarında (SERP) görünürlük ve üst sıralarda yer almak hedeflenir. Böylece hedef kitleye görünür olmak ve organik trafiğin artırılması amaçlanır. Arama motorları botlar aracılığıyla web sitelerini tarar yani crawl eder, sonrasında da dizinine ekler yani index’ler. Son olarak dizine eklediği verileri birçok faktör ve sinyale göre sıralar. Bu sürece hakim olmak, web sitesinin içeriğinin arama motorları tarafından daha iyi anlaşılması ve daha iyi sıralamalar elde edebilmek için gereklidir. 

Bu içerikte arama motorları nasıl çalışır, web sitelerini nasıl tarar(crawling), verileri dizine ekler(indexing) ve sıralar(ranking) bunlardan bahsedeceğiz. 

Arama Motoru Nedir, Nasıl Çalışır?

İnternetteki web sitelerini tarayarak uygun ve kaliteli sonuçları hızlı bir şekilde kullanıcılara sunmayı amaçlayan araçlara arama motoru denir. Her arama motoru kullanıcılara en alakalı sonuçları sunmak için çeşitli sıralama faktörlerine ve sinyallere dikkat eder. Site hızı, içerik kalitesi, anahtar kelimeler, arama niyeti ve daha birçok kritere göre değerlendirme yapıldıktan sonra SERP(arama motoru sonuç sayfası) oluşturulur ve alakalı sonuçlar listelenir. Bu sayede kullanıcıların arama motoru üzerinden aradığı bilgiye ulaşabilmesi hedeflenir.

En popüler arama motorları şunlardır:

  • Google
  • Bing
  • Yahoo
  • Yandex
  • DuckDuckGo

Arama motorlarının interneti tarama, verileri saklama ve sıralama süreci en basit haliyle şu 3 aşama ile açıklanabilir:

  • Tarama(Crawling): Arama motorları, crawlers(bot) adını verdiği arama motoru botları ile internette bulunan sayfaları tarar. İnternette yer alan her URL’i inceler, kod yapısını ve sayfa içeriğini anlamlandırmaya çalışır.

  • Dizine ekleme(Indexing): Tarama sürecinde bulunan veri ve dosyaların veri tabanına kayıt edilme sürecidir. Taranan veriler kategorize edilir ve alakalı arama sorgularında listelenmek için veri tabanında saklanır.

  • Sıralama(Ranking): Dizine eklenen yani index’lenen sayfaların sonuç sayfalarındaki sıralanma sürecidir. SERP sonuçları sıralama faktörleri ve arama motorlarının dikkat ettiği sinyallere göre belirlenir.

Arama Motoru Botları (Crawlers)

Arama motorları interneti tararken ”crawlers” adı verilen botları kullanır. Bu botlar kullanıcı gibi siteyi ziyaret eder ve sunucuya bir istekte bulunur. Sürekli web sitelerini ziyaret ederek güncellenmiş bir içerik olup olmadığını kontrol ederler. Sunucuya istekte bulunan bu botların her birinin farklı bir user-agent adı vardır. En çok kullanılan arama motorlarına ait user agent isimleri şunlardır:

 

  • Google - Googlebot
  • Bing - Bingbot
  • Yahoo - Slurp Bot
  • Yandex - Yandexbot
  • DuckDuckGo - DuckDuckbot

 

Tarama(Crawling): Arama Motoru Sayfaları Nasıl Tarar?

Arama motoru crawlers (spider veya bot olarak da adlandırılır) aracılığıyla sayfaları tarar. Botlar sayfaları crawl ederken yani tararken, bir sayfadan bir sayfaya geçerek hareket eder. Güncellenen veya yeni içerikleri keşfetmek için  bağlantıları kullanır. 

Tarama aşamasında sorun yaşanmaması için botların sayfalara ulaşabileceği bağlantıların olması gerekir. Bu yüzden iç link yapısı ve backlink’ler çok önemlidir. Çünkü arama motorları bu bağlantıları kullanarak tarama yapmaktadır. 

Tarama konusunda dikkat edilmesi gereken diğer bir konu Crawl Budget yani tarama bütçesidir. Google bir siteyi ziyaret ettiğinde belirli bir süre vakit geçirir. Bu süreyi en iyi şekilde kullanmak ve önemli sayfaların taranmasını sağlamak gerekir. Bu yüzden sitemap ve robots.txt dosyaları etkili bir şekilde kullanılmalıdır. Sitemap dosyası ile taranmasını istenen sayfalara ait bir liste belirtilir ve botların tarama yaparken işini kolaylaştırmak amaçlanır. Robots.txt dosyasında ise hangi botların hangi sayfaları tarayıp tarayamayacağı hakkında yönergeler bulunur. 

Dizinleme (Indexing): Arama Motoru Sayfalar Hakkındaki Bilgileri Nasıl Okur ve Saklar?

Tarama işleminden sonra arama motorları sayfanın ne hakkında olduğunu anlamak için sayfa elementlerini ve kod yapısını inceler.  Sayfanın HTML yapısı, metin içeriği, başlık yapısı, tıklanabilir bağlantılar ve daha birçok bilgiyi kaydeder. Bu bilgiler, bir sonraki aşamada sayfaların hangi arama sorguları ile ilişkilendirilmeleri gerektiğini anlamak için veritabanında depolanır. Bu süreç dizine ekleme(Indexing) olarak adlandırılır. Kullanıcılar arama yaptığında arama sorgusuyla alakalı URL’leri listelemeye yarar.

Index, arama motoru botları tarafından taranan ve içeriği hakkında  bilgiye sahibi olduğu sayfalardan oluşan bir veritabanıdır. Arama motorları arama sonuçlarında sıralama yaparken bu veritabanından ilgili aramayla alakalı sayfaları seçer ve sonuçları buna göre sıralar. 

Her taranan sayfanın dizine eklenme garantisi yoktur. Sayfaların dizine eklenmemesinin birden fazla sebebi olabilir. Meta etiketi kullanılarak “noindex” komutu verilen sayfalar arama motorları tarafından dizine eklenmez. Diğer bir sebep ise sayfa içeriğinin zayıf veya kalitesiz içeriğe sahip olması olabilir. Kullanıcıya fayda sağlamayacak bu sayfalar kalitesiz veya zararlı içeriğe sahip olduğu için arama motorları tarafından dizine eklenmez.

Dizine Eklenen Sayfalar Nasıl Kontrol Edilir?

Dizine eklenen sayfaları görmek için Google Search Console’u  kullanmak mümkün. Search Console>Dizin oluşturma> Sayfa Sayısı sekmesinde dizine eklenen ve eklenmeyen sayfaların sayısı yer alır. Bu sekmede dizine eklenmeyen sayfalar ve dizine eklenmeme sebepleri de yer alır.

Dizine eklenen yani indexlenen sayfaları kontrol etmenin diğer bir yolu “site:” arama operatörünü kullanmaktır. Google’da “site:siteadı.com” şeklinde bir arama yaparak, ilgili domaine ait dizine eklenen sayfaları görebilirsiniz. 

Sıralama(Ranking): Arama Motoru Sayfaları Nasıl Sıralar?

Taranma ve dizine eklenme süreçleri gözle görülebilir olmasa da sıralama yani ranking, arama motoru kullanan herkesin aşina olduğu ve tecrübe ettiği bir süreçtir. Kullanıcılar bir arama yaptığında arama motoru dizine eklediği sayfalar arasından arama sorgusuyla alakalı sayfaları hızlıca listeler. Sayfa içeriğinin kalitesi, sayfanın hızı, kod yapısının uygunluğu, güvenilirlik ve daha birçok sıralama faktörüne göre en iyi sonuçlar listenin en başında yer alır. Kriterlere uygunluk azaldıkça sıralama da düşer. 

Arama motorları sonuçları listelerken şu konulara dikkat eder:

 

  • Kullanıcının arama niyetini anlamak
  • Arama niyetine uygun alakalı sonuçlara sahip sayfaları belirlemek
  • Bu sayfaları alaka düzeyi ve kalite seviyesine göre sıralamak

 

Aynı konuda içeriği olan veya aynı hizmeti veren sayısız web sitesi bulunuyor. Bu sebeple rakiplerden ayrışmak, organik trafik çekebilmek için sıralama faktörlerine ve arama motorlarının dikkat ettiği konulara göre sayfa içeriğini optimize etmek gerekir. Kullanıcılar genelde ilk sayfada bulunan, hatta ilk 3 sırada yer alan sayfaları ziyaret ederler. Bu yüzden arama motoru yönergelerine uymak, SEO optimizasyon çalışmaları yapmak  web sitesinin daha iyi sıralama alması ve organik trafiğinin artması için gereklidir.

Özet

Arama motorları yeni ve güncellenmiş sayfaları keşfetmek ve ilgili arama sorgularıyla eşleştirmek için interneti crawl eder, yani tarar. Tarama sürecinde elde ettiği verileri dizine ekler yani indexler. İndexlenen veriler, alakalı sorgularda sonuç sayfalarında sıralanmak  ve kullanıcılara sunulmak üzere arama motoru veri tabanında depolanır. Sonuçlar alaka düzeyi, kalite ve daha birçok farklı kritere göre sıralanır. 

Bu sürece ve nasıl çalıştığına dair bilgi sahibi olmak, SEO çalışmaları yapan web sitesi sahiplerine ve SEO uzmanlarına büyük fayda sağlar. Web sitesinin arama motorları tarafından görünürlüğünü ve anlaşılabilirliğini arttırmayı kolaylaştırır. Böylece arama sonuçlarında daha iyi sıralamalar elde etme ihtimali de artar. 

SEO 101: Tarama, Dizinleme ve Sıralama – Seoart Ekibi
  • Başlangıç Kılavuzu : Motorların web sitenizi okuyabilmesi için tarama erişilebilirliği
  • SEO 101 : Arama yapanların sorularına yanıt veren ilgi çekici içerik
  • SEO Sözlüğü : SEO hakkında birçok blog ve makale okuduysanız ve terimlerden dolayı kafanız karıştıysa endişelenmeyin. SEO kelime ve jargonunun tüm ayrıntılarını öğrenmenin başka bir dil öğrenmek gibi hissettirebileceğini biliyoruz. Karşınıza çıkan tüm yeni terimleri anlamanıza yardımcı olmak için tanımlar ve yardımcı bağlantılarla chapter bazlı bir SEO sözlüğü derledik. Daha sonra incelemek için bu sayfayı yer imlerine eklemek isteyebilirsiniz.
  • Keyword Research : SEO uyumlu içerikler oluştururken dikkat edilmesi gereken birçok detay vardır. Ancak direkt olarak içeriğin amacını karşılaması ve içeriğin SEO açısında etkili olması için en önemli detay nedir? Elbette, keyword, yani anahtar kelimeler. Bu içerikte keyword research ile ilgili tüm detaylara ulaşabilirsin!
  • Tarama, Dizinleme ve Sıralama : SEO çalışmalarında arama motoru sonuç sayfalarında (SERP) görünürlük ve üst sıralarda yer almak hedeflenir. Böylece hedef kitleye görünür olmak ve organik trafiğin artırılması amaçlanır. Arama motorları botlar aracılığıyla web sitelerini tarar yani crawl eder, sonrasında da dizinine ekler yani index’ler. Son olarak dizine eklediği verileri birçok faktör ve sinyale göre sıralar. Bu sürece hakim olmak, web sitesinin içeriğinin arama motorları tarafından daha iyi anlaşılması ve daha iyi sıralamalar elde edebilmek için gereklidir. 
  • On-Page SEO : SERP’de görünür olmak, organik trafiğinizi arttırmak için On-Page SEO çalışmaları yapmanız oldukça önemlidir. Bu yazımızda “On-Page SEO Nedir?“, “Neden Önemlidir?” gibi sorulara yanıt vereceğiz.
  • Teknik SEO : Teknik SEO, tüm SEO çalışmaları içinde en önemli yapı taşlarından bir tanesidir. SEO çalışmalarını oluşturan 3 ana kategoriden bir tanesi olan Teknik SEO, On Page SEO ve Off Page SEO ile birlikte bir etkin SEO çalışmasının temellerini oluşturur. 
  • Link Oluşturma & Otorite : SERPler içerisinde öne çıkacak snippet/şema işaretlemesi
  • Ölçme ve Takip : Teknik SEO, tarama optimizasyonu ve içerik pazarlaması gibi birçok onlarca SEO çalışması bulunmaktadır. Yürüttüğünüz bu çalışmaların başarıya ulaşıp, ulaşmadığını veya doğru strateji ile ilerleyip, ilerlemediğinizden emin olmak için Ölçme ve Takip işlemi yürütmeniz gerekmektedir. 
  • Content Marketing : Hizmetlerin dijital dünyaya taşınması ile yeni pazarlama yöntemleri öne çıkıyor. Content marketing, yani içerik pazarlaması ise dijital dünyada markanızı bir adım öne çıkarmak için çok önemli bir rol ediniyor.
  • Google Ads Verileri ve SEO İlişkisi : Genellikle site trafiğini artırmak ya da marka bilinirliği yaratmak için tercih edilen Google Ads ile SEO performasınızı da artırabilirsiniz.
  • SEO Migration : Web sitenizin altyapısını daha iyi performans elde etmek veya yeni bir kullanıcı arayüzüne geçmek için değiştirme ihtiyacı duyabilirsiniz. Bu değişim oldukça uzun soluklu ve ciddi bir süreçtir. Migration işlemi olarakta bilinen bu sürecin kuşkusuz en önemli basamağı SEO ayar işlemleridir.
  • Site Audit : Web sitemizin SERP sonuçlarının, kullanıcı deneyiminin ve SEO performansının yeterli düzeyde olup olmadığını kontrol etmemiz gerekir. Bu kontroller sayesinde yolunda gitmeyen noktaları düzeltebilir, olası kayıplarımızın önüne geçebiliriz. İşte web sitelerimizde yaptığımız bu rutin kontrollere Site Audit denir. 
  • Off Page SEO : Arama motoru optimizasyonu gerçekleştirirsen birçok farklı çalışma yapmak gerekir. Yapılan bu çalışmalar temelde On Page SEO ve Off Page SEO olarak ikiye ayrılır. Sayfa dışı SEO olarak tanımlanan Off Page SEO, web sitesi dışında yapılan trafik artırma çalışmalarını ifade eder. Site dışında yapılan çelitli çalışmalar ile marka bilinirliğinizi artırabilir ve daha görünür olabilirsiniz.
  • Mobil SEO : Günümüzde internet kullanımının büyük bir kısmı mobil cihazlardan gerçekleşir. Öyle ki Google'da yapılan aramalarda da mobil cihazlar, masaüstü cihazların önüne geçmiştir. Buna bağlı olarak web siteleri potansiyel olarak trafiğinin büyük bir kısmını mobil cihazlardan yapılan aramalardan elde eder. Giderek artış gösteren mobil cihaz kullanımı ile SEO'ya bakış açısı da değişmiştir. Rakiplerinizin arkasında kalmamak ve trafiğinizi artırmak için Mobil SEO oldukça önemli bir konudur.
Bu kılavuz boyunca yukarıdaki alanların her birine zaman ayıracağız, ancak bu kılavuzu bir bütün olarak nasıl yapılandırdığımıza dair bir fikir verdiği için onları burada tanıtmak istedik.

Ayrıca ilginizi çekebilir

SEO Puanınızı Öğrenin!

Seoart olarak ücretsiz olarak hazırladığımız haber bültenlerine ilk ulaşanlardan biri olmak için e-bülten formumuza kayıt olun ve e-posta adresinizi onaylayın.

Arama motoru optimizasyonu hakkında detaylı bilgi almak için formu doldurun.