Arama Motorları Nasıl Çalışır
Internet’te çoÄŸu zaman her konuda son derece güzel içerikler mevcut. Ama problem bunları bulmak. Dolayısı ile Internet’tebir ÅŸey aradığımız zaman hemen arama motorlarına dönüyoruz. Peki ama bu arama motorları nasıl çaılışıyorlar. Bende bunu merak ettim. Daha sonra öğrendiklerimi paylaÅŸmak iyi br fikir olabilir diyerek bir yazı halinde buraya yazdım.
Ä°lk önce belirtmek lazım ki baÅŸlıca iki tür arama motoru var. Bunlardan ilk grup insanlar tarafından oluÅŸturulanlar. Bunların başında DMOZ geliyor (Wikia’da baÅŸka bir örnek). Belki de bunlara bir arama motoru demektense birer dizin demek daha doÄŸru olabilir.
DiÄŸer kısım ise bizi asıl ilgilendiren arama motorlarının olduÄŸu kısım. Yani başını Google’ın çektiÄŸi otomatik arama motorları. Dolayısı ile bu yazıda bundan sonra arama motoru kelimeleri kullanıldığı zaman bunlardan bahsediyor olacağım.
Örümcekler
Arama motorları sayısı milyonları bulan web sitelerindeki içeriği okumak için örümcek (spider) denilen programlar kullanırlar. Bu örümcekler aslında girdikleri sayfaları okuyan ve belli kriterlere göre arama motoruna geri bildirim yapan robot yazılımlardır. Bu yüzden zaman zaman robot veya bot olarak da adlandırılırlar.
Bir örümcek ilk olarak bir web sayfasına gelir ve buradaki içeriği okumaya başlar. Her ne kadar farklı arama motorlarının örümcekleri sayfaları farklı şekilde yorumlasalarda genel olarak hepsi şu tarz bir yol izler:
- Sayfayı oku
- Kelimeleri ve kelimelerin bulundukları yerleri listele
- Oluşturulan listeleri indekslenmek üzere arama motoruna geri gönder.
- Yeni bir sayfaya git
Örümcek sayfada iÅŸini bitirdikten sonra hangi sayfaya gideceÄŸini de o sayfada bulunan baÄŸlantılar (hyperlinks) aracılığı ile bilir. Yani bir baÄŸlantıdan diÄŸerine atlayarak devamlı olarak World Wide Web’i dolaşıp dururlar. Örümcekler bu iÅŸleri oldukçahızlı bir ÅŸekilde yapabilmektedirler. Google’ın bir üniveriste projesi olduÄŸu yıllarda Google dört örümcek ile saniyede 100 sayfayı tarayabilmekteydi.
Ä°ndeksleme
Yorulmak nedir bilmeden web’de bulunan sayfalaı dolaÅŸan örümcekler elde ettikleri verileri arama motoruna geri gönderirler. Geri gönderilen bu veriler arama motorlarının indeksleme yazılımları tarafından incelenelirler ve arama motorunun özelliklerine göre önemleri ve ağırlıkları hesaplanarak indekslenirler. Daha sonra indekslenen bu veriler daha az yer kaplayacak ve daha çabuk ÅŸekilde ulaşılabilecek bir ÅŸekilde kodlanırlar.
Sonuçta kullanıcı bir arama yaptığı zaman arama motoru indeksine bakarak ilgili web sayfalarını bulur ve kendi stiline göre (örneÄŸin Google’ın Pagerank’i gibi) buları sıralayara, kullanıcıya listeler. Bu sonuçlara da kısaca SERP (Arama Motoru Sonuç Sayfası) denir.
Bugün bot tabanlı bütün arama motorları aynı mantıkta çalışsada aradaki fark, sayfalarda geçen kelimeleri deÄŸerlendirmede ve buldukları sayfaları aranan konuya göre doÄŸru bir ÅŸekilde gösterebilmelerinde yatar. ÖrneÄŸin Google bir web sayfasını okurken genel kullanımlı kelimeleri göz ardı eder. Bunun yanında Altavista sayfada gördüğü tüm kelimeleri okur. Dolayısı ile bir sayfa “ve” (ya da Ä°ngilizce “a”, “an”) gibi kelimeler Google için pek anlam taşımaz.
Öte yandan kelimelerin sayfalarda bulundukları yerlerde önem taşımaktadır. ÇoÄŸu örümcek HTML kodlarının görünmez kısımlarını okusa da bunlara farklı deÄŸerler verir. ÖrneÄŸin HTML’in görünmez kodlarından biri olan ve sayfadaki anahtar kelimeleri listeleyen “meta keyword” alanı bazı eski arama motorları tarafından ciddiye alınırken Google bu alana çok fazla önem vermez.
Arama motorlarının bu okuma, indeksleme, hangi sayfaya ne ağırlık verdikleri, bir sayfada neyi sevip sevmedikleri çok fazla açıklanan şeyler değildir. Gene de bu konuda oldukça fazla bilgi var. Çoğu zaman aramam motorlarının hoşuna giden bir sayfa, içeriği daha iyi olan sayfaların üzerinde sonuçlar verebilir. Arama motorlarının bu özelliğinden faydalanmak (ya da sömürmek) amacı ile SEO (Arama Motoru Optimizasyonu) denilen bir iş kolu doğmuştur.
Mesela bağlantılar arama motorlaır için önem taşımaktadırlar. Bir sayfada hiç veya çok az bağlantı olması iyi bir şey değilken, sayfada çok fazla bağlantı olması da aynı derece de kötüdür. Az bağlantılı bir sayfa arama motoru tarafından ciddiye alınmaz iken, çok fazla bağlantıda spam olarak yorumlanabilir. SEO uzmanları arama motorlarının işleyişi hakkında oldukça bilgilidirler. Bu ve diğer bir çok konuda kullanıcılara destek vermektedirler.
