Arama motoru örümcekleri, web sayfalarındaki içeriği tarayan ve bu sayfalarda görünen kelimelerin listesini oluşturan yazılım programlarıdır. Bu işleme web tarama denir. Program, her bağlantıyı izleyen ve her sayfanın içeriğini, sayfalar arasında gezinen bir örümcek gibi ilerlerken kaydeden sayfadan sonra ziyaret eder. Bu içerik daha sonra arama motorunun dizinine eklenir.
Farklı arama motorları, arama motorlarını örümceklerini gönderirken farklı yaklaşımlar kullanır. Bazıları bir sayfadaki her kelimeyi izler. Diğerleri meta etiketleri, başlıkları ve altyazı sözcüklerini kaydeder. Bir sayfada en yaygın kullanılan 100 kelimeyi dizine eklemek, bir arama motoru örümceği tarafından kullanılan başka bir taktiktir.
Web sitelerine verilen bağlantılar, arama motorunun örümceklerini beslediği şeylerdir. Örümcekler web sitesine bağlantılar gördükçe daha sık ziyaret ederler. Bu, örümceklere bir siteyi dizine ekleme konusunda daha fazla bilgi verir ve sitenin o siteyle ilgili arama terimleri için arama motorunun sonuçlarında daha yüksek görünmesini sağlar.
Arama motoru optimizasyonu (SEO), bir siteye arama motoru örümceklerini çizmek için belirli taktiklerin kullanılmasını içerir. SEO kullanmanın birkaç yolu, bir arama motoruna dahil olmak için bir siteyi el ile göndermek, çapraz bağlantı kurmak, anahtar kelime öbekleri kullanmak ve meta etiketleri kullanmaktır. Bu, trafiği ve örümcekleri bir siteye yönlendirmeye yardımcı olacaktır.
Manuel olarak bir arama motoru örümcek ziyareti istemek mümkündür. Bu, bir siteyi incelenmek üzere bir arama motoruna göndermeyi içerir ve arama motoruna bağlı olarak ücretsiz veya ücretli olarak yapılabilir. Arama motoru daha sonra örümceklerini siteye gönderir. Bu, sayfa sıralamasına yardımcı olmayabilir, ancak siteyi motor listelerine dahil eder.
Çapraz bağlantı, bir web sitesindeki sayfalara bağlantı vermeyi içerir. Bu, arama motoru örümceklerini aynı sitenin aynı sayfalarında gezinmeye devam ederek dizine eklemeye devam edecektir. Link spam gönderme de kullanılır, ancak site sayfası sıralamasına ve SEO'ya zarar verebilir.
Anahtar kelime öbeklerini kullanmak, bir web sitesinin metninde, bir kullanıcının bir arama motorunda arama yapabileceği ifadeleri içerir. Arama motoru örümcekleri bunları görüyor, bir sayfada kaç kez göründüklerini görüyor ve bunları dizine ekliyor. Sonunda, bu anahtar kelimeleri yeterli sayıda kişi arıyorsa, siteye yönlendirilir.
Meta etiketleri, bir web sitesine yerleştirilen ve arama motoru örümceklerinin neyin indeksleyeceğini belirten özel kodlardır. Örümceklerin meta etiketlerini sayfa içeriğine göre kontrol edeceğini ve çakışmadıklarında örümceğin bunları reddedeceğini hatırlamak önemlidir. Birisi web sitesinin kaynak kodunu görüntülemediği sürece meta etiketleri bir web sitesinde görünmez.
