Web toplama, özel yazılımın Internet'ten veri topladığı ve bir son kullanıcı için dosyalara yerleştirdiği işlemdir. Bir arama motorunun yerine getirdiği görevlere benzer fakat onlardan daha gelişmiş bir işleve sahiptir. Web kazıma olarak da bilinen Web hasadı, kullanıcıya, HTML kodları etrafında çalışabileceği için, arama motorlarının işleyemediği Internet'teki bilgilere otomatik olarak erişmesini sağlar. Üç ana Web toplama türü Web içeriği, yapısı ve kullanımı içindir.
Web içeriği hasadı, hem arama sayfasındaki sonuçlardan hem de Web sayfalarında gizlenen içeriğin daha derinlemesine aranmasından veri çekerek bilgilerin çıkarılmasını içerir. Bu ek bilgiler genellikle arama motorlarından gizlenir, çünkü HTML kodu ile gizlenir. İşlem, yararlı unsurları çıkarmak için anlamlı ifadeler oluşturmayan karakterleri atarak, insan gözlerine benzeyen bilgileri tarar.
Web yapısı hasadı, içerik aramak yerine, İnternet'in belirli alanlarında bilgilerin düzenlenme şekli hakkında veri toplar. Toplanan veriler, bilgi organizasyonu ve geri alma gibi alanlarda iyileştirmeler yapılabilecek değerli geribildirimler sağlar. Web'in yapısını iyileştirmenin bir yoludur.
Web kullanımı hasadı genel erişim kalıplarını ve Web kullanıcıları tarafından kişiselleştirilmiş kullanımları izler. Web kullanımını analiz ederek, hasat, kullanıcıların nasıl davrandığı hakkında netlik sağlamaya yardımcı olabilir. Bu, Web’in işlevini iyileştirmenin başka bir yoludur, ancak son kullanıcı düzeyinde. Tasarımcıların maksimum verimlilik için Web sitelerinin kullanıcı arayüzlerini geliştirmelerine yardımcı olabilir. Bu süreç aynı zamanda, kullanıcıların ne tür bilgi aradıklarına ve onu nasıl bulmaya çalıştıklarına dair içgörü sağlar, böylece içeriğin ileriye doğru nasıl geliştirileceği hakkında fikir verir.
HTML dosyalarından ve görüntülerinden metin ve görüntü verileri toplayarak, Web hasadı, her belgeye daha derinlemesine açılan daha karmaşık Web taraması yapabilir. Ayrıca, bilgilerin İnternet üzerinde önemi ve alaka düzeyinin olup olmadığını belirlemek için o içeriğe işaret eden bağlantıları da inceler. Bu, bilgilerin Web’in geri kalanıyla nasıl ilişkili olduğunu ve onu nasıl etkilediğiyle ilgili daha eksiksiz bir resim sağlar.
Şirketler Web hasadı için çok çeşitli amaçlar kullanırlar. Analiz edilecek veri toplamak için etkili bir yol olabilir. Derlenen daha yaygın veri kümelerinden bazıları, rakipler, farklı ürün fiyatlarının listeleri ve finansal veriler hakkında bilgilerdir. Müşteri davranışını analiz etmek için veri toplanabilir.
