การเก็บเกี่ยวทางเว็บเป็นกระบวนการที่ซอฟต์แวร์เฉพาะรวบรวมข้อมูลจากอินเทอร์เน็ตและวางลงในไฟล์สำหรับผู้ใช้ มันทำหน้าที่ฟังก์ชั่นที่คล้ายกับ แต่สูงกว่างานที่เครื่องมือค้นหาดำเนินการ หรือที่รู้จักกันในชื่อ Web scraping การเก็บเกี่ยวทางเว็บช่วยให้ผู้ใช้สามารถเข้าถึงข้อมูลบนอินเทอร์เน็ตโดยอัตโนมัติที่เครื่องมือค้นหาไม่สามารถประมวลผลได้เนื่องจากสามารถทำงานกับโค้ด HTML ได้ การเก็บเกี่ยวทางเว็บสามประเภทหลักสำหรับเนื้อหาเว็บโครงสร้างและการใช้งาน
การเก็บเกี่ยวเนื้อหาเว็บเกี่ยวข้องกับการดึงข้อมูลโดยการดึงข้อมูลจากผลลัพธ์ของหน้าการค้นหาและจากการค้นหาเนื้อหาที่ซ่อนอยู่ภายในเว็บเพจ ข้อมูลเพิ่มเติมนี้มักจะถูกบดบังจากเครื่องมือค้นหาเนื่องจากถูกบดบังด้วยรหัส HTML กระบวนการนี้จะสแกนข้อมูลที่คล้ายกับที่ดวงตาของมนุษย์มองข้ามทิ้งอักขระที่ไม่ได้สร้างวลีที่มีความหมายเพื่อแยกองค์ประกอบที่มีประโยชน์ออก
แทนที่จะค้นหาเนื้อหาการเก็บเกี่ยวโครงสร้างเว็บจะรวบรวมข้อมูลเกี่ยวกับวิธีการจัดระเบียบข้อมูลในพื้นที่เฉพาะของอินเทอร์เน็ต ข้อมูลที่รวบรวมนั้นจะให้ข้อเสนอแนะที่มีคุณค่าซึ่งการปรับปรุงในด้านต่าง ๆ เช่นการจัดระเบียบข้อมูลและการสืบค้น มันเป็นวิธีการปรับแต่งโครงสร้างของเว็บ
การเก็บเกี่ยวการใช้งานเว็บจะติดตามรูปแบบการเข้าถึงทั่วไปและการใช้งานที่กำหนดเองโดยผู้ใช้เว็บ โดยการวิเคราะห์การใช้งานเว็บการเก็บเกี่ยวสามารถช่วยสร้างความชัดเจนเกี่ยวกับพฤติกรรมของผู้ใช้ นี่เป็นอีกวิธีหนึ่งในการปรับปรุงการทำงานของเว็บ แต่ในระดับผู้ใช้ปลายทาง สามารถช่วยนักออกแบบในการปรับปรุงส่วนต่อประสานผู้ใช้ของเว็บไซต์ให้มีประสิทธิภาพสูงสุด กระบวนการนี้ยังให้ข้อมูลเชิงลึกเกี่ยวกับประเภทของข้อมูลที่ผู้ใช้ค้นหาและวิธีที่พวกเขาค้นหาเกี่ยวกับมันดังนั้นจึงให้แนวคิดว่าเนื้อหาควรจะพัฒนาไปข้างหน้าอย่างไร
ด้วยการรวบรวมข้อมูลข้อความและรูปภาพจากไฟล์และรูปภาพ HTML การเก็บเกี่ยวเว็บสามารถทำการรวบรวมข้อมูลบนเว็บที่ซับซ้อนมากขึ้น นอกจากนี้ยังวิเคราะห์ลิงก์ที่ชี้ไปยังเนื้อหานั้นเพื่อพิจารณาว่าข้อมูลนั้นมีความสำคัญและมีความเกี่ยวข้องกับอินเทอร์เน็ตหรือไม่ สิ่งนี้ให้ภาพที่สมบูรณ์ยิ่งขึ้นเกี่ยวกับข้อมูลที่เกี่ยวข้องและมีอิทธิพลต่อส่วนที่เหลือของเว็บ
บริษัท ต่างๆใช้การเก็บเกี่ยวทางเว็บเพื่อวัตถุประสงค์ที่หลากหลาย มันอาจเป็นวิธีที่มีประสิทธิภาพในการรวบรวมข้อมูลเพื่อวิเคราะห์ ชุดข้อมูลที่รวบรวมทั่วไปบางชุดเป็นข้อมูลเกี่ยวกับคู่แข่งรายการราคาผลิตภัณฑ์ที่แตกต่างกันและข้อมูลทางการเงิน อาจมีการรวบรวมข้อมูลเพื่อวิเคราะห์พฤติกรรมของลูกค้า
