스크린 스크레이퍼는 무엇입니까?

화면 스크레이퍼는 다른 프로그램의 디스플레이 출력에서 ​​문자 기반 데이터를 수집하는 컴퓨터 프로그램입니다. 화면 스크레이퍼는 찾고있는 데이터를 추출하여 그래프 나 테이블과 같이보다 풍부한 형식으로 표시하거나 단순히 저장을 위해 데이터를 색인화 할 수 있습니다. 웹 사이트 스크레이퍼, 콘텐츠 마이너, 웹 사이트 리퍼, 웹 추출기, 자동 데이터 수집기 ​​및 HTML 스크레이퍼를 포함하여 화면 스크레이퍼의 다른 많은 이름이 있습니다.

스크린 스크레이퍼는 웹 사이트의 코드를 검색하여 최종 브라우저에 멋진 프리젠 테이션을 제공하기 위해 필요한 외부 코드를 필터링합니다. 이러한 코드는 전체 페이지를 원하는 레이아웃으로 보려면 필요하지만 스크레이퍼는 유용한 데이터를 찾고 있습니다. 이 데이터는 제공된 원본 HTML 코드를 사용하지 않고 간단한 데이터베이스로 수집 및 표시됩니다.

실제 화면 스크레이퍼의 좋은 예는 검색 엔진 스파이더입니다. 이 스파이더는 수십만 개의 웹 사이트에 액세스하며 각 웹 사이트에는 수많은 페이지가 있습니다. 이러한 사이트의 키워드 데이터는 수집 및 색인화 된 후 최종 사용자에게 검색 엔진 결과로 표시됩니다.

대부분의 스크린 스크레이퍼는 웹 사이트의 HTML 코딩을 검색하여 정보를 얻지 만 JavaScript 또는 PHP와 같은 다른 스크립팅 언어를 검색 할 수도 있습니다. 그런 다음 마이닝 된 데이터는 HTML 자체로 표시되므로 사용자가 웹 브라우저를 통해 액세스하거나 오프라인에서 사용자가 액세스 할 수있는 텍스트 데이터로 저장할 수 있습니다.

기업은 화면 스크레이퍼를 사용하여 다양한 키워드 관련 웹 사이트의 데이터를 마이닝하여 보고서 및 프리젠 테이션에 사용할 그래프, 차트, 스프레드 시트 및 비교 데이터를 생성합니다. 스크린 스크레이퍼는 동일한 작업을 수행하는 직원이 관련 사이트를 검색하고 링크를 클릭 한 다음 각 사이트를 개별적으로 탐색하여 필요한 해당 데이터를 찾아 기록해야하므로 엄청난 시간을 절약합니다. 최신 하드웨어 또는 소프트웨어와의 호환성 문제로 인해 더 이상 액세스 할 수없는 시스템에 정보가 저장된 경우 화면 스크레이퍼를 사용할 수도 있습니다.

스크린 스크레이퍼는 사이트 소유자와 웹 서퍼에게 축복이자 저주가 될 수 있습니다. 비즈니스, 검색 엔진 등을위한 기능적인 서비스를 제공하지만 스크린 스크레이퍼는 이타 적이 지 않은 목적으로도 사용할 수 있습니다. 예를 들어 스팸을 광고 방법으로 사용하는 회사 나 개인은 화면 스크레이퍼를 사용하여 웹 사이트에서 전자 메일 주소를 검색 할 수 있습니다.

스크린 스크레이퍼는 편리한 도구 일 수 있지만 웹 커뮤니티 간에는 합법성과 윤리에 대한 논쟁이 있습니다. 화면 스크레이퍼가 다른 사람의 노력을 추출하여 다른 웹 사이트에 다른 형식으로 표시하면 저작권 문제가 희미 해지며, 수익을 내기 위해 광고에 의존하는 사이트는 화면 스크레이퍼로 광고를 버릴 때 문제가 발생합니다. 결과적으로 일부 웹 사이트 소유자는 사이트가 긁히지 않도록하는 도구를 구현하기 시작했습니다.