Co to jest wydobycie danych?
Wydobycie danych wykorzystuje stosunkowo dużą moc obliczeniową działającą na dużym zestawie danych, aby określić prawidłowości i połączenia między punktami danych. Algorytmy wykorzystujące techniki z statystyki, uczenia maszynowego i rozpoznawania wzorów są używane do automatycznego wyszukiwania dużych baz danych. Wydobycie danych jest również znane jako odkrycie wiedzy w bazach danych (KDD).
Podobnie jak termin sztuczna inteligencja , eksploracja danych jest terminem parasolowym, który można zastosować do wielu różnych działań. W świecie korporacyjnym wydobycie danych jest najczęściej wykorzystywane do określenia kierunku trendów i przewidywania przyszłości. Jest stosowany do budowania modeli i systemów wsparcia decyzji, które udzielają informacji, z których mogą korzystać. Wydobycie danych odgrywa rolę pierwszej linii w bitwie z terroryzmem. Podobno zastosowano go do określenia lidera ataków z 11 września.
Górnicy danych to statystycy, którzy używają technik o nazwach takich jak Modele w pobliżu Neighbor , k-średnie ClusteRing , Metoda Holdout , K-Fold Cross Validation , metoda wyjściowa wyjścia i tak dalej. Techniki regresji stosuje się do odejmowania nieistotnych wzorców, pozostawiając tylko przydatne informacje. Termin bayesian jest często widoczny w terenie, odnosząc się do klasy technik wnioskowania, które przewidują prawdopodobieństwo przyszłych zdarzeń poprzez połączenie wcześniejszych prawdopodobieństw i prawdopodobieństw opartych na zdarzeniach warunkowych. Filtrowanie spamu jest prawdopodobnie formą eksploracji danych, która automatycznie wprowadza na powierzchnię odpowiednie komunikaty z chaotycznego morza prób phishingowych i wysokich ton.
Drzewa decyzyjne służą do filtrowania gór danych. W drzewie decyzyjnym wszystkie dane przechodzą przez węzeł wejściowy, w którym stoją w obliczu filtra, który oddziela dane na strumienie w zależności od jego właściwości. Na przykład dane o zachowaniu konsumentów prawdopodobnie zostaną przefiltrowane na podstawie DCzynniki emograficzne. Wydobycie danych nie dotyczy przede wszystkim fantazyjnych wykresów i technik wizualizacji, ale wykorzystuje je do pokazania, co znalazł. Wiadomo, że możemy wchłonąć więcej informacji statystycznych wizualnie niż werbalnie, a ten format prezentacji może być bardzo przekonujący i potężny, jeśli jest używany w odpowiednim kontekście.
Ponieważ nasza cywilizacja staje się coraz bardziej nasycona danymi, a czujniki są masowo rozpowszechniane w naszych lokalnych środowiskach, przypadkowo odkryjemy rzeczy, które można pominąć po pierwszym przepustce. Wydobycie danych pozwoli nam poprawić te błędy i odkryć nowe spostrzeżenia w oparciu o wcześniejsze dane, dając nam więcej huku dla naszego magazynowania danych.