Что такое Data Mining?

Для интеллектуального анализа данных используется относительно большой объем вычислительной мощности, работающий с большим набором данных для определения закономерностей и связей между точками данных. Алгоритмы, которые используют методы из статистики, машинного обучения и распознавания образов, используются для автоматического поиска больших баз данных. Интеллектуальный анализ данных также известен как «Обнаружение знаний в базах данных» (KDD).

Как и термин « искусственный интеллект» , интеллектуальный анализ данных - это общий термин, который может применяться к ряду различных видов деятельности. В корпоративном мире интеллектуальный анализ данных чаще всего используется для определения направления тенденций и прогнозирования будущего. Он используется для создания моделей и систем поддержки принятия решений, которые дают людям информацию, которую они могут использовать. Интеллектуальный анализ данных занимает передовую роль в борьбе с терроризмом. Предположительно он использовался для определения лидера атак 11 сентября.

Анализаторы данных - это статистики, которые используют методы с именами, такими как модели ближайших соседей , кластеризация по k-средним , метод удержания , перекрестная проверка по k-кратному критерию , метод оставления без ответа и так далее. Методы регрессии используются для вычитания нерелевантных моделей, оставляя только полезную информацию. Термин байесовский часто встречается в данной области и относится к классу методов логического вывода, которые предсказывают вероятность будущих событий путем объединения предыдущих вероятностей и вероятностей, основанных на условных событиях. Спам-фильтрация, вероятно, является формой интеллектуального анализа данных, которая автоматически выводит на поверхность соответствующие сообщения из хаотического моря попыток фишинга и атак Виагры.

Деревья решений используются для фильтрации множества данных. В дереве решений все данные проходят через входной узел, где он сталкивается с фильтром, который разделяет данные на потоки в зависимости от его характеристик. Например, данные о поведении потребителей могут быть отфильтрованы на основе демографических факторов. Интеллектуальный анализ данных в первую очередь не касается причудливых графиков и методов визуализации, но он использует их, чтобы показать, что он нашел. Известно, что мы можем воспринимать больше статистической информации визуально, чем устно, и этот формат для представления может быть очень убедительным и мощным, если его использовать в правильном контексте.

По мере того, как наша цивилизация становится все более насыщенной данными, а датчики массово распределяются в наших локальных средах, мы случайно обнаружим вещи, которые могут быть упущены при первом проходе. Интеллектуальный анализ данных позволит нам исправить эти ошибки и открыть для себя новые идеи, основанные на прошлых данных, что даст нам дополнительную выгоду для нашего хранилища данных.