データマイニングとは

データマイニングでは、大量のデータセットで動作する比較的大量の計算能力を使用して、データポイント間の規則性と接続を決定します。 統計、機械学習、パターン認識などの手法を使用するアルゴリズムを使用して、大規模なデータベースを自動的に検索します。 データマイニングは、データベースの知識検出（KDD）とも呼ばれます。

人工知能という用語と同様に、データマイニングは、さまざまなアクティビティに適用できる包括的な用語です。 企業の世界では、傾向の方向を判断し、将来を予測するために、データマイニングが最も頻繁に使用されます。 使用できる情報を人々に提供するモデルと意思決定支援システムを構築するために採用されています。 データマイニングは、テロとの戦いにおいて最前線の役割を果たします。 9/11攻撃のリーダーを特定するために使用されたと思われます。

データマイナーは、 近傍モデル 、 k-meansクラスタリング 、 ホールドアウトメソッド 、 k-foldクロス検証 、 leave-one-outメソッドなどのような名前の手法を使用する統計学者です。 回帰手法を使用して、無関係なパターンを減算し、有用な情報のみを残します。 この分野では、 ベイジアンという用語が頻繁に見られます。これは、事前確率と条件付きイベントに基づく確率を組み合わせて、将来のイベントの可能性を予測する推論手法のクラスを指します。 スパムフィルタリングは、おそらくデータマイニングの一種であり、フィッシング攻撃やバイアグラピッチの混oticとした海から関連するメッセージを自動的に表面化します。

決定木は、大量のデータをフィルタリングするために使用されます。 デシジョンツリーでは、すべてのデータが入口ノードを通過し、その特性に応じてデータをストリームに分離するフィルターに向かいます。 たとえば、消費者の行動に関するデータは、人口統計学的要因に基づいてフィルタリングされる可能性があります。 データマイニングは、おもに派手なグラフや視覚化技術に関するものではありませんが、発見したものを示すためにそれらを採用しています。 口頭よりも視覚的に多くの統計情報を吸収できることが知られています。この表示形式は、適切なコンテキストで使用すれば、非常に説得力があり強力です。

私たちの文明がますますデータで飽和し、センサーがローカル環境に大量に配布されるようになると、最初のパスで見逃される可能性のあるものを不注意に発見します。 データマイニングは、これらの間違いを修正し、過去のデータに基づいて新しい洞察を発見することを可能にし、データストレージに大きな価値をもたらします。