テキストコーパスとは

テキストコーパスとは、話し言葉または書かれたテキストの集まりであり、コーパス言語学研究の基礎となります。 これらの大量のテキストを保存することにより、研究者はあらゆる言語のさまざまな側面を分析できます。 テキストコーパスは、資料が収集されると、形態、構文、語彙、語用論などの言語関連のさまざまな問題を調査するために使用できるため、調査を行う効率的な方法です。 言語調査を実施する従来の方法とは異なり、テキストコーパスを使用すると、研究者は仮説的にどのように使用できるかではなく、実際に文脈でどのように使用されるかに従って言語を見ることができます。 通常、言語学者は、限られた財源で限られた期間に自分自身を収集できるデータに制限する必要がある場合よりもはるかに大きなデータサンプルにアクセスできます。

コーパスは通常、コンピューターに保存されるため、研究を促進するためにコンピューターソフトウェアプログラムを作成できます。 テキストコーパスを使用する一般的な方法の1つは、テキスト内の単語の総数をカウントし、特定の単語が出現した回数をカウントしてランク付けすることです。 合計単語数と特定の単語の間に作成される比率は、Zipfの法則として知られています。 この比率は、言語の単語の頻度を説明するのに役立ちます。 Zipfの法則を理解することは、コンピュータープログラマーが特定の言語の要求を満たすコンピューターソフトウェアを設計するのに役立ちます。 特定の単語やフレーズが入力として使用される頻度を数えて予測できます。

テキストコーパスを使用する別の方法は、研究者が研究したい特定の要素にタグを付けることです。 これがどのように使用されるかの例は、受動的な声が異なるテキストジャンルに現れる回数を数えることです。 タグ付けは、人々の日常生活を支援するコンピュータープログラムの作成にも役立ちました。 品詞タグ付けは、音声認識ソフトウェアの開発にとって重要です。 たとえば、英語では、同じ単語に複数の品詞がある場合があります。 多音節の単語は、多くの場合、どの品詞が使用されているかを示すために異なるストレスがかけられます。 「オブジェクト」という名詞は、最初の音節に重点を置いていますが、「オブジェクト」という動詞は、2番目の音節に重点を置いています。 「オブジェクト」の名詞形式にタグを付けると、コンピュータープログラムが正しく読み上げ、「オブジェクト」が人間に言われたときに認識できるようになります。

テキストコーパスは、人間の言語学と計算言語学の両方に役立ちます。 それらは、人々が人間が使用する言語をよりよく理解するのを助ける研究が行われることを可能にし、それは今度はコンピューターが使用する言語の開発を助ける。 音声認識技術の飛躍的な進歩により、消費者はオフィス、家庭、車両内のコンピューターを口頭で制御できるようになりました。 継続的な進歩により、人間は互いに自然にコンピュータと通信できるようになります。