ＡＩに「ことば」を理解させたい（１）

目次

コンピュータが得意なこと・苦手なこと

これまで、売上予測やレコメンドAIなど、数値を扱うAIについてお話してきました。
今回は、AIにおける「ことば」の扱いについてお話しします。

例えば、DSS（意思決定支援システム）によって、エントリーシートの選考をする場合について考えてみましょう。

（DSSについてはこちら：ＡＩの使い所を考える～ＤＳＳ（意思決定支援システム）編　）

志望動機をAIに判別してもらうには、どうすればよいでしょうか？

これまでの記事でご説明したとおり、コンピュータは、数値を扱うことが得意です。
しかし、「ことば」を扱うことは得意ではありません。

そこで、コンピュータが「ことば」を扱うためには、コンピュータが理解できる形式（＝「数値」）に変換する、という方法をとります。

自然言語とは？

ところで、私たちが日常的に使っている「ことば」ですが、専門用語で「自然言語」といいます。
もちろん、この記事も自然言語で書かれています。自然言語を数値に変換することを、「自然言語処理」といいます。
自然言語をAIで分析するためには、この「自然言語処理」を、分析したいテキスト群に適用する必要があります。

この方法については、次回ご説明します。

AIによる自然言語の分析

AIによる自然言語の分析の例として、今回は３つご紹介します。

・言語の判別

突然ですが、これは何語で書かれているでしょうか？

「Dies ist ein Kugelschreiber.」

答えはドイツ語です。「これはボールペンです。」と書いてあります。それぞれの文字の出現頻度は、言語によって異なっていることがわかっているため、それを教師データに用いることで、言語の判別がある程度可能になります。

・翻訳

自然言語の分析の例としては、目にする機会が最も多いのではないでしょうか。「これはペンです。」という文章を「This is a pen.」に翻訳することができます。翻訳の際には、単語を抽出することや、語順や文章構造の解析が必要となります。

・感情分析

ある製品のレビューなどに対して、それがポジティブなレビューなのか、ネガティブなレビューなのか判別することができます。たとえば、「とても」という単語は、ポジティブな場合も、ネガティブな場合も使用されるでしょう。単語のポジティブ・ネガティブの度合い、単語の組み合わせ等を学習する必要があります。