コンラボAI入門
第２回　AIの歴史

Convergence Lab. の木村です。AIにはこれまで３回のAIブームがありました。それぞれでどのようなAIが提案され、どのように隆盛してきたのかを見ていきましょう。

AIの定義を知的な機械を作ることとするなら、その概念が提案されたのはいつのことでしょうか？それは、1950年のことです。コンピューターの父、アラン・チューリングは「Computing Machine and Intelligence (計算する機械と知性)」という論文のなかで、以下のような問いを定期しています。この論文は有名なチューリングマシンに関する論文です。１章のタイトル Imitation game は、チューリングを題材にした映画、イミテーションゲームのタイトルになっています。

チューリングマシンの論文が1936年に発表され、世界最初の電子計算機 ENIAC の完成が 1946年のことですから、AIはコンピュータの誕生してほどなく生まれたと言えるでしょう。

第一次AIブームは1940年代から1960年代の間のことです。第１次AIブームを象徴する技術は論理プログラムと単純パーセプトロンです。

この頃の論理プログラムの代表的なものが、ジョセフ・ワイゼンバウムの開発したELIZAです。ElIZAは来訪者中心療法のカウンセリングを行う対話プログラムで、1964年から1966年に渡って作られたものです。

Elizaは単純に相手の言ったことの一部を抜き出し、決まりきった構文にいれているだけのプログラムです。それでも、人間らしい応答をみせることがあり、当時は非常におどろかれたようです。

単純パーセプトロンは最初期のニューラルネットワークとみなせます。入力層と出力層のみで隠れ層を持ちません。動物の神経回路を模擬しているとされ、計算方法を与えずに、その計算の入力と出力のみをあたえることで様々な関数の挙動を模倣できました。当時は非常に注目されたようです。

論理プログラムとパーセプトロンにより発展したAIですが、程なく冬の時代が訪れます。これは1970年代から1980年頃までのことです。論理プログラムにはフレーム問題や記号接地問題のような難解な問題があり、十分な性能が挙げられませんでした。なかなか成果を挙げられない当時のAIへの資金共有は途切れ、研究がたち行かなくなってしまいました。また、ゲーデルの不完全性定理が論理プログラムの完全性に影を落としたことも理由のようです。

フレーム問題

論理プログラムでは、記号やその属性に基づいた推論を行います。しかし、現実の世界を記述するには膨大な属性があり、その組み合わせは無数にあります。また、すべての属性を考慮して推論を行うのは現実的ではありません。

記号接地問題

論理プログラムでは記号（シンボル）を操作して推論を行います。しかし、現実のもの（オブジェクト）と記号を結びつけることが非常に困難であったのです。

「ソクラテスは人間である。人間はみなしぬ。故にソクラテスは死ぬ。」のような論理を解けたとしても、現実にだれがソクラテスなのかを見分けることは当時はできませんでした。

パーセプトロンの分離性能

マービン・ミンスキーとシーモア・パパートによって線形分離可能な問題しか解けないことが指摘されてしまいました。論理回路で例えるならば 論理積（AND） や 論理和（OR） の計算はできても 排他的論理和（XOR）は学習できませんでした。

しかし、冬の時代にも研究者たちは研究を続け、AI二回目の春が訪れます。

第２次AIブームは 1980年代のことです。このブームを象徴する技術がエキスパートシステムと、ニューラルネットワークの新しい学習方法であるバックプロパゲーションの発明です。

エキスパートシステムは、特定領域の専門家の知識を論理ルールで記述し、推論エンジンを用いて推論を行うシステムです。

エキスパートシステム

1965年にはエドワード・ファイゲンバウムが、分光計の解析結果から化合物の種類を予測するDendral を開発しました。エキスパートシステムでは、特定領域に限定することでフレーム問題を回避することを試みました。エキスパートの知識をシステムに組み込むナレッジエンジニアが登場するという予想もありました。

バックプロパゲーションは、デビット・ラメルハートが開発したニューラルネットワークの学習法です。現代のディープラーニングにも用いられている技術です。これにより、隠れ層を持つような３層から４層のニューラルネットワークの学習が可能になり、ニューラルネットワークの性能は向上しました。中でも３層のニューラルネットワークは理論的にはあらゆる関数を表現可能であることが証明されたことも理由の一つであると思います。

多層パーセプトロン

２回目のAIの冬は1980年代後半から00年代後半まで続きます。

特定領域に限ったとはいえ、エキスパートシステムが扱わなければならない知識は膨大であり、多くの例外があり、開発には莫大な予算と時間がかかりました。

当時の３層や４層のニューラルネットワークは、現実的には理論的な性能を示せませんでした。また、ニューラルネットワークを多層にしようとしても、学習のための信号が深い層に伝搬せずに学習できないという問題がありました。これを勾配消失問題（グラディエントバニッシングプロブレム）と呼びます。

しかし、研究されたAIの要素技術は着実に現代社会の中に浸透し、曖昧な論理を扱うファジィ制御や膨大な知識を扱う知識ベース等が実用化されました。

AIの冬の時代には、多くの特徴抽出研究が行われていました。特徴抽出とはAI（機械学習）に入力する効果的な特徴量を見つける手法のことです。

第３次AIブームはディープラーニングの発明とともに始まりました。

AIのゴッドファーザーの異名を持つジェフリー・ヒントンは人間の脳が多層の階層を持つことから、ニューラルネットワークも３層ではなく多層構造を持つ必要があると考えていました。彼はついに配消失問題の解決法を見出しました。それが、RBM(Restricted Boltzmann Machine)によるニューラルネットワークの初期化技術です。はじめに用意した多層のニューラルネットワークを１層ずつRBMによって初期学習を行い、最後にバックプロパゲーションをかけることによって多層のニューラルネットワークが学習可能になりました。その後、もっと単純なオートエンコーダによって同様の初期化が行われることも示されました。現代では両者ともあまり使われません。同じくHintonによって発明された ReLu(Rectified Linear Unit: 正規化線形関数）を用いることによって初期化なしに多層のニューラルネットワークが学習できることが示されたからです。彼はこれに、ディープラーニングという名前をつけました。

ディープラーニングの性能は凄まじく、2012年に行われたImageNetという画像データ集を用いた一般物体認識のコンペティションでは、２位のチームに10ポイント以上の差をつけて、88%の認識性能を示し、圧倒的な１位となりました。さらにディープラーニングでは特徴抽出なしで生画像から直接認識が行えるというものでした。その後もディープラーニングによってImageNetの認識性能は向上し2017年には 99.87%になりました。

ImageNetの実際の画像の例（dog で検索したもの）

イメージネットの性能（２０１２年がディープラーニングが初めて使われた年）

ディープラーニングの層の数 (2010年と2011年はSVM)

ResNetの発明によりより多層化した

AIの発展について、著名なAI研究者であり、AI教育サービスCorseraを立ち上げたアンドリュー・ウは、「AIは永遠の春に入った」と発言しました。

その後の発展はいままさに起こっていることです。

ディープラーニングは囲碁の世界チャンピオンに勝利し、音声認識を実用化させ、自動運転すら成功させようとしています。ディープラーニングの技術はこれからも発展していくことでしょう。

第三回目はニューラルネットワークのアルゴリズムについて話そうと思います。