謎のアメリカ人工知能ベンチャー、Vicariousの正体に迫る
はじめに
「Vicarious」というアメリカの人工知能ベンチャーをしっていますのでしょうか？
マーク・ザッカーバーグ、ジェフ・ベゾス、イーロン・マスク、ピーター・ティールなどのシリコンバレーの大物が投資しており、なんと合計調達額は$72Mであります。人工知能ベンチャーとして名前はよく聞くが、実態はわからない人が多いのではないでしょうか。
この度簡単にVicariousに関して紹介したいと考えております。
目次
Vicariousとは？
2010年に、D. Scott PhoenixとDileep Georgeによって設立された、人工知能ベンチャー。脳神経の模倣し、AGI(汎用人工知能)を作ることを目指しております。
$72Mを調達しており、世界中から研究者を集め1100名の中から30人を選抜。天才集団で現在研究を進めております。
Vicariousを設立した2人の創業者を追ってみたいと思います。
D. Scott Phoenix
Phoenixは、ペンシルベニア大学でComputer ScienceとBusinessを専攻。卒業後、2006年にFrogmetricsを創業。2008年にY Combinatorに選出されるも、2010年で会社を閉じ、FrogmetricsでのInvestorであった、Founders FundでEntrepreneur in Residenceという制度を3ヶ月間利用する。Entrepreneur in Residenceは日本には馴染みがないが、アメリカでは起業経験ある人にとって主流となっている制度であり、簡単に言うと社内ベンチャーを行う人を外部から採用するというものである。もちろん、会社の株式は100%親会社というものではなく、Entrepreneur in Residenceを利用する際に契約している。その後、2010年11月からVicariousを創業した。
Dileep George
Georgeはインド出身であり、インド名門であるIITを卒業、その後スタンフォードで修士号と博士号を取得する。博士では、脳の階層構造に関しての研究を行っていた。22の特許をとっており、さらに計算機神経科学のおいて複数の影響力のある論文を出している。博士時代に、Jeff HawkinsとともにNumentaを設立、CTOを務める。2010年の同社をやめ、Vicarious設立に至る。
Vicariousの研究のトップは、Dileep Georgeであり、会社に置いて彼が非常に重要な役割を担っています。Vicariousを知るためにはDileep Georgeを知る必要があり、彼の前職であるNumentaに関して知る必要があるので、そちらを追ってみたいと思います。
Jeff Hawkinsが提唱するHTM理論とは？
まずは、Jeff Hawkinsさんを紹介したいと思います。
Jeff Hawkins
Jeff Hawkinsは、Palm Computing、Handspring、Numentaを創業した起業家である。1979年にインテル社に入社した数ヶ月たった時に出会った、Scientific Americanの脳の特集号で幼少期からの脳への興味が再燃する。しかし、インテル内での研究と、MITへの大学院試験両者ともにうまくいかず、そのままコンピュータの仕事をする。1986年にUCバークレー校の大学院に合格し、生物物理学を専攻する。その後、研究資金をつくるため、Palm Computing、Handspringの2社を起業。起業で得た資金で、ニューロサイエンスに特化したRedwood Neuroscience Instituteを2002に設立した。(2005年にUC Berkeleyへ移転)。そして、2004年On intelligenceというHTM理論のベースとなる本を出版。2005年に、HTM理論を実現するために、Numentaを設立。科学者と起業家の両方の側面を持つ人物である。
では、Numentaの軸となったOn intelligenceに関して簡単に見ていきたいと思います。
On Intelligence
知能の解明と、知能を備えた機械の開発を目指し、従来の知能を理解するアプローチと人工知能を作るアプローチの欠陥を指摘し、大脳新皮質の構造を模倣した理論、Hierarchical Temporary Memory理論を提唱しております。
日本語訳版では、「考える脳 考えるコンピューター」という本があるので、ぜひ気になった方は一読していただければと思います。 www.amazon.co.jp
では早速、Hierarchical Temporary Memory理論をみていきましょう。
Hierarchical Temporary Memory理論
まずこちらの理論の前提をまとめたいと思います。
それが、神経科学者ヴァーノン・マウントキャッスルさんが1978年提唱した、「大脳機能の構成原理」です
一言で言うと、
大脳新皮質が実行するためのあらゆる処理には、共通の機能、共通のアルゴリズムが存在している。 ということです。
Jeff Hawkinsさんは、On intelligenceで、大脳新皮質における共通のアルゴリズムが何で、どのように構成されているのかを詳しく書いております。
簡単にまとめると以下の4点が重要になります。
- 大脳新皮質はパターンを階層的に記憶し、上位に行けば行くほど普遍的な表現で記憶する
- 大脳新皮質はパターンを自己連鎖的に記憶する
- 大脳新皮質はパターンの時系列で記憶する
- 大脳新皮質はパターンは常に予測を行っている
1. 大脳新皮質はパターンを階層的に記憶し、上位に行けば行くほど普遍的な表現で記憶する
視覚に関しての例をあげたいと思います。
視覚野の構造は以下のようになっております。
視覚野は大きく分けて4階層ほどになっており、下層から、V1野→V2野→V4野→IT野の順になっております。
下層のV1から入力され、徐々に上層のIT野まで情報が送られていきます。
ある実験で、ある物体を観測した時に各領野がどのように反応するのかを観測しました。 V1野はとにかく不安定に反応しており、IT野は非常に安定して反応しておりました。 こちらの意味は、V1野はいろいろなパターンにとにかく反応し、上位に行けば行くほど普遍的な「概念」に反応するということです。
昨今はやりのDeepLearningは大脳新皮質のこの機能を再現していると言われています。
脳を模倣していると言われている所以はこちらになるわけです。
こちらが、1の 大脳新皮質はパターンを階層的に記憶し、上位に行けば行くほど普遍的な表現で記憶するという部分になります。
2. 大脳新皮質はパターンを自己連鎖的に記憶する
以下の写真をみてこちらが誰だかわかりますでしょうか？
そうですオバマ大統領です。
情報が不足しているものを入力した時に、不足している情報を復元し出力することを自己連鎖的と言います。
今回では、赤と白のシマシマ、黒色、人っぽい、演説をしてそう、などという特徴ベクトルで判断しているわけです。
HTM理論では、SDRという形で実装されています。
3. 大脳新皮質はパターンの時系列で記憶する
人間は物事を時系列で記憶するということなのですが、こちらは音楽を思い浮かべれば簡単に想像できると思います。
音楽を思い出そうとしたときに、一音聞いて思い出せますか？おそらく思い出せないです。 3秒くらい聞くと、あっっと思い、思い出すことできるという経験はみなさんしていると思います。 時系列で記憶するというのはそういうことです。人間の脳は時系列のパターンを記憶しているわけですね。
4. 大脳新皮質はパターンは常に予測を行っている
まず、1の階層構造を思い出して欲しいのですが、全て階層構造であるので聴覚・触覚・視覚も階層構造なわけです。
想像してみれば簡単ですが、聴覚・視覚・触覚は密接な関係があります。脳では連合野と呼ばれる部分でつながることになるのです。
以下の図を見てください。
ここである例を考えてみてもらいましょう。「ニャー」という鳴き声が聞こえたときに何を想像しますか？
おそらく、「ニャー」聞こえたときに、まず聴覚が猫の鳴き声だと認識します、そして猫を見ることを期待し、視覚野にフィードバックします。そして人間はなんとなく猫の顔を想像しているわけです。もちろん無意識のうちに。
これが、大脳新皮質はパターンは常に予測を行っているという意味になります。
以上のような特徴反映させた理論こそが、HTM理論になります。 そしてHTM理論を実現するために、Jeff HawkinsさんはNumentaを設立することになります。
Numentaとは？
大脳新皮質を模倣した、機械知能を作ること目標としている企業です。Jeff HawkinsとDonna Dubinskyと Dileep Georgeによって2005年に創業されており、主に「On Intelligence」のHTM理論をもとにアルゴリズムを研究開発している企業です。
Numentaは3つほどアルゴリズムを研究開発しており、以下のようになっております。 (以下より、第14回全脳アーキテクチャ勉強会 松田先生の勉強会を参考とさせていただいております。)
- 2005-2009 Zeta1
- 2009-2014 CLA
- 2014- G3 (※論文として正式に公開されていないので、まだ正式にわかっていることが少ない)
さきほどの大脳新皮質の特徴と対応させると以下のようにアルゴリズムは発展しております。
Vicariousのアルゴリズムとは？
Vicariousは2010年に設立して以来、2013年にCAPCHAという画像認識技術を公開するのみであり、多くの情報はありません。 しかし、2009年にDileep GeorgeはNumentaをやめ、2010年にVicariousを始めており、CLAアルゴリズムに反発したのではないかと考えるのが有望だと考えられます。 よって、2005-2009年にHawkinsとGeorgeが開発したZeta1アルゴリズムの改良版を開発していると考えられ、HTM理論に基づいたアルゴリズムを開発していると思います。
以下の記事によれば、Vicariousは年内にデモを発表するとしており、長年ベールに包まれていた技術が明らかになることが期待されております。 www.technologyreview.com
まとめ
Vicariousの創業者と、コア技術を追うためにDileep Georgeの前職であるNumentaを詳しく見ていきました。
そして、HawkinsがOn Intelligenceで提唱するHTM理論がベースであり、そもそもHTM理論は何かを簡単に説明しました。
最後にNumentaの開発しているアルゴリズムを踏まえた上で、VicariousがZeta1アルゴリズムの延長線上のアルゴリズムを開発しているのではという結論を出しております。
Vicariousの技術こそ、昨今の人工知能ブームで期待しているような技術であり、この技術の発展は、間違いなく人類の歴史にとって非常に大きな前進となるでしょう。 引き続き注目し続けていきたいと思います。また何かあればブログにまとめてみます。
