謎のアメリカ人工知能ベンチャー、Vicariousの正体に迫る
はじめに
「Vicarious」というアメリカの人工知能ベンチャーをしっていますのでしょうか？
マーク・ザッカーバーグ、ジェフ・ベゾス、イーロン・マスク、ピーター・ティールなどのシリコンバレーの大物が投資しており、なんと合計調達額は$72Mであります。人工知能ベンチャーとして名前はよく聞くが、実態はわからない人が多いのではないでしょうか。
この度簡単にVicariousに関して紹介したいと考えております。
目次
Vicariousとは？
2010年に、D. Scott PhoenixとDileep Georgeによって設立された、人工知能ベンチャー。脳神経の模倣し、AGI(汎用人工知能)を作ることを目指しております。
$72Mを調達しており、世界中から研究者を集め1100名の中から30人を選抜。天才集団で現在研究を進めております。
Vicariousを設立した2人の創業者を追ってみたいと思います。
D. Scott Phoenix
Phoenixは、ペンシルベニア大学でComputer ScienceとBusinessを専攻。卒業後、2006年にFrogmetricsを創業。2008年にY Combinatorに選出されるも、2010年で会社を閉じ、FrogmetricsでのInvestorであった、Founders FundでEntrepreneur in Residenceという制度を3ヶ月間利用する。Entrepreneur in Residenceは日本には馴染みがないが、アメリカでは起業経験ある人にとって主流となっている制度であり、簡単に言うと社内ベンチャーを行う人を外部から採用するというものである。もちろん、会社の株式は100%親会社というものではなく、Entrepreneur in Residenceを利用する際に契約している。その後、2010年11月からVicariousを創業した。
Dileep George
Georgeはインド出身であり、インド名門であるIITを卒業、その後スタンフォードで修士号と博士号を取得する。博士では、脳の階層構造に関しての研究を行っていた。22の特許をとっており、さらに計算機神経科学のおいて複数の影響力のある論文を出している。博士時代に、Jeff HawkinsとともにNumentaを設立、CTOを務める。2010年の同社をやめ、Vicarious設立に至る。
Vicariousの研究のトップは、Dileep Georgeであり、会社に置いて彼が非常に重要な役割を担っています。Vicariousを知るためにはDileep Georgeを知る必要があり、彼の前職であるNumentaに関して知る必要があるので、そちらを追ってみたいと思います。
Jeff Hawkinsが提唱するHTM理論とは？
まずは、Jeff Hawkinsさんを紹介したいと思います。
Jeff Hawkins
Jeff Hawkinsは、Palm Computing、Handspring、Numentaを創業した起業家である。1979年にインテル社に入社した数ヶ月たった時に出会った、Scientific Americanの脳の特集号で幼少期からの脳への興味が再燃する。しかし、インテル内での研究と、MITへの大学院試験両者ともにうまくいかず、そのままコンピュータの仕事をする。1986年にUCバークレー校の大学院に合格し、生物物理学を専攻する。その後、研究資金をつくるため、Palm Computing、Handspringの2社を起業。起業で得た資金で、ニューロサイエンスに特化したRedwood Neuroscience Instituteを2002に設立した。(2005年にUC Berkeleyへ移転)。そして、2004年On intelligenceというHTM理論のベースとなる本を出版。2005年に、HTM理論を実現するために、Numentaを設立。科学者と起業家の両方の側面を持つ人物である。
では、Numentaの軸となったOn intelligenceに関して簡単に見ていきたいと思います。
On Intelligence
知能の解明と、知能を備えた機械の開発を目指し、従来の知能を理解するアプローチと人工知能を作るアプローチの欠陥を指摘し、大脳新皮質の構造を模倣した理論、Hierarchical Temporary Memory理論を提唱しております。
日本語訳版では、「考える脳 考えるコンピューター」という本があるので、ぜひ気になった方は一読していただければと思います。 www.amazon.co.jp
では早速、Hierarchical Temporary Memory理論をみていきましょう。
Hierarchical Temporary Memory理論
まずこちらの理論の前提をまとめたいと思います。
それが、神経科学者ヴァーノン・マウントキャッスルさんが1978年提唱した、「大脳機能の構成原理」です
一言で言うと、
大脳新皮質が実行するためのあらゆる処理には、共通の機能、共通のアルゴリズムが存在している。 ということです。
Jeff Hawkinsさんは、On intelligenceで、大脳新皮質における共通のアルゴリズムが何で、どのように構成されているのかを詳しく書いております。
簡単にまとめると以下の4点が重要になります。
- 大脳新皮質はパターンを階層的に記憶し、上位に行けば行くほど普遍的な表現で記憶する
- 大脳新皮質はパターンを自己連鎖的に記憶する
- 大脳新皮質はパターンの時系列で記憶する
- 大脳新皮質はパターンは常に予測を行っている
1. 大脳新皮質はパターンを階層的に記憶し、上位に行けば行くほど普遍的な表現で記憶する
視覚に関しての例をあげたいと思います。
視覚野の構造は以下のようになっております。
視覚野は大きく分けて4階層ほどになっており、下層から、V1野→V2野→V4野→IT野の順になっております。
下層のV1から入力され、徐々に上層のIT野まで情報が送られていきます。
ある実験で、ある物体を観測した時に各領野がどのように反応するのかを観測しました。 V1野はとにかく不安定に反応しており、IT野は非常に安定して反応しておりました。 こちらの意味は、V1野はいろいろなパターンにとにかく反応し、上位に行けば行くほど普遍的な「概念」に反応するということです。
昨今はやりのDeepLearningは大脳新皮質のこの機能を再現していると言われています。
脳を模倣していると言われている所以はこちらになるわけです。
こちらが、1の 大脳新皮質はパターンを階層的に記憶し、上位に行けば行くほど普遍的な表現で記憶するという部分になります。
2. 大脳新皮質はパターンを自己連鎖的に記憶する
以下の写真をみてこちらが誰だかわかりますでしょうか？
そうですオバマ大統領です。
情報が不足しているものを入力した時に、不足している情報を復元し出力することを自己連鎖的と言います。
今回では、赤と白のシマシマ、黒色、人っぽい、演説をしてそう、などという特徴ベクトルで判断しているわけです。
HTM理論では、SDRという形で実装されています。
3. 大脳新皮質はパターンの時系列で記憶する
人間は物事を時系列で記憶するということなのですが、こちらは音楽を思い浮かべれば簡単に想像できると思います。
音楽を思い出そうとしたときに、一音聞いて思い出せますか？おそらく思い出せないです。 3秒くらい聞くと、あっっと思い、思い出すことできるという経験はみなさんしていると思います。 時系列で記憶するというのはそういうことです。人間の脳は時系列のパターンを記憶しているわけですね。
4. 大脳新皮質はパターンは常に予測を行っている
まず、1の階層構造を思い出して欲しいのですが、全て階層構造であるので聴覚・触覚・視覚も階層構造なわけです。
想像してみれば簡単ですが、聴覚・視覚・触覚は密接な関係があります。脳では連合野と呼ばれる部分でつながることになるのです。
以下の図を見てください。
ここである例を考えてみてもらいましょう。「ニャー」という鳴き声が聞こえたときに何を想像しますか？
おそらく、「ニャー」聞こえたときに、まず聴覚が猫の鳴き声だと認識します、そして猫を見ることを期待し、視覚野にフィードバックします。そして人間はなんとなく猫の顔を想像しているわけです。もちろん無意識のうちに。
これが、大脳新皮質はパターンは常に予測を行っているという意味になります。
以上のような特徴反映させた理論こそが、HTM理論になります。 そしてHTM理論を実現するために、Jeff HawkinsさんはNumentaを設立することになります。
Numentaとは？
大脳新皮質を模倣した、機械知能を作ること目標としている企業です。Jeff HawkinsとDonna Dubinskyと Dileep Georgeによって2005年に創業されており、主に「On Intelligence」のHTM理論をもとにアルゴリズムを研究開発している企業です。
Numentaは3つほどアルゴリズムを研究開発しており、以下のようになっております。 (以下より、第14回全脳アーキテクチャ勉強会 松田先生の勉強会を参考とさせていただいております。)
- 2005-2009 Zeta1
- 2009-2014 CLA
- 2014- G3 (※論文として正式に公開されていないので、まだ正式にわかっていることが少ない)
さきほどの大脳新皮質の特徴と対応させると以下のようにアルゴリズムは発展しております。
Vicariousのアルゴリズムとは？
Vicariousは2010年に設立して以来、2013年にCAPCHAという画像認識技術を公開するのみであり、多くの情報はありません。 しかし、2009年にDileep GeorgeはNumentaをやめ、2010年にVicariousを始めており、CLAアルゴリズムに反発したのではないかと考えるのが有望だと考えられます。 よって、2005-2009年にHawkinsとGeorgeが開発したZeta1アルゴリズムの改良版を開発していると考えられ、HTM理論に基づいたアルゴリズムを開発していると思います。
以下の記事によれば、Vicariousは年内にデモを発表するとしており、長年ベールに包まれていた技術が明らかになることが期待されております。 www.technologyreview.com
まとめ
Vicariousの創業者と、コア技術を追うためにDileep Georgeの前職であるNumentaを詳しく見ていきました。
そして、HawkinsがOn Intelligenceで提唱するHTM理論がベースであり、そもそもHTM理論は何かを簡単に説明しました。
最後にNumentaの開発しているアルゴリズムを踏まえた上で、VicariousがZeta1アルゴリズムの延長線上のアルゴリズムを開発しているのではという結論を出しております。
Vicariousの技術こそ、昨今の人工知能ブームで期待しているような技術であり、この技術の発展は、間違いなく人類の歴史にとって非常に大きな前進となるでしょう。 引き続き注目し続けていきたいと思います。また何かあればブログにまとめてみます。
人工知能に乗り遅れるな！シンギュラリティを実現するAGI (汎用人工知能) とは何か？
はじめに
2045年にシンギュラリティという技術特異点が来ると聞いたことがある方は多いと思います。 しかし、シンギュラリティの世界ってどんな世界？と聞いて答えることができる人は少ないでしょう。 そもそも、シンギュラリティって本当に実現されるの？という疑問もあるかと思います。
僕は2013年に先輩に紹介され、ある本と出会いました。 レイカーツワイルという、現在GoogleのAI開発のトップで、大脳新皮質をコンピューターシュミレーションするプロジェクト「Neocortex Simulator」を率いている天才研究者が提唱している未来予測本です。21世紀はどのようなテクノロジーが発展するのか。その一つとして人工知能だと言っているわけです。 www.amazon.co.jp
この本をきっかけに、シンギュラリティの世界に興味を持ち始め人工知能に関して本格的に勉強し始めました。
そしてみなさんが抱えている疑問にも少しばかりでありますが答えられるなと思ったので、簡単にまとめようと思います。
目次
1 シンギュラリティの世界観とは
シンギュラリティとは？
シンギュラリティは日本語では「特異点」といいます。
「特異点」とはどういう意味かとざっくり言いますと、「特異な意味をもつ独特な事象」です。
この言葉は始め数学で、有限の限界を超える値を意味するものとして用いられました。
どこまでもゼロに近い数で、定数を割った値が無限大に近づく場合がそうです。
次は、天文学で使われました。
超新星爆発が起きると残骸は、見かけの体積は0で密度が無限大でその中心に「特異点」が形成される。
そう、これがみなさんの知っている「ブラックホール」なのです。
過去にシンギュラリティはこのように使われてきました。 では、今回はどのような特異な意味があるのでしょうか？
今回のシンギュラリティの世界観とは？
簡単に言うと、「テクノロジーと人間の知能の融合」を意味しております。
レイ・カーツワイルは以下のような表現をしております。
「人間の脳に蓄積された大量の知識と、人間が作り出したテクノロジーが持つ一層優れた能力と、その進化速度、知識を共有する力とが融合して、100兆の極端に遅い結合しかない人間の脳の限界を、人間と機械が統合された文明によって超越することができる。」
人間一人一人がアインシュタイン並みの知能レベルになるとどのような世界がくるかをイメージしていただければ良いと思います。
(これは極端な例ですがw)
その他シンギュラリティに関して、イメージするには良い映画が多くあるので、気になった人はぜひ見てください。
シンギュラリティを再現した映画
チャッピー
人間のように学習する人工知能ロボットが発明され、ひょんなことからギャングに育てられるというストーリー。 どのようにロボットが学んでいくのかがイメージしやすいと思います。
オートマター
ロボットの法則である、自分自身を改造しないという法則を破り、人間の知能を超えたロボットが誕生していた。 そのロボットは、次々に別のロボットを改造していき、人間では想像つかない領域に踏み込んでいくストーリー。 まさにシンギュラリティを再現しており、ロボットと人間は共存できるのか考えさせられる映画になっております。
トランセンデンス
人間の脳をコンピューターにアップロードするとどのような世界になるのかを再現した映画。 こちらも人間の知能レベルをはるかに超え、今まで人類が発明できなかったことをどんどん発明していく。 まさにシンギュラリティの一つである「知能爆発」を肌で感じることのできる映画です。
2 シンギュラリティは本当に来るのか？
そんな時代が本当にくるの？という感じでしょうが、論理的に導かれおります。
それが「収穫加速度の法則」です。
人間の進歩は、線形的ではなく、指数関数的に加速度的である
という意味です。
ムーアの法則をイメージしていただけると良いですね。
さらにレイさんは人類の主要な事象をまとめており、指数関数的に進歩していることを証明しております。
そちらが以下の図になります。
次のパラダイムシフトこそが、シンギュラリティであるという訳ですね。
以上の事実に基づくと、21世紀前半のミッションとして、「人間の知能の拡大」というのは、宇宙進出に並ぶ大きなテーマではないでしょうか？ Steve Jobsがコンピュターを「脳の自転車」と表現していたのは非常に素晴らしい表現だなと思いますね。これからは、「脳のロケット」を開発していくわけです。
では、シンギュラリティをどのように達成するかみていきましょう。
3 シンギュラリティを実現するための技術とは
シンギュラリティを実現するために必要なイノベーションは大きくわけ2つあると考えています。
1 「人間の知能レベルを超えた機械の誕生」(非侵襲型)
2 「脳とコンピューターの融合」(侵襲型)
まずは、非侵襲型のイノベーションから発展していきます。
というよりすでに発展しております。
人間の知能レベルを超えた機械を、AGI(Artificial General Intelligence)と呼び、現在そのAGIを達成しようと、アメリカと日本を含めいろいろな研究機関が取り組んでおります。
どのようなアプローチかは様々ありますが、主流な考えは「脳のリバースエンジニアリング」です。
「脳のリバースエンジニアリング」をし、模倣をすることができればAGIを作ることができるという大きな前提に基づいている訳ですが、さらにこの前提を分解すると以下のようになります。
前提1 脳の各領域と関係性に関して把握できる
前提2 脳の各領域を機械学習のモデルで表現できる
前提3 脳の各領域同士を適切な形でつなぎ合わせることができる
前提1~前提3をどのように達成するかを全世界のAGI研究者は切磋琢磨している訳です。 2012年にHinton先生より発表され、昨今話題となっている「DeepLearning」は人間の脳の大脳新皮質を模倣した機械学習のモデルであったり(前提2)、2013年にGoogleに買収されたDeepMindは、DQNという大脳基底核を模倣したモデルとDeepLearningを組み合わせております。(前提3)
まとめるとAGIの達成のためにはざっくりいうと、NeuroScience(神経科学)とMachineLaerning(機械学習)の分野のテクノロジーが必要になるという訳です。
次は、侵襲型のイノベーションなのですが、今回はこちらの説明を省きます。
脳と機械のインターフェイスであるBMI(Brain Machine Interface)がナノテクノロジーにより進歩することが期待されておりますね。
では、「脳のリバースエンジニアリング」に関してどのようなアプローチがあるのでしょうか？ 正直なところ、現在主導権を握っているアプローチはありません。多くのアプローチが乱立している状態であり、有名どころを簡単に紹介したいなと思います。
4 「脳のリバースエンジニアリング」へのアプローチ
今回は、Hierarchical Temporal Memory (HTM)とBESOMの2つほど紹介したいと思います。
Hierarchical Temporal Memory (HTM)
HTM はJeff Hawkins が提案しているモデルです。視覚・聴覚・言語などのモジュールが階層的な接続で構築されています。 抽象化が人間の大脳新皮質が行っていることであり、そちらをHTMは、入力されてきた時々刻々と変化する信号を観察し、同じようなデータが来たらそれをまとめるというようなモデルを考案しております。
BESOM
BESOMは産業技術総合研究所の一杉裕志が提唱しているモデルです。大脳新皮質は6層構造をしており、そちらをうまくモデルかしております。
基本的には、Self Organized Maps (SOM) と Independent Component Analysis (ICA) をベースとしたモジュールで情報抽出を行い、ベイジアンネットワークをベースに再構築するという方法ですね。
正直なところまだこれだというアプローチが存在しないので、研究者としては非常に面白い分野だと思っております。
こちらに関しては具体的にはまたブログに書きますね。
最後に、AGIを目指す組織が立ち上がってきているわけですが、そちらに関してお話ししたいと思います。
5 AGIを目指す組織
海外
Vicarious
ザッカーバーグ、ピーターティール、ジェフ・ベゾスなどのシリコンバレーの大物が投資している人工知能の企業です。
大脳皮質を模倣したアルゴリズムで人間の知能を作ることを目標としております。
創業者であるDileep・Georgeは、Numentaという先ほどのHTMを提唱しているJeff Hawkinsが立ち上げた企業の共同創業者であり、非常に優秀な研究者であります。
DeepMind
2013年DQNというアルゴリズムを開発し、学会で注目を集めたことがきっかけで、Googleが買収、一躍有名となりました。 2015年の囲碁の世界ランキング2位となった、人工知能AlphaGoは同じ、DQNをベースに開発しております。 創業者であるハサビスは神経科学で博士号を取得しており、彼の海馬に関する論文は神経科学のトップ10の論文に選ばれるほど天才的な頭脳を持っております。
Open AI
こちらもイーロンマスク、リードホフマン、ピーターティールなどのシリコンバレーの大物が出資している非営利団体。
人工知能は人類を滅ぼすのではないかと危惧されており、人工知能を利益ある形にするために組織化されました。
日本
全脳アーキテクチャイニシアティブ
全脳アーキテクチャイニシアティブという、ドワンゴの所長である山川先生が代表を務める非営利団体。 AGIを目指し日本トップの人工知能研究者によって立ち上がっております。日本で唯一海外の研究所と戦うことができる団体であり、今後の研究結果を非常に期待しております。
6 まとめ
シンギュラリティとは何か？、そしてシンギュラリティはなぜ2045年にくるのか、どのように達成されるかを簡単ではありますがまとめてみました。
AGIという汎用人工知能はまさに現実になろうとしており、発明されるのも時間の問題だと考えます。AGIの開発の過程で発明されるであろうあらゆる人工知能技術はすぐに商用化され、継続してビジネス界に影響を与え続けると考えております。
人工知能に関連した事業を行っている方々は、研究開発の動向を常に追い続けることが大切だと思います。
今後とも継続して、人工知能に関する情報を発信していきますので、ぜひ見ていただければ嬉しいです。
気になることがありましたらコメント欄へお願いします！
