onewanのメモ帳

数式が書きたくて始めたブログ。twitter IDは @onewan

東大松尾研のDeep Learning基礎講座 #01

先日、twitterでもつぶやいておりましたが、表題の講座に参加しております。

deeplearning.jp

はじめに

松尾研は、基礎研究だけでなく、AIの人材育成、社会実装にも力を入れている。

この授業で大事にしている3つの柱は以下のとおり。

1つ目の柱

Computer Scienceを学ぶには、実際にプログラミングを行うべき(stack overflow社長 ジョエル氏談)。
そこで、1受講者1GPUの仮想サーバを与える。

2つ目の柱

Kaggleみたいにコンペをやる。

3つ目の柱

コミュニティを醸成する。
同じタイミングで同じコンテンツを学習し、チームでプロジェクトを行うことでコミュニティを作る。
修了式もある。

講師陣

上記リンクから見れます。

初回は、松尾先生の特別講義。

「第一回:人工知能の概要とディープラーニングの意義」

人工知能の定義は曖昧。知能の定義すらも曖昧。
・最先端の情報技術でできること=”人工知能
人工知能がなぜできないのか?
 人間の脳の解析もできていない。
 ロジャー・ペンローズ(物理学者)。脳の中の微笑なくだによる量子現象に意識が生じる。

第一次ブーム1956-1960年代:探索・推論の時代

ダートマスワークショップ(1956)
探索木、GAなど、このときにほぼ全ての基礎技術は出揃った。

ゲームと計算量

・チェス: {10}^{120}
・将棋:  {10}^{220}
囲碁:  {10}^{360}
最近強くなった理由は、モンテカルロ法を用いたから。

まとめ

・トイプロブレムしか解けない
・1969 MinskyによるPerceptronの限界証明。

第二次ブーム 1980〜 知識の時代

エキスパートシステム
・対話システム
・ELIZA(イライザ)1964
単純なルールを大量に用意するだけで十分会話になる。
 => emacsで使える!?
・MYCIN(スタンフォード)1970
・Cyc 1984-  人間の常識を全て記述しようとしているが、まだ出来ていない。

まとめ

・知識でできることが限られることがわかった。 ・冬の時代

はてなブログがクラッシュしたので、ここから下は記憶を頼りに書いております。

第三次ブーム

Deep belief network

auto-encoder(Hinton 2006)

4-2-4の状態を持つ。隠れ層で次元が圧縮されている。これが特徴量である。

ontology

・High-weight ontology
・Light-weight ontology
WatsonはLight-weight ontology。ほとんどword検索と変わらない。
良い意味で見せ方がうまかった。

Googleの猫
難しい問題

第一の難問:特徴量をどうきめるか
第二の難問:フレーム問題
第三の難問:シンボル・グラウンディング問題

結局は、人が特徴量を調整していたことが問題。

DL時代に勝つ企業は?

f:id:sosuu-daifugoh:20181004195829j:plain

DLで論文引用数の多い人は?

日本人で最上位は、MITの人 400位。

f:id:sosuu-daifugoh:20181004200527j:plain

f:id:sosuu-daifugoh:20181004200511j:plain