東大松尾研のDeep Learning基礎講座 #01
先日、twitterでもつぶやいておりましたが、表題の講座に参加しております。
はじめに
松尾研は、基礎研究だけでなく、AIの人材育成、社会実装にも力を入れている。
この授業で大事にしている3つの柱は以下のとおり。
1つ目の柱
Computer Scienceを学ぶには、実際にプログラミングを行うべき(stack overflow社長 ジョエル氏談)。
そこで、1受講者1GPUの仮想サーバを与える。
2つ目の柱
Kaggleみたいにコンペをやる。
3つ目の柱
コミュニティを醸成する。
同じタイミングで同じコンテンツを学習し、チームでプロジェクトを行うことでコミュニティを作る。
修了式もある。
講師陣
上記リンクから見れます。
初回は、松尾先生の特別講義。
・人工知能の定義は曖昧。知能の定義すらも曖昧。
・最先端の情報技術でできること=”人工知能”
・人工知能がなぜできないのか?
人間の脳の解析もできていない。
ロジャー・ペンローズ(物理学者)。脳の中の微笑なくだによる量子現象に意識が生じる。
第一次ブーム1956-1960年代:探索・推論の時代
ダートマスワークショップ(1956)
探索木、GAなど、このときにほぼ全ての基礎技術は出揃った。
ゲームと計算量
・チェス:
・将棋:
・囲碁:
最近強くなった理由は、モンテカルロ法を用いたから。
まとめ
・トイプロブレムしか解けない
・1969 MinskyによるPerceptronの限界証明。
第二次ブーム 1980〜 知識の時代
・エキスパートシステム
・対話システム
・ELIZA(イライザ)1964
単純なルールを大量に用意するだけで十分会話になる。
=> emacsで使える!?
・MYCIN(スタンフォード)1970
・Cyc 1984-
人間の常識を全て記述しようとしているが、まだ出来ていない。
まとめ
・知識でできることが限られることがわかった。 ・冬の時代
はてなブログがクラッシュしたので、ここから下は記憶を頼りに書いております。
第三次ブーム
Deep belief network
auto-encoder(Hinton 2006)
4-2-4の状態を持つ。隠れ層で次元が圧縮されている。これが特徴量である。
ontology
・High-weight ontology
・Light-weight ontology
WatsonはLight-weight ontology。ほとんどword検索と変わらない。
良い意味で見せ方がうまかった。
Googleの猫
難しい問題
第一の難問:特徴量をどうきめるか
第二の難問:フレーム問題
第三の難問:シンボル・グラウンディング問題
結局は、人が特徴量を調整していたことが問題。
DL時代に勝つ企業は?
DLで論文引用数の多い人は?
日本人で最上位は、MITの人 400位。