Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 全脳関西編(松尾)
Semelhante a 全脳関西編(松尾) (20)
全脳関西編(松尾)
- 2. 自己紹介 2 1997年 東京大学工学部電子情報工学科卒業 2002年 同大学院博士課程修了．石塚研究室．博士（工学） 産業技術総合研究所 研究員 2005年 スタンフォード大学客員研究員 2007年 東京大学 大学院工学系研究科総合研究機構／技術経営戦略学 専攻／知の構造化センター 准教授 専門は、Web工学、人工知能 人工知能学会論文賞（2002年） 情報処理学会長尾真記念特別賞受賞（2007年） 人工知能学会 創立20周年記念事業賞、現場イノベーション賞（2012年) 2012年より、人工知能学会 編集委員長・理事。2007年より国際WWW会議プロ グラム委員。WWW2014ではウェブマイニングトラックのトラックチェア。 オーマ株式会社技術顧問、経営共創基盤（株）顧問、Pluga AI Asset Management 技術顧 問、国立情報学研究所客員准教授、国家戦略会議 叡智のフロンティア部会委員等 SPYSEE, READYFOR、研究室の学生：Gunosy
- 3. ウェブ上のビッグデータから、社会を観測する • ブログから選挙結果の予測：2008年〜。世界でも最初期 • Twitterから地震の検知：2009年〜。WWW論文、600以上の被引用、渋滞情報の 検知（トヨタ自動車との共同研究）に展開 Toky o Osak a actual earthquake center Kyot o estimatio n by medianestimation by particle filter ワールドビジネスサテライト(2012/1/15)、日経新聞1面(2012/3/25)、朝日新聞3面（2012/12/22)等 予測数 正解数 誤り数 混戦 的中率 ブロブ分析 300 256 43 0 85.67% ブログ分析 （混戦あり） 254 241 39 36 94.88% 朝日新聞 260 245 15 40 94.23% 日経新聞 288 264 24 12 91.67%
- 5. ビッグデータ分析に関する企業との共同研究 • ゼクシィ（結婚情報誌）：顧客の嗜好を把握し、適切なレコメンデーションを行う • Suumo（住宅情報誌）：顧客の導線を分析し、マッチング精度を上げる • AKB（アイドルグループ）：ファンの行動を観察し、最適な広報戦略を見つける 結婚式場の競合ネットワーク AKBのファンの遷移図
- 6. Deep Learning • 人工知能の50年来の画期的なブレークスルー • 多段のニューラルネットワーク • 高次素性を作り出す 日経ビジネス2013年4月15日号
- 8. ディープラーニング
- 13. Back Propagation
- 18. Deep Learningの展開 • DBN • Auto-encoder – Sparse autoencoder – Denoising autoencoder – …. • 関数をどのようなものを使うか – Sigmoid – Max – Rectifier • ロバスト性を入れる – さまざまなdropout
- 19. いじめかた • Sparse Autoencoder – 発火するのはX%以内！ • Denoising Autoencoder – 入力にノイズをのせる • Dropout – ランダムにコネクションを切る
- 20. DL関連の国際会議 • ICLR: International Conference on Learning Representations（2013, 2014） • ICMLやNIPSでも、DL関連のワークショップ が継続的に開かれている DL関連のニュース • Google Brain：トロント大J. Hinton教授と学生の会社をGoogleが 買収（2013） • BaiduがシリコンバレーにDeep Learningの研究所を作る（2013） • FBに人工知能研究所設立: NY大のYann LeCun教授（2013） • Yahoo!が画像のDeep LearningのためにLookFlowという会社を 買収（2013） • Googleが、Deep Learningの会社 Deep Mindを500億円で買収 （2014） 日経ビジネス2013年4月15日号
- 21. 深層学習≠表現学習（Representation Learning） • Ten Priors for Representation Learning in AI [Bengio2014] – Smoothness – Multiple explanatory factors – A hierarchical organization of explanatory factors – Semi-supervised learning – Shared factors across tasks – Manifolds – Natural clustering – Temporal and spatial coherence – Sparsity – Simplicity of factor dependencies • 「深層」であることは、表現を学習するための有力な方法のひとつ
- 22. AIの基本問題 • 知識獲得のボトルネック • 機械学習における素性生成 • フレーム問題 • シンボルグラウンディング問題
- 23. 例：年収予測 性別 地域 身長 好きな色 年収 男 東京 168 赤 250 男 埼玉 176 白 700 男 神奈川 183 青 1200 女 東京 155 別に 400 男 千葉 174 赤 180 女 東京 163 緑 5000 • 年齢いれようよ • 職業も必要でしょう • 業種とかスキルとかも 入れた方がいいんじゃない？ なぜ人間には それが分かるの？ 経験？
- 24. ツイートを分類したい • 地震が起きたことを言っているかどうか – 「揺れてる？怖い」：地震 – 「今日は勉強会だ」：それ以外 • ツイートに含まれるキーワード：53% • + 地震に関するキーワードの文脈：57% • + ツイートの長さ：73% • 要するに、地震のツイートは短い – 「地震？」「揺れた？」 • なぜ「ツイートの長さ」という特徴を入れることができるの？？？
- 25. ゲームにおいても同じ • MIUゲーム（ゲーデル、エッシャー、バッハ） • ある公理系において、ある文字列を作れるかを予測したい Mの数 Iの数 Uの数 IUの数 UUの数 … 作れるか 2 1 0 0 0 … Yes 1 3 2 1 0 … No 0 2 3 0 1 … No 0 0 1 0 0 … No 1 1 0 0 0 … NO 2 1 1 0 0 … Yes
- 26. ゲームにおいても同じ • MIUゲーム（ゲーデル、エッシャー、バッハ） • ある公理系において、ある文字列を作れるかを予測したい Mの数 Iの数 Uの数 IUの数 UUの数 最初にM があるか 作れるか 2 1 0 0 0 0 Yes 1 3 2 1 0 1 No 0 2 3 0 1 1 No 0 0 1 0 0 1 No 1 1 0 0 0 1 NO 2 1 1 0 0 0 Yes 難しい問題１： 機械学習で、有用な素性をなぜ人間は作り出すことができるの？
- 27. フレーム問題 • 現実世界には無限の情報量がある • コンピュータには有限の情報処理能力しかない • したがって、コンピュータに現実世界の情報を処理することは無理 （例） 倉庫に箱があり、箱の中にバッテリーと時限爆弾がある。 この箱を持ち出すようにロボットに命令すると・・・ そのまま持ち出して爆発 持ち出す方法の計算中に爆発 持ち出す方法の計算方法の 計算中に爆発 3号： 2号： 1号：
- 28. フレーム問題（Dennett 1984） • R1と名付けられた一台のロボットがあった。ある日、R1の予備バッテリーをしまってある部屋に時限爆弾が仕掛けられ、それはまもなく爆発する ようにセットされていた。部屋には一台のワゴンがあり、バッテリーはその上にある。R1はバッテリー救出作戦を立てた。すなわち、PULLOUT （WAGON, ROOM）という行動を行えば、バッテリーを部屋から持ち出すことができると考えた。R1はただちにこれを実行した。ところが、不幸なこ とに爆弾もまたワゴンの上にあった。R1は爆弾がワゴンの上にあることを知っていたが、ワゴンを引っぱり出すことが、バッテリーと一緒に爆弾 も持ち出すことになるということに気が付かなかった。自分が計画した行動のこの明白な帰結を見落としていたR1は、部屋の外で爆発してしまっ た。 • 技術者たちは考えた。ロボットは自分の行動の帰結として、自分の意図したものだけではなく、副産物についての帰結も認識できなければなら ない、ロボットは周囲の状況の記述を用いて自分の行動を計画するから、そのような記述から副産物についての帰結を演繹（deduce）させれば よい、と。こうしたわけで、R1D1（robot-deducer）がつくられた。R1D1はR1と同じ苦境にたたされた。R1D1も、PULLOUT（WAGON, ROOM）を考えつ いた。それからR1D1は、設計されたとおり、この行動の帰結を考え始めた。R1D1は、ワゴンを部屋から引っぱり出しても部屋の壁の色は変わら ないということを演繹し、ワゴンを引けば車輪が回転するだろうという帰結の証明にとりかかった。そのとき爆弾は爆発した。 • 技術者たちは考えた。われわれはロボットに、関係のある（relevant）帰結と関係のない（irrelevant）帰結との区別を教えてやり、関係のないもの は無視するようにさせなければならない、と。こうしたわけで、R2D1（robot-relevant-deducer：分別のある演繹ロボット）がつくられた。R2D1も例 の苦境にたたされた。すると、驚いたことに、このロボットは、部屋に入ろうともせず、じっとうずくまって考えていた。設計者たちは「何かしろ」と 叫んだ。R2D1は「してますよ」と答えた。「私は、無関係な帰結を探し出してそれを無視するのに忙しいんです。そんな帰結が何千とあるんです。 私は、関係のない帰結を見つけると、すぐそれを無視しなければならないもののリストにのせて、……」また爆発してしまった。 （例） 倉庫に箱があり、箱の中にバッテリーと時限爆弾がある。 この箱を持ち出すようにロボットに命令すると・・・ そのまま持ち出して爆発 持ち出す方法の計算中に爆発 持ち出す方法の計算方法の 計算中に爆発 3号： 2号： 1号：
- 29. 難しい問題２： 何を、述語や命題として書けばいいの？ それを使って、どのようなルールを書いておけばいいの？ なぜ人間は関係のある知識だけを使えるの？ フレーム問題と素性 if ON(ワゴン、バッテリー） then PULLOUT(ワゴン, ルーム） if ON(ワゴン、バッテリー) & ¬ ON(バッテリー、爆弾） & ¬ ON(バッテリー、核兵器） & ¬ON(ワゴン, 天井） & …. then PULLOUT(ワゴン、ルーム) if ENTER(ロボット、ルーム） then LOCATION(ロボット、ルーム) if SING(ロボット) then … if ENTER(ロボット、トイレ） then … • 述語や命題 〜 素性 • フレーム問題は、IF-THENルールにおける素性生成の問題
- 30. シンボルグラウンディング問題 • シンボルグラウンディング問題とは、記号システム内のシンボルがどのよ うにして実世界の意味と結びつけられるかという問題。記号接地問題とも 言う。(Harnard 1990) • コンピュータには、記号の「意味」が分かっていないので、記号の操作だ けで知能は実現できない。シンボルを、その意味するものと結びつける （グラウンドさせる）ことが必要であり、困難である。 • 言い換えると、多くのデータの中から自律的に出現したものと、それを表 すシンボルを結びつけなければいけない
- 31. Zebra = horse + stripes? • (1) Suppose the name "horse" is grounded by iconic and categorical representations, learned from experience, that reliably discriminate and identify horses on the basis of their sensory projections. • (2) Suppose "stripes" is similarly grounded. • Now consider that the following category can be constituted out of these elementary categories by a symbolic description of category membership alone: • (3) "Zebra" = "horse" & "stripes” • What is the representation of a zebra? It is just the symbol string "horse & stripes." But because "horse" and "stripes" are grounded in their respective iconic and categorical representations, "zebra" inherits the grounding, through its grounded symbolic representation. In principle, someone who had never seen a zebra (but had seen and learned to identify horses and stripes) could identify a zebra on first acquaintance armed with this symbolic representation alone (plus the nonsymbolic -- iconic and categorical -- representations of horses and stripes that ground it).
- 32. シンボルグラウンディング問題 • シンボルグラウンディング問題とは、記号システム内のシンボルがどのよ うにして実世界の意味と結びつけられるかという問題。記号接地問題とも 言う。(Harnard 1990) • コンピュータには、記号の「意味」が分かっていないので、記号の操作だ けで知能は実現できない。シンボルを、その意味するものと結びつける （グラウンドさせる）ことが必要であり、困難である。 難しい問題３： なぜ人間は、シマウマがシマのある馬だとわかるのか？ 例えば、シマのある象と聞いて、なぜ思い浮かべることができるのか？
- 33. これまでの人工知能の壁≒表現獲得の壁 • 難しい問題１：機械学習における素性生成 – 素性をどう作るの？ • 難しい問題２：フレーム問題 – ロボットが動くとどうなるかを、どう考えればいいか – = if-thenルールで書いた場合の素性をどう作るの？ • 難しい問題３：シンボルグラウンディング問題 – シマウマがシマのある馬だと、どう理解すればいいか？ – ＝ 素性をどう作って、それに名前（シンボル）を与えるの？ 結局、難しい問題は全部同じことを指しており、 よい表現を、データをもとにいかに作るかという問題。
- 34. 表現獲得とは何か？ そもそもの世界の難しさ • 任意のものは任意の｛関数, 手続き｝の組み合わせでできる • 無限に探索すれば、いつか最適な解ができる – 将棋でも、創薬でも、生物でも、会社でも。 • ただ、それをいかに「速く」見つけるか – サンプルサイズに対しての「速さ」 – 組み合わせをいかに効率的に探索するか。
- 35. インデックスとしての表現 • 表現と計算量にはトレードオフがある。 – マッカーシーらの論理主義者達はフレーム問題を記述の量減らしと狭くとらえたため， か えって処理の量を増やしてしまっている(有限のアルゴリズムがあればよいとするようだ)。 記 述の量と処理の量はトレードオフである。そのため双方を考慮しなければいけない。（松原 1990) • ある程度「汎用的に」使えるように、データをあらかじめ加工しておく。 – 検索におけるインデックス作り • 途中までやって、中間表現として、おいておく。 – 例えば「シマ」という概念：いろいろな表現の生成に使える。 – 料理で言うと、魚の切り身とか、肉の薄切りとか • この「途中までやっておく」という処理が、表現学習において重要 Deep Learningがまさに、中間表現を作る仕組みの 端緒を開いている！ そのポイントは、データ量、ロバスト性、それを支える計算量だった。
- 36. 気に食わないこと：Encode? Decode? • 手続き的な処理とどう関係するの？ – チューリングマシン • 信号処理の符号化、復号との関係は？ • もっといろいろあるのでは – 食べたらおいしい – 叩いたら壊れる – 割り切れる • 手続きが定義され、「同一性」が定義される。 – 実は「最初にMがあるか」とか「ツイートの長 さ」とかも、手続き的な素性 • 任意の手続きでEncode, Decodeしてもよいはず。 • 任意の手続きも階層的になっていてよいはず。 – 手続きも抽象化されているはず。 • Encoder, Decoder自体が、DLの高次概念（高次 の手続き）になっているはず。 Encode Decode
- 37. 気に食わないこと：入力データと照合？ • 時系列的には「少し先の情 報」との比較でいいはず。 – 生物的には。 • どのくらい情報を保存しておけ ばいいの？ – 予測に寄与するのであれば。
- 38. 気に食わないこと：構造をなぜ先に決めておかないといけないの？ • ニューラルダーウィニズム • 構造を決めるのではなく、マルチエージェント・遺伝的アルゴリズム的に • を、先行するすべての時点の情報 を使って、 予測すればよい。 • 時間・空間次元のチューブ Xxt 110 ,,, txxx 時間
- 39. 気に食わないこと：言語との対応 • 言語を言語で扱う系の処理 はどうやっても限界ある。 • 自己内の言語 – リサンプリング。むりやり共 起させる。 – 関係概念 • 他者との言語使用 – 異なる個体とのロバスト性 の獲得（物理的な違いに あまり依存しない概念）
- 40. 1. 画像 2. 観測したデータ（画像＋音声＋圧力センサー＋…） → マルチモーダルな抽象化 3. 自分の行動に関するデータ ＋ 観測したデータ → 行為と帰結の抽象化 4. 行為を介しての抽象化 → 名詞だけでなく動詞 （その様態としての形容詞や副詞） 5. 高次特徴の言語による バインディング 6. バインディングされた言語データの大量の入力 → さらなる抽象化、言語理解、自動翻訳 プランニング 推論・オントロジー 言語身体性 → 画像特徴の抽象化 シンボルグラウンディング Deep Learningがすごいのではなく、 Deep Learningの先に広がる世界がすごい
- 41. 今後のDL研究 • 研究のロードマップ – 時系列処理 – 行動と観測のデータ入力 – 概念と言語ラベルのグラウンディング – 大量の言語表現の入力 – … • 人工知能で最も難しかった問題（表現の獲得）に、突破の糸口が見えた – 「なぜ、できないの？できて当たり前」という人工知能ができた当初の仮説に 戻るべき • ディープラーニング：大脳新皮質 – 脳の各構造をどのように作っていけばよいか？という言い方もできる。
- 42. 第6回 AIツール入門講座のご案内 • 日程 ： 2014年7月10日（ 木） 9:30-16:30（ 予定） • 会場 ： 東京工業大学キャ ンパス・ イ ノ ベーショ ンセンタ ー （ 〒108-0023 東京都港区芝浦3-3-6 JR田町駅すぐ ） • 参加費： 一般会員11,000円， 学生会員5,000円， 非会員16,000円 • URL ： 人工知能学会HP h p://www.ai-gakkai.or.jp/category/ai-seminar/ （ 近日中に上記ページに申込みページを 公開し ます） • 連絡先： account＠ai-gakkai.or.jp 人工知能に関連するツールや応用アプリ ケーショ ン開発における入門講座を 実 施する 「 AIツ ール入門講座」 のご案内です。 今回は、 東京工業大学キャ ン パス・ イ ノ ベーショ ンセンタ ー（ 東京都港区） にて、 いま注目を浴びている機械学習手 法である Deep Learning、 そし て3Dエージェ ン ト と の音声対話を 実現する ツ ール キッ ト MMDAgentの2件のツール入門講座を 開催いたし ます。 当講座では、 実際に ツ ールを ご自分の手で操作し ながら 学ぶこ と ができ ますので、 導入を 考えておら れる 学生・ 研究者・ 企業の方々にと っ て有意義な機会にな る と 思っ ており ま す。 ぜひお誘いあわせのう え、 奮っ てご参加下さ い。 主催： 一般社団法人 人工知能学会 担当企画委員 松村 冬子（ 青山学院大学） 笹嶋 宗彦（ 株式会社YMP-Mundus， 大阪大学） 松下 光範（ 関西大学） 講座 (1) Deep Learning（ 深層学習） 講師： 中山 浩太郎（ 東京大学） 講座 (2) 音声イ ンタ ラ ク ショ ン構築ツールキッ ト MMDAgent （ 協賛： JST CREST uDialogue プロジェ ク ト ） 講師： 李 晃伸（ 名古屋工業大学）
- 43. DLの解説 好評連載中