データ分析というお仕事のこれまでとこれから(HCMPL2014)
•
194 gostaram•78,895 visualizações
ハッカーズチャンプルー2014でお話してきた内容です。「データサイエンティスト（カナ）はオワコン」 http://hackers-champloo.org/program.html
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Destaque
Destaque (18)
Semelhante a データ分析というお仕事のこれまでとこれから(HCMPL2014)
Semelhante a データ分析というお仕事のこれまでとこれから(HCMPL2014) (20)
Mais de Takashi J OZAKI
Mais de Takashi J OZAKI (12)
データ分析というお仕事のこれまでとこれから(HCMPL2014)
- 1. データ分析というお仕事の これまでとこれから ～オワコンになった「データサイエンティスト」の 向こう側に見えるもの～ 株式会社リクルートコミュニケーションズ データサイエンティスト 尾崎 隆 (Takashi J. OZAKI, Ph. D.) 2014/7/12
- 2. 一応、自己紹介を… 尾崎 隆 (Takashi J. OZAKI, Ph.D.) “J”に深い意味はありません 学者だった頃に同業界にT. Ozakiさんがいたので と思ってJをつけたら、別業界にT. J. Ozakiさんが… 2014/7/12 1
- 4. 一応、自己紹介を… こういうキャリアをたどっております 1997～2001年 東京大学工学部計数工学科 （※情報工学系） 2001～2006年 東京大学大学院新領域創成科学研究科 修士＆博士課程（脳科学） 2006～2011年 理化学研究所脳科学総合研究センター 研究員（脳科学） 2011～2012年 東京大学教養学部 特任研究員（心理学） 2012年4月 慶應義塾大学医学部 特任助教（産学連携） 2012年6月 サイバーエージェント入社 2013年7月 リクルートコミュニケーションズ入社 2014/7/12 3
- 5. 一応、自己紹介を… こういうことをしていました 2003～2006年 機能的MRIを用いたヒト脳研究 （有力なノーベル賞候補として知られ、 機能的MRIを発明した小川誠二先生 の研究所にて研修生として共同研究を していました） 2006～2011年 脳信号に対する計量時系列分析を用いた ネットワーク解析 2011～2012年 脳信号に対する上記ネットワーク解析＋ SVMを用いた脳活動分類 2014/7/12 4
- 7. 本日お話すること 1. 「データサイエンティスト」はかくしてオワコンになった 2. データ分析の「二極化」と”Data Scientist”化 3. 今後は改善「レイヤー」ごとに合わせたデータ分析の 重要性が増していく 4. 現在最もホットなデータ分析手法たち 2014/7/12 6
- 9. 全てはここから始まった 2014/7/12 8 “Data Scientist: The Sexiest Job of the 21st Century” Thomas H. Davenport and D.J. Patil, Harvard Business Review, Oct 2012 （データサイエンティスト：21世紀で最もセクシーな職業） 大変有名な売り文句ですね
- 11. ところが… 2014/7/12 10 “Data Scientist: The Sexiest Job of the 21st Century” Thomas H. Davenport and D.J. Patil, Harvard Business Review, Oct 2012 （データサイエンティスト：21世紀で最もセクシーな職業） 実は1年半以上も前の話
- 19. スーパーマンよりも現実的な解＝「三位一体」 より現実的な「三位一体」説 スーパーマンなんて無理 3つの役割を例えば3人で分担 チームで揃えば「1つの完成したデータ サイエンティスト像になる 2014/7/12 18 データサイエンティスト ・・・三位一体！
- 20. 実際によく見られる「三位一体」型チーム構成の例 2014/7/12 19 統計学・機械学習の 学術的スキル コンサルタントorマーケッター orアナリストとしてのスキル プログラミング・DB・インフラ 等IT基盤技術スキル KPI1を上げるためには○○！ )),(1( 1 n k kikki Kyy xx データ分析チーム
- 22. そもそも「データ分析」は二極化しつつある 2014/7/12 21 • スパムフィルタ・レコメンドシステ ム・広告最適化配信・異常値検出な ど、アウトプットが定量的なもの 「システム開発・実装」 アルゴリズム 実装 • 事業改善・投資効果予測・現況分析 レポート・市場動向予想など、アウ トプットが定性的なもの 「データコンサルティング」 アドホック 分析
- 24. 二極化が進むにつれて起きていること 2014/7/12 23 統計学と機械学習とIT技術全てに通じて レポートがアウトプットになる系 統計学と機械学習とIT技術全てに通じて システム構築がアウトプットになる系 これらの2パターンを名付けて… )),(1( 1 n k kikki Kyy xx 「レポート主体なら この環境がいいよね」 「システム組むなら この環境かなぁ」 「ここは共通」
- 25. 「アドホック分析系」vs.「アルゴリズム実装系」 2014/7/12 24 アルゴリズム実装系 データ分析者 )),(1( 1 n k kikki Kyy xx アドホック分析系 データ分析者 共通スキル
- 28. HBRの論説でDavenportはこう指摘している 2014/7/12 27 Perhaps it's becoming clear why the word "scientist" fits this emerging role. Experimental physicists, for example, also have to design equipment, gather data, conduct multiple experiments, and communicate their results. （「サイエンティスト」という語がこの新たな職業にふさわしい理由は、 おそらくおいおい明らかになるだろう。 例えば実験物理学者はデータ分析者同様に測定系をデザインし、データを 集め、複数の実験を遂行し、その結果を第三者に伝えなければならない）
- 30. 本場USでは「サイエンティスト」からの転向組が多い 2014/7/12 29 Insight Data Science Fellowship Program http://insightdatascience.com/ （様々な分野のPh.D.取得者に統計 学・機械学習・IT基盤技術を6週間 で叩きこんでData Scientistへと生 まれ変わらせる養成コース） New York University Master of Science of Data Science http://cds.nyu.edu/academics/ ms-in-data-science/ （2年間の修士課程で統計学・機械 学習・IT基盤技術・経済学・金融 工学などを学べる。業界トップの教 授陣が揃う。社会人入学も可能） ※海外にはこの他にも 多くの養成課程がある
- 31. 日本でも近い分野からの「サイエンティスト」参入が増加中 2014/7/12 30 アルゴリズム実装系 )),(1( 1 n k kikki Kyy xx アドホック分析系 共通スキル 実験科学、生態学、経済学、 社会学、心理学… etc. 計算機科学、情報工学、 数理科学… etc.
- 32. ようやく日本でも”Data Scientist”に近付きつつある 2014/7/12 31 アルゴリズム実装系 )),(1( 1 n k kikki Kyy xx アドホック分析系 共通スキル 実験科学、生態学、経済学、 社会学、心理学… etc. 計算機科学、情報工学、 数理科学… etc.
- 38. データ分析は全員参加、厳密性はサイエンティストの仕事 2014/7/12 37 生データ データベース DWH / DMP Data Scientistな データ分析者 データ分析の アウトプット みんなのやり方、 正しいかな？
- 40. ※今後どのような業界がデータ分析者を必要とするのか • レコメンダーシステム • サイト面のA/Bテスト、 多腕バンディット Eコマース • 課金イベントの個々のユー ザー単位での最適化 • 最適ゲームレベル設定 ソシャゲ 2014/7/12 39
- 41. ※今後どのような業界がデータ分析者を必要とするのか • SSP / DSP • DMPによるユーザー単位最適広告配信 • 広告予算ポートフォリオ最適化 アドテク • キュレーションサービス（レコメン ダーシステムなど） • 画像認識、音声認識、自然言語処理など Tech系 スタート アップ 2014/7/12 40
- 42. ※今後どのような業界がデータ分析者を必要とするのか • 既存メディア広告の最適化 • 視聴者情報に基づくサービス開発 メディア • データに基づく経営意思決定支援 • データ管理システム導入 コンサル • 「クオンツ」 • 「アクチュアリー」 金融 • 流通コスト最適化 • 在庫の最適管理流通 • 治験データ分析製薬 2014/7/12 41
- 43. 日本に”Data Scientist”が根付くのはこれから 2014/7/12 42 カタカナの「データサイエンティスト」は 残念ながらオワコン 今後はグローバルの”Data Scientist”へ 日本もシフトしていく必要がある そのためには日本とグローバルの双方 でのデータ分析の二極化に適応すべき 「サイエンティスト」を採用し、一方でデータ分析 カルチャー自体を広い職種に普及させる努力が必要
- 60. ベイジアンモデリング: (MC)MCによるモデル推定 2014/7/12 59 Stan MCサンプラーを用いて、階層ベイズモデル に基づくベイジアンモデリングを行う
- 62. ベイジアンモデリング：Stanコードによるモデル記述 2014/7/12 61 𝐶𝑉𝑡 = 𝑄𝑡 + 𝑐𝑢𝑚_𝑡𝑟𝑒𝑛𝑑 𝑡 𝑄𝑡 = 𝑎𝑥1𝑡 + 𝑏𝑥2𝑡 + 𝑐𝑥3𝑡 + 𝑑 + 𝜀𝑡 𝑡𝑟𝑒𝑛𝑑 𝑡 − 𝑡𝑟𝑒𝑛𝑑 𝑡−1 = 𝑡𝑟𝑒𝑛𝑑 𝑡−1 − 𝑡𝑟𝑒𝑛𝑑 𝑡−2 + 𝜀𝑡 𝑡𝑟𝑒𝑛𝑑 𝑡 = 𝑐𝑢𝑚_𝑡𝑟𝑒𝑛𝑑 𝑡 − 𝑐𝑢𝑚_𝑡𝑟𝑒𝑛𝑑 𝑡−1 (𝜀𝑡 ≈ 𝑁 𝜇, 𝜎 ) CVユーザー数を正規線形モデル＋トレンドの和で表現した階層ベイズモデル
- 63. ベイジアンモデリング：Stanコードによるモデル記述 2014/7/12 62 model { real q[N]; real cum_trend[N]; trend~normal(30,10); for (i in 3:N) trend[i]~normal(2*trend[i-1]-trend[i-2],s_trend); cum_trend[1]<-trend[1]; for (i in 2:N) cum_trend[i]<-cum_trend[i-1]+trend[i]; for (i in 1:N) q[i]<-y[i]-cum_trend[i]; for (i in 1:N) q[i]~normal(a*x1[i]+b*x2[i]+c*x3[i]+d,s_q); } 先ほどのモデル式をStanコードで記述するとこうなる
- 67. word2vec: ニューラルネットワークによる自然言語処理 ニューラルネットワーク 古株の機械学習手法 分類の閾値関数が特徴的 近年Deep Learningの台頭と ともに多層化して復権 自然言語処理(NLP) Natural Language Processing いわゆるテキストマイニング 文書データの要素抽出、分類、 特徴比較など多岐に渡る分野 2014/7/12 66
- 68. word2vec: Googleが開発した革命児 極めて大ざっぱに言えば「単語の出現 した前後関係を徹底的にニューラル ネットワークでモデル化して、単語同 士の『類似度』を数値化」 従来の自然言語処理とは異なり、 「意味の構造」を足したり引いたりすら できる “good”と”best”の数値的表現を 足して2で割った値に対応するのは、 何と”better” (“woman” + “king”) – “man” はどうなる？ “queen”という結果になる 2014/7/12 67 (Mikolov et al., HLT-NAACL, 2013)
- 69. word2vec: 単語を「値」として表現できる 単語の意味の「度合い」を間隔尺度として表せる 形容詞の「基本形」～「最上級」を比較 きちんと間に「比較級」が入る！（上記） 異なる言語同士で単語間の関係性を一種の数値的なグラフ 構造として表せる そのまま対訳グラフを作ることも可能 2014/7/12 68 (Kim et al., EMNLP, 2013)
- 70. word2vec: 導入は非常に簡単 例えばPython上でも簡単に動く “gensim”パッケージで実装 Cythonと組み合わせることで高速化 パッケージ化されているので、分かち書きされた 文書データさえあれば誰でも以下のようなコマ ンドで実行できる 2014/7/12 69 from gensim.models import word2vec data1 = word2vec.Text8Corpus('souseki_data.txt') model = word2vec.Word2Vec(data1, size=200) model.out=model.most_similar(positive=[u‘▲▲▲▲'])
- 71. word2vec: 今回用いた学習データ 夏目漱石の作品（青空文庫より） 前期三部作 『三四郎』「うとうととして目がさめると…」 『それから』「誰か慌ただしく門前を…」 『門』「宗助は先刻から縁側へ坐蒲団を…」 後期三部作 『彼岸過迄』「敬太郎はそれほど験の見えな…」 『行人』「梅田の停車場を下りるや否や…」 『こゝろ』「私はその人を常に先生と呼んで…」 芥川龍之介 ロマン・ロラン 2014/7/12 70
- 72. word2vec: 試しに漱石のデータで色々やってみる 2014/7/12 71 「文明」 「人生」 「人間」＋「夢」 「人間」－「哲学」 物質 0.718787恋 0.894626気分 0.791552墓参り 0.713859 社交 0.713621思想 0.884692下等 0.779617旧友 0.712677 消極 0.684551健康 0.884444方法 0.767886死な 0.710786 笑い声 0.683901衝動 0.842681一般 0.745464墓参 0.70417 遠い 0.675898不可思議 0.823937自由 0.744742無意識 0.700065 相当 0.65385生前 0.819886器械 0.738353墓 0.676655 列車 0.646803意志 0.815782探偵 0.736964今頃 0.667586 宗教 0.645549義務 0.813765自然 0.734699気が付き 0.662352 具体 0.643558意義 0.808109平凡 0.732994後ろ 0.65725 午後 0.642242以外 0.807706純粋 0.730759対し 0.655573 類似語 元となる単語
- 73. word2vec: 推定結果から作者の違いを読み取る 2014/7/12 72 夏目漱石 芥川龍之介 ロマン・ロラン 「人間」 「人間」 「人間」 人間らしく 0.760542金持 0.860284民主 0.762653 性質 0.743082急 0.854192自由 0.746544 矛盾 0.736668冠 0.845701空想 0.74299 必要 0.734184唯 0.826246人物 0.74182 消極 0.731387杜 0.813595絶対 0.737375 財産 0.727823ども 0.796918懐疑 0.730712 関係 0.722252春 0.788514賢明 0.730665 種類 0.721521ませ 0.776529民衆 0.728969 世間 0.71959もの 0.768472天才 0.720979 横着 0.717869なくなっ 0.76815独創 0.715607 類似語 元となる単語
- 74. 2014/7/12 73 最後に
- 75. このデータ分析のフローですが… 2014/7/12 74 生データ データベース DWH / DMP Data Scientistな データ分析者 データ分析の アウトプット みんなのやり方、 正しいかな？
- 76. 来年にはもう時代遅れかも？ 2014/7/12 75 生データ データベース DWH / DMP Data Scientistな データ分析者 データ分析の アウトプット みんなのやり方、 正しいかな？