SlideShare uma empresa Scribd logo
1 de 35
Baixar para ler offline
ニコニコデータ 
ビューア・改 
@shibacow
芝尾幸一郎 
• 株式会社Aiming所属 
• データ分析を担当 
• ニコニコ動画のランキングサイ 
トを作っている 
• follow me: @shibacow
ニコニコデータ 
ビューア
ニコニコデータビューアー・改
ニコニコデータセット
• ニコニコ動画の情報を配布 
• 2007-2012の 
• 動画情報800万件 
• タグ情報40000万件 
• コメント情報24億件 
• 無料で公開中
ニコニコデータ 
ビューア
• web上で 
• 手軽に無料で 
• ニコニコデータセットの 
• 分析 
• ができる。
ニコニコデータビューアー・改
不満 
• 集計が遅い(21分) 
• 土日しか開けられない(お 
金が高い)-土日だけで 
8000円
作り直し中
データセットビューア・改 
• 特徴 
• 集計が早い 
• だいぶ安い
DEMO
早い 
• 23億件の集計 
• 21分 -> 10秒以内 
126倍
ニコニコデータビューアー・改
ニコニコデータビューアー・改
MySQLとの比較 
• 数億件だと、MySQLの 
集計は、厳しい。 
• 3億円でオラクル買う世 
界
早いので 
• トライアンドエラーがや 
りやすい 
• 集中が長続きする
安い 
• 土日だけではなく 
• 連日開放 
• 今までで6ドル 
• (従量制だが、だいぶ安い)
なぜ早くて安い?
ニコニコデータビューアー・改
グーグル製データ分析 
ツール
何故早い 
カラム指向 
ツリー 
アーキテクチャ
本当の所
力技の勝利 
• 3台で集計(21分) 
• 5000台で集計(10秒)
力技なので 
• 中間一致に強い 
• 5000台使ってgrepして 
いる。
データセット 
ビューア・改
改善点 
• 集計が早い 
• いつでも使える 
• 無料
新機能
• お手軽グラフツール 
• 集計結果の保存と拡散 
• smidの自動展開
お願い
協力者募集:主にUI 
詳しくは芝尾 
(@shibacow)まで
ニコニコデータビューアー・改
お願い2 
ドワンゴさん、 
そろそろデータセット 
更新して
ThankYou 
• @shibacow 
• http://nicodata.info/

Mais conteúdo relacionado

Semelhante a ニコニコデータビューアー・改

高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??griddb
 
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)株式会社MonotaRO Tech Team
 
Cloud impact on IT industry (in Japanese)
Cloud impact on IT industry (in Japanese)Cloud impact on IT industry (in Japanese)
Cloud impact on IT industry (in Japanese)shojiro-tanaka
 
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)QlikPresalesJapan
 
Netflix Meetup in Kyoto 参加報告
Netflix Meetup in Kyoto 参加報告Netflix Meetup in Kyoto 参加報告
Netflix Meetup in Kyoto 参加報告tnoda
 
李彦宏の百度世界
李彦宏の百度世界李彦宏の百度世界
李彦宏の百度世界Tom Rong
 
データドリブンな動画コンテンツ制作の裏側
データドリブンな動画コンテンツ制作の裏側データドリブンな動画コンテンツ制作の裏側
データドリブンな動画コンテンツ制作の裏側TatsuyaAkasaka
 
ビットバンクにおける少人数で支えるインフラチームの戦略
ビットバンクにおける少人数で支えるインフラチームの戦略ビットバンクにおける少人数で支えるインフラチームの戦略
ビットバンクにおける少人数で支えるインフラチームの戦略bitbank, Inc. Tokyo, Japan
 
Flow を使って効率的にデータを集めたその後は Power BI に繋げよう
Flow を使って効率的にデータを集めたその後は Power BI に繋げようFlow を使って効率的にデータを集めたその後は Power BI に繋げよう
Flow を使って効率的にデータを集めたその後は Power BI に繋げようYugo Shimizu
 
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
ニコニコ動画のタグに関する話(仮)_データ研究会20131110ニコニコ動画のタグに関する話(仮)_データ研究会20131110
ニコニコ動画のタグに関する話(仮)_データ研究会20131110nobi000
 
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよーYugo Shimizu
 

Semelhante a ニコニコデータビューアー・改 (16)

高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
 
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
 
Cloud impact on IT industry (in Japanese)
Cloud impact on IT industry (in Japanese)Cloud impact on IT industry (in Japanese)
Cloud impact on IT industry (in Japanese)
 
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
 
MySQL Binlog Events でストリーム処理してみた #MySQLUC15
MySQL Binlog Events でストリーム処理してみた #MySQLUC15MySQL Binlog Events でストリーム処理してみた #MySQLUC15
MySQL Binlog Events でストリーム処理してみた #MySQLUC15
 
Netflix Meetup in Kyoto 参加報告
Netflix Meetup in Kyoto 参加報告Netflix Meetup in Kyoto 参加報告
Netflix Meetup in Kyoto 参加報告
 
李彦宏の百度世界
李彦宏の百度世界李彦宏の百度世界
李彦宏の百度世界
 
データドリブンな動画コンテンツ制作の裏側
データドリブンな動画コンテンツ制作の裏側データドリブンな動画コンテンツ制作の裏側
データドリブンな動画コンテンツ制作の裏側
 
可視化法学(Found it project#9)
可視化法学(Found it project#9)可視化法学(Found it project#9)
可視化法学(Found it project#9)
 
ビットバンクにおける少人数で支えるインフラチームの戦略
ビットバンクにおける少人数で支えるインフラチームの戦略ビットバンクにおける少人数で支えるインフラチームの戦略
ビットバンクにおける少人数で支えるインフラチームの戦略
 
Bq sushi(BigQuery lessons learned)
Bq sushi(BigQuery lessons learned)Bq sushi(BigQuery lessons learned)
Bq sushi(BigQuery lessons learned)
 
Flow を使って効率的にデータを集めたその後は Power BI に繋げよう
Flow を使って効率的にデータを集めたその後は Power BI に繋げようFlow を使って効率的にデータを集めたその後は Power BI に繋げよう
Flow を使って効率的にデータを集めたその後は Power BI に繋げよう
 
kintoneで教育をhack
kintoneで教育をhackkintoneで教育をhack
kintoneで教育をhack
 
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
ニコニコ動画のタグに関する話(仮)_データ研究会20131110ニコニコ動画のタグに関する話(仮)_データ研究会20131110
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
 
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
 
仮想環境の設計手法
仮想環境の設計手法仮想環境の設計手法
仮想環境の設計手法
 

Mais de (shibao)芝尾 (kouichiro)幸一郎

可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン(shibao)芝尾 (kouichiro)幸一郎
 
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
BigQueryで集計するシステムを作って分かったKPI集計ツール作成BigQueryで集計するシステムを作って分かったKPI集計ツール作成
BigQueryで集計するシステムを作って分かったKPI集計ツール作成(shibao)芝尾 (kouichiro)幸一郎
 
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会(shibao)芝尾 (kouichiro)幸一郎
 
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
第一回ニコニコデータ分析研究会発表資料-世界のYoutube第一回ニコニコデータ分析研究会発表資料-世界のYoutube
第一回ニコニコデータ分析研究会発表資料-世界のYoutube(shibao)芝尾 (kouichiro)幸一郎
 

Mais de (shibao)芝尾 (kouichiro)幸一郎 (16)

DXとはなにか?
DXとはなにか?DXとはなにか?
DXとはなにか?
 
可視化法学(studycode編)
可視化法学(studycode編)可視化法学(studycode編)
可視化法学(studycode編)
 
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
 
可視化法学(ニコニコ学会データ研究会第9回)
可視化法学(ニコニコ学会データ研究会第9回)可視化法学(ニコニコ学会データ研究会第9回)
可視化法学(ニコニコ学会データ研究会第9回)
 
可視化法学c91紹介リーフレット
可視化法学c91紹介リーフレット可視化法学c91紹介リーフレット
可視化法学c91紹介リーフレット
 
可視化法学ポスター超会議2016 チラシ
可視化法学ポスター超会議2016 チラシ可視化法学ポスター超会議2016 チラシ
可視化法学ポスター超会議2016 チラシ
 
可視化法学-大和超券ステージ
可視化法学-大和超券ステージ可視化法学-大和超券ステージ
可視化法学-大和超券ステージ
 
可視化法学
可視化法学可視化法学
可視化法学
 
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
BigQueryで集計するシステムを作って分かったKPI集計ツール作成BigQueryで集計するシステムを作って分かったKPI集計ツール作成
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
 
AimingでGoogle Cloud Platformの利用について
AimingでGoogle Cloud Platformの利用についてAimingでGoogle Cloud Platformの利用について
AimingでGoogle Cloud Platformの利用について
 
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
 
世界のiPhoneアプリランキング比較してみた
世界のiPhoneアプリランキング比較してみた世界のiPhoneアプリランキング比較してみた
世界のiPhoneアプリランキング比較してみた
 
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
第一回ニコニコデータ分析研究会発表資料-世界のYoutube第一回ニコニコデータ分析研究会発表資料-世界のYoutube
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
 
ニコニコ学会β発表資料
ニコニコ学会β発表資料ニコニコ学会β発表資料
ニコニコ学会β発表資料
 
Seeing is Believing
Seeing is BelievingSeeing is Believing
Seeing is Believing
 
Introduction Pycon2010
Introduction Pycon2010Introduction Pycon2010
Introduction Pycon2010
 

ニコニコデータビューアー・改