1. E T H A N Y I N - H A O T S U I
崔 殷 豪
2 0 1 4 / 0 4 / 0 9
資料科學與巨量資料分析
實際處理,以電子商務為例
2. • W E B L O G P R O C E S S I N G - > C L I C K S T R E A M D A T A
• B A S E D O N C L I C K S T R E A M D A T A , W H A T C A N W E
A N A L Y Z E ?
• R E C O M M E N D E R S Y S T E M S
• W O R K F L O W O F B I G D A T A A N A L Y S I S
• B I G D A T A 架 構 與 需 具 備 能 力
• Q & A
大綱
3. Web log 範例
Timestamp, sessionID, userID, cookieID, web page
2014/04/01:1323,xxxxxx,user1,cookie1,http://abc.com/index
2014/04/01:1324,xxxxxx,user1,cookie1,http://abc.com/item?itemid=1234
2014/04/01:1327,zzzzzz,null,cookie3,http://abc.com/item?itemid=2345
2014/04/01:1340,xxxxxx,user1,cookie1,http://abc.com/item?itemid=2837
2014/04/01:1341,xxxxxx,user1,cookie1,http://abc.com/category?cid=23
2014/04/01:1341,zzzzzz,null,cookie3,http://abc.com/search?kw=big data
2014/04/01:1343,xxxxxx,user1,cookie1,http://abc.com/item?itemid=4323
2014/04/01:1344,xxxxxx,user1,cookie1,http://abc.com/item?itemid=5372
2014/04/01:1344,yyyyyy,user2,cookie2,http://abc.com/top?by=lastweek
2014/04/01:1344,xxxxxx,user1,cookie1,http://abc.com/item?itemid=8899
2014/04/01:1345,xxxxxx,user1,cookie1,http://abc.com/item?itemid=5566
2014/04/01:1346,hhhhhh,user3,cookie3,http://abc.com/item?itemid=2179
2014/04/01:1348,xxxxxx,user1,cookie1,http://abc.com/item?itemid=297
2014/04/01:1348,xxxxxx,user1,cookie1,http://abc.com/category?cid=18
2014/04/01:1349,xxxxxx,user1,cookie1,http://abc.com/category?cid=24
2014/04/01:1350,yyyyyy,user2,cookie2,http://abc.com/item?itemid=2289
...
12. Google Analytics新版的Visit定義
“If a visitor arrives via one campaign, and then comes back via a different
campaign.”Counted as a new visit.
Clickstream Data在正確的樹狀結構下,Visit從不同來源本來就是一個新的
樹
所以,正確的資料結構來表示正在分析的資料是非常重要的!
如何知道所用的資料結構是正確的呢?
驗證!驗證!再驗證!!!
References:
http://rritw.com/a/bianchengyuyan/C__/20140405/488565.html
https://support.google.com/analytics/answer/2731565?hl=en&ref_topic=4588493
16. • 買 了 此 商 品 的 人 也 買 了 ( A L S O B O U G H T )
• 看 了 此 商 品 的 人 也 看 了 ( A L S O V I E W E D )
• 個 人 化 推 薦 ( P E R S O N A L I Z E D R E C O M M E N D A T I O N )
• 其 他 相 似 的 商 品 ( S I M I L A R I T E M S )
• 資 料 驗 證 方 法
• 10-fold cross-validation
Recommender Systems
(推薦系統)
31. E T H A N Y I N - H A O T S U I
E M A I L : e t h a n 7 7 ( a t ) g m a i l . c o m
F A C E B O O K : e t h a n 7 7 ( a t ) g m a i l . c o m
Q & A