Big Data 是真的可以被實作出來的, 只是要用對方法, 用錯方法的話就只剩下種 Myth...

1. 大數據開發流程
Gene (黑貘)/2016-06-18

3. 大數據的實務與開發
1. 從數據到企業智慧談大數據開發流程
2. 從文字探勘到資料探勘 (新文易數)
3. 模式識別與資料探勘
4. 從社群數據 API 到內部開發

4. 其貘
管理科學
化學
數學, 商用數學
資管, 資工
圖書館 (圖書資訊)

5. 其事
1. 1992, 建立 Newsgroup 個人化閱讀清單
2. 1996, BBS 個人版推薦系統
3. 2000, 電子報資料探勘
4. 2004, 網路書店關聯分析
5. 2008, 部落格語意網路系統
6. 2012, 網點, 網智, 資策會社群力
7. 2016, ？？？？

6. 其夢
2005: MyZilla
2006: 部落格觀察
2007: Hook: 關鍵字熱度
2008: Plurk.tw
2009: Google + 排行榜
2010: 網點: SEO.datamining.tw
2011: 神貘天氣
2012: 網事: web.mas.ter.tw
2013: 林克傳說
2014: 社群排行榜
2015: 新文易數

7. 我不是好的講師
1. 我從來不講相同的東西, 每次講都是重新準備, 講最新的東西, 不太喜歡講舊觀念, 而一個好的講師往往是因為熟練講
得更好
2. 我不太會深入淺出, 就一開始就講我認為值得講的, 外面書上寫過的或 FAQ 我就很習慣跳過, 所以入門的人來聽就會
很尷尬...
3. 我很少提前備課, 我發現在講時前一小時寫完投影片, 講的思考連續性與效果是最好
4. 我很少講別人的範例, 或是用別人的投影片, 所以很少精美的投影片
5. 我強調的是邏輯思維, 而不是純架構而已, 所以很常漏失外面的基本常識
6. 我不太喜歡自我介紹, 真的要講自介只講跟課程/講題有關的
7. 我很受聽眾的影響, 互動得好我就會講得很盡興, 下面在睡的話我反而比聽眾更想睡
8. 我喜歡講自己的作品, 而不是用較宏觀的角度來看
9. 我習慣做內部訓練, 至少知道這群人的程度, 這樣比較好講, 也往往不會受時間限制
10. 相對的一般性的對外演講經驗很少, 一年只有 10~20 次而已, 所以練習的次數經驗無法跟專業的比
11. 我不太講技術以外的事, 所以最好是有實作能力與經驗的人來聽..
12. 我不講黑暗兵法...

10. 為甚麼 Big Data 被認為失敗 (2013-12)
Big Data 有很多人都宣稱在做
不了解的人已被既定印像限制住了
宣稱用 Big Data 的服務都沒甚麼效用
用 Big Data 來募資已經募不到錢

11. 真的在用 Big Data 嗎?
數量級
時間區間
即時性
應用範圍
實用性
演算法

12. 企業組織鍊失去的環節
Business Developer
Product Manager
System Analyzer
Programmer
User/Operator

13. 軟體工程標準流程

14. 由上到下思維的謬誤
1. 你可以要求社群照你的格式產生資料嗎?
2. 你可以要求臉書/Google照你的資料庫設計嗎?

15. 系統分析的謬誤
從上到下的系統分析
目標與須求的鍊結
規格書
Big Data 的 Variety 與 Veracity
可行性分析
自動化/人工化?

16. Product Manager 的迷思
一定要有 Profile
一定要有區間
只做內部決策參考用
想要知道原因
資料科學家是最缺的?

17. Big Data 的流程
1. 確立資料源
2. 尋找聚合點
3. 模式與模型識別
4. 資料規劃 (儲存, 計算)
5. 使用者須求
6. 開發

18. 由下到上真的可解決嗎?
1. Big Data 像煮飯
2. 須求與目標的連結, 資料與問題的連結
資料問題是如上, 但重點還是人的問題