My Talk at PyCon APAC 2014.

1. ⽤用 Python 打造你⾃自⼰己
的 Summly
Andy Dai @ PyConAPAC 2014
1

2. About me
• Andy (andy@dorm7.com)
• PyCon staff、Taipei.py
co-Organizer、PyCon
Tutorial 講師
• 在 PyCon APAC 2014 主
席的公司⼯工作
2

3. Summly 是什麼？
3

4. 4

5. 5

6. 從跟朋友⼀一起做了⼀一個
APP 開始
6

7. • 截取各⼤大報（不包含中X時報）本
⽂文，去掉廣告、圖⽚片
等等讓慢 3G 變更慢的
東⻄西
!
• 每天也是有些⼈人⽤用...
7

8. “我們也來做個中⽂文版
的 Summly 吧”
8

9. ⾃自然語⾔言處理⽤用 Python 的
NLTK 應該很簡單吧！
9

10. 思路
• 分詞
• 找關鍵詞
• 分句
• 找關鍵句，組合起來就收⼯工
10

11. 分詞
11

12. 我們/也/來/做/個/中⽂文
版/的/Summly/吧
我們也來做個中⽂文版的
Summly 吧
12

13. 讓我們⽤用 NLTK 解決..
13

14. §
14

15. Google 是我們的好朋友
15

16. “结巴" 中⽂文分词：做最好
的 Python 中⽂文分词组件
16

17. 簡單搞定
17

18. 找關鍵詞
18

19. 什麼叫做關鍵詞
• ⽂文章當中出現頻率最⾼高的詞 (Term Frequence)
• 如果 ”程式”、”台灣”、”進⼊入” 的出現頻率都⼀一樣
呢？
• 加權調整 - Inverse Document Frequency
• TF - IDF
19

20. 結巴也幫你做好了...
20

21. 再度簡單搞定
21

22. “结巴" 中⽂文分词：做最好
的 Python 中⽂文分词组件
22

23. 分句
23

24. 感謝中⽂文標點符號
!
。！？；
24

25. 找關鍵句，組合起來就
收⼯工
25

26. Example
• 除了考公職你還有其他選擇：程式設計 (http://
yowureport.com/?p=11468)
• 關鍵字：程式, 設計, 產業, 公務⼈人員, 考試, 錄取,
⼈人才, 領域
26

27. 似乎到處都需要會寫程式的⼈人來做個 App 或是架設網站。Hour of
Code 的⺫⽬目標是向超過⼀一千萬的美國學⽣生，宣傳程式設計的重要性
!
另⼀一⽅方⾯面，資訊產業近年來蓬勃發展。就算之前「18%」 的公務
⼈人員退休優惠存款被調降，在⼤大環境不景氣之下，考公職的⼈人數仍
是居⾼高不下，絲毫不⾒見衰退。
!
想成為公務員，多半得參加⾼高普初考，或者是特種考試。近幾年初
考約七萬⼈人報考，錄取率卻只有 1.1%。
!
先不看台灣如何培育⼈人才，台灣就業市場是否需要這麼多程式設計
⼈人才？從經濟部⼯工業局的「重點產業專業⼈人才需求調查」報告中，
可以看到程式設計相關領域未來三年內的⼈人才需求量：
從上表可看出，列出的重點產業對於⼈人才的需求是逐年成⻑⾧長的。
!
試想若是考公職的⼈人有⼀一半能轉換想法，不選擇穩定的公職，轉⽽而
投⼊入學寫程式會變得如何？很多其他產業的程式設計⼯工作，必需同
時具備兩個領域的知識。
27

28. 2293 字 -> 346 字
28

29. 乍看之下很成功，好像
可以上線了！
29
READY FOR LAUNCH

30. 事情不會那麼簡單
30

31. 這是某報的報導
針對越南明⽇日反中⽰示威抗議，外交部上午召開緊急會議，研
商應變⽅方案，全體備戰，除決議將越南全境旅遊警⽰示提升為
⿈黃⾊色，暴亂源起的平陽省、同奈省同列橙⾊色外，也進⼀一步將
明⽇日⽰示威重點區域的胡志明市第⼀一郡，加⼊入橙⾊色警⽰示⾏行列，
籲台商國⼈人明⽇日切莫涉⾜足第⼀一郡的統⼀一⼯工、市政廳、中國駐
越南總領市館等重點抗議區。
!
⽽而除了我駐越南代表處河內辦公室、駐胡志明市辦事處辦公
室，今起24⼩小時開設避難所，開放台商投奔提供保護外，也
將在越南三個省份包括和平旅館等地，同時開10個台商避難
點，由外交官進駐，備妥疏散⼤大巴⼠士，協調越南公安保護，
領務局⻑⾧長龔中誠上午也率3位曾駐胡志明市的資深官員，清
晨出發到越南，親⾃自協調台商便利領務通關事宜。
!
! 31

32. 這是某報的報導
針對越南明⽇日反中⽰示威抗議，外交部上午召開緊急會議，研商應變⽅方案，
全體備戰，除決議將越南全境旅遊警⽰示提升為⿈黃⾊色，暴亂源起的平陽省、
同奈省同列橙⾊色外，也進⼀一步將明⽇日⽰示威重點區域的胡志明市第⼀一郡，加
⼊入橙⾊色警⽰示⾏行列，籲台商國⼈人明⽇日切莫涉⾜足第⼀一郡的統⼀一⼯工、市政廳、
中國駐越南總領市館等重點抗議區。
!
⽽而除了我駐越南代表處河內辦公室、駐胡志明市辦事處辦公室，今起24⼩小時
開設避難所，開放台商投奔提供保護外，也將在越南三個省份包括和平旅
館等地，同時開10個台商避難點，由外交官進駐，備妥疏散⼤大巴⼠士，
協調越南公安保護，領務局⻑⾧長龔中誠上午也率3位曾駐胡志明市的資深官
員，清晨出發到越南，親⾃自協調台商便利領務通關事宜。32

33. 每⼀一段只有⼀一句話，從
頭逗號⽤用到尾
33

34. 標點符號很重要，孩⼦子的
學習不能等！
34

35. 結論
• ⺫⽬目前暫時沒招，希望有⼈人指教
• Garbage in, garbage out
35

36. ⼯工商服務
36

37. ⼯工商服務
37

38. Q&A
38