論文導讀03_集成神經網路(智慧交通)

1. 集成神經網路(智慧交通)
教師：陳志華博士

2. 報告大綱-集成神經網路(智慧交通)
論文導讀
前言
研究背景
◦ 交通資訊預測
◦ 過適問題(Overfitting)
◦ 集成神經網路(Ensemble Neural Network, ENN)
研究方法
實驗結果與討論
結論與未來研究
補充資料-遞歸神經網路(Recurrent Neural Network, RNN)
2

3. 論文導讀
Chi-Hua Chen, Ching-Yun Pang, Ta-Sheng Kuan, Kuen-Rong Lo,
“An Arrival Time Prediction Method Based on Random Neural
Networks,” Proceedings of the 22nd ITS World Congress, Bordeaux,
France, October 5th-9th, 2015.
3

4. 前言
公車旅行時間預測需求
4
智慧運輸系統
公車即時位置
公車到站時間
公車班表排程
公車準時到達
減少等候時間
公車準點率
滿足民眾需求
提升服務品質
旅行時間預測
到站時間預測
• 即時監測
• 班表排程
• 路線規劃
• 統計數據
• 稽核管理

5. 前言
即時路況不斷改變，特別是市區道路的路況更難預測
本研究採用神經網路(Neural Network)進行路況預測，並且為避免過適問題(Overfitting)，結
合集成方法(Ensemble)，運用集成神經網路(Ensemble Neural Network, ENN)提供更為準確
的公車到站時間預測
5
Destination
何時可以到達目的地???

6. 研究背景
研究背景
◦ 交通資訊預測
◦ 過適問題(Overfitting)
◦ 集成神經網路(Ensemble Neural Network, ENN)
6

7. 研究背景-交通資訊預測
考慮前後路段和相鄰路段在前一個時間點的交通資訊
◦ 第i個路段第t個時間點的車速為ui,t
車速預測方法
◦ 以估計路段3為例
◦ 輸入值為u1,t、u2,t、u3,t、
u4,t、u5,t
◦ 輸出值為u3,t+1
◦ f函式可以是線性迴歸、神經網路
或其他
7
道路
u1,t u2,t u3,t u4,t u5,t
路段1 路段2 路段3 路段4 路段5
u1,t
u2,t
u3,t
u4,t
u5,t
f(u1,t , u2,t , u3,t , u4,t , u5,t) u3,t+1

8. 研究背景-交通資訊預測
8
u1,t和u3,t+1關係
u2,t和u3,t+1關係
u4,t和u3,t+1關係
u5,t和u3,t+1關係
前後路段和相鄰路段有高度相關

9. 研究背景-過適問題
原始資料
9
X1 X2 Y
0.111111 0.111111 0
0.111111 0.333333 0
0.111111 0.555556 0
0.111111 0.777778 0
0.333333 0.111111 0
0.333333 0.333333 0
0.333333 0.555556 0
0.333333 0.777778 0
0.555556 0.111111 0
0.555556 0.333333 0
0.777778 0.111111 0
0.777778 0.333333 0
0.333333 0.444444 1
0.333333 1 1
0.555556 1 1
0.555556 0.777778 1
0.777778 1 1
0.777778 0.777778 1
0.777778 0.555556 1
1 1 1
1 0.777778 1
1 0.555556 1
1 0.333333 1
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 1
X2
X1
原始資料(僅有少量資料樣本)
用藍色標記為‘0’類別
用紅色標記為‘1’類別
該筆資料可能為‘1’類別的
異常值(Outlier)，學習過
程將可能學到此異常資訊
 當資料收集不夠齊全時，學習過程中的過適
(Overfitting)問題，可能造成「偏見」的現象
 此例中，‘1’類別中有1筆資料可能為異常值
(Outlier)落在‘0’類別的區域中，這筆資料將可能
讓機器學習到「偏見」

10. 研究背景-過適問題
神經網路
網路結構
◦ 採用兩層隱藏層
◦ 每層隱藏層各2個神經元
◦ 運用S型函式作為激活函式
學習結果
◦ 訓練資料分類正確率100%
◦ 神經網路對訓練資料充分學習，即使是異常值也將
一併學習
◦ 分類器在‘0’類別區域(藍色區)中產生了一段‘1’類別
區域(紅色區)(即「偏見」)；未來‘0’類別的資料落在
此區域中，將可能被誤判為‘1’類別的資料
10
神經網路之網路結構
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 1
X2
X1
神經網路學習結果
神經網路充分學習訓練資料，導
致異常值也學習了，產生「偏見」

11. 研究背景-過適問題
解法(1)：運用集成方法產生多個機器學習模型，綜合多個模型結果，可能避免過適問題
解法(2)：先「非監督式學習」，再「監督式學習」，可能避免過適問題
解法(2)：整體流程
解法(2)：主成份分析(Principal Components Analysis, PCA)+神經網路
解法(2)：受限波茲曼機(Restricted Boltzmann Machine, RBM)+神經網路
11
原始資料 非監督式學習 監督式學習
估計結果
(分類結果)
原始資料 主成份分析 神經網路
估計結果
(分類結果)
原始資料 受限波茲曼機 神經網路
估計結果
(分類結果)

12. 研究背景-過適問題
解法(2)：主成份分析(PCA)+神經網路
12
主成份分析降為1維後輸入至神經網路
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 1
X2
X1
主成份分析＋神經網路學習結果
結合主成份分析和神經網路，將
可以避免過適問題
原始資料 主成份分析 神經網路
估計結果
(分類結果)

13. 研究背景-集成神經網路
集成神經網路
◦ 產生多個神經網路
◦ 綜合考慮多個神經網路的預測結果
13

14. 研究方法
系統架構
14
基地台 Internet
終端設備
行動App
公車之車載機
控制中心
雲端伺服器
資料庫
公車站牌

15. 研究方法
集成神經網路
輸入參數
◦ 前幾站的旅行時間
輸出參數
◦ 後幾站的旅行時間
階段
◦ 訓練階段
◦ 測試階段和執行階段
15
Stop 1 Stop 2
Road
Stop NStop 4
OBU at
time t1
time t2 time t4 time tn
t2-t1
Stop 3
t3-t2 t4-t3
time t3
Destination
‧‧‧
Present Stop

16. 研究方法
集成神經網路
訓練階段
16
設定參數
計算每個神經網
路模型的正確率，
並將正確率作為
權重值
過濾出k個正
確率最高的神
經網路模型
hmax : The maximum number of hidden layers in each NN model
cmax : The maximum number of neurons in each hidden layer
Wthreshold: The accuracy threshold of each NN model
隨機產生
m個神經
網路模型

17. 研究方法
集成神經網路
訓練階段
17
Wthreshold: 94.5%
Set the Parameters
hmax: 5, cmax: 7, m: 10
Input the stop-to-stop travel time in
historical database
93.23%
94.90%
94.03%
94.45%

18. 研究方法
集成神經網路
測試階段和執行階段
18
Cloud-based
Server
2st NN2st NN
5nd NN5nd NN
7rd NN7rd NN
8th NN8th NN
Predicted
Travel Time
tn – tn-1
Predicted
Travel Time
tn – tn-1
The weight
of 2st NN
The weight
of 2st NN
The weight
of 5nd NN
The weight
of 5nd NN
The weight
of 7rd NN
The weight
of 7rd NN
The weight
of 8th NN
The weight
of 8th NN
t2 - t1t2 - t1
t3 - t2t3 - t2
t4 - t3t4 - t3
Input
Real-time stop-to-stop
travel time
Output
Predicted travel time
/Predicted arrival time

19. 研究方法
集成神經網路
測試階段和執行階段
19
The set of stop-to-stop travel time (TT)
{599, 95, 174, 264, 569}
The 2-nd
NN Model
The 5-th
NN Model
The 7-th
NN Model
The 8-th
NN Model
Predicted TT
3766.607
Predicted TT
3857.98
Predicted TT
3661.828
Predicted TT
3724.095
Weight
94.90%
Weight
94.61%
Weight
94.93%
Weight
95.21%
The predicted travel time
(i.e., the weighting average value)
3752.516552

20. 實驗結果與討論
實驗環境
◦ 以臺灣國道客運和新竹市區客運為例
20
Highway
(2 routes, 15 stops,
Every 30 to 40 minutes)
Urban Road
(2 routes, 40 stops,
Every 30 to 40 minutes)
Training Stage
Dataset in April 2014
1618 runs 1726 runs
Testing Stage
Dataset in May 2014
1442 runs 1408 runs

21. 實驗結果與討論
國道客運旅行時間預測正確率
市區客運旅行時間預測正確率
21
Method Average Accuracy
Statistical Mean Value [13] 94.08%
Logistic Regression [19] 94.42%
Back Propagation Neural Network [16] 94.65%
Random Neural Networks (Proposed Method) 94.75%
Method Average Accuracy
Statistical Mean Value [13] 73.79%
Logistic Regression [19] 77.43%
Back Propagation Neural Network [16] 77.88%
Random Neural Networks (Proposed Method) 78.22%

22. 結論與未來研究
本研究採用神經網路(Neural Network)進行路況預測，並且為避免過適問題(Overfitting)，結
合集成方法(Ensemble)，運用集成神經網路(Ensemble Neural Network, ENN)提供更為準確
的公車到站時間預測
有鑑於目標路段的交通資訊將受到相鄰路段影響，未來可考慮前數個路段交通資訊，以提
升預測準確度
◦ 第i個路段第t個時間點的車速為ui,t
22
道路
u1,t u2,t u3,t u4,t u5,t
路段1 路段2 路段3 路段4 路段5
u1,t
u2,t
u3,t
u4,t
u5,t
f(u1,t , u2,t , u3,t , u4,t , u5,t) u3,t+1

23. 結論與未來研究
未來研究
◦ 將此方法應用於各種運輸業者和車種
◦ 物流車
◦ 清潔車
◦ 校車
◦ 綜合考慮交通號誌週期，提升市區道路旅行時間預測正確率
◦ 結合遞歸神經網路(Recurrent Neural Network, RNN)(如：長短期記憶模型(Long Short-Term Memory,
LSTM))分析時間序列，提升旅行時間預測正確率
23

24. 補充資料-遞歸神經網路
原始資料
資料分佈
24
Time X Y
1 0.5 0
2 1 0.5
3 0.5 1
4 0 0.5
5 0.5 0
6 1 0.5
7 0.5 1
8 0 0.5
0
0.2
0.4
0.6
0.8
1
1 2 3 4 5 6 7 8
Value
Time
X Y
X為0.5時，Y一半
為0，另一半為1
只用「當下」的X
值無法估計Y
由資料觀察可知
每4個時間單位為
一個循環
X t1 t2 t3 t4
第1筆 0.5 1 0.5 0
第2筆 0.5 1 0.5 0
Y t1 t2 t3 t4
第1筆 0 0.5 1 0.5
第2筆 0 0.5 1 0.5
輸入資料
輸出資料
 隨時間變化，X和Y皆為三角形波形
 在此例中，X和Y同時存在正相關和負相關，故
一般神經網路無法學會此現象，將全部猜0.5
 X和Y部分資料(如Time 1 → 2)為正相關
 X和Y部分資料(如Time 2 → 3)為負相關
 資料觀察發現X和Y每4個時間單位為一個循環，
可視為2筆資料進行學習

25. 補充資料-遞歸神經網路
輸入資料(X)
估計資料(Y’)
輸出資料(Y)
先前狀態特徵
◦ 初始階段設定為0
25
X t1 t2 t3 t4
第1筆 0.5 1 0.5 0
第2筆 0.5 1 0.5 0
Y’ t1 t2 t3 t4
第1筆 0.04 0.51 0.91 0.51
第2筆 0.04 0.51 0.91 0.51
Y t1 t2 t3 t4
第1筆 0 0.5 1 0.5
第2筆 0 0.5 1 0.5
YY
XX
先前狀態特徵(記憶區)先前狀態特徵(記憶區)
0.5
第1筆t1輸入至遞歸神經網路，
計算神經元1
t1資料
真值：0
估計：0.04
初始階段，無任何記憶
0 0 0 0
 建立具有一隱藏層之遞歸神經
網路
 隱藏層神經元4個
 遞歸神經網路的特色在於多了
「記憶」
 經由「記憶」紀錄前幾個時間
點的波形特徵(變化趨勢)
 可分析時間相依性
遞歸神經網路知道是在t1
輸入值(X)為0.5
輸出值(Y)應該是對應到0

26. 補充資料-遞歸神經網路
輸入資料(X)
估計資料(Y’)
輸出資料(Y)
先前狀態特徵
◦ 紀錄了t1的波形特徵
26
X t1 t2 t3 t4
第1筆 0.5 1 0.5 0
第2筆 0.5 1 0.5 0
Y’ t1 t2 t3 t4
第1筆 0.04 0.51 0.91 0.51
第2筆 0.04 0.51 0.91 0.51
Y t1 t2 t3 t4
第1筆 0 0.5 1 0.5
第2筆 0 0.5 1 0.5
 建立具有一隱藏層之遞歸神經
網路
 隱藏層神經元4個
 遞歸神經網路的特色在於多了
「記憶」
 經由「記憶」紀錄前幾個時間
點的波形特徵(變化趨勢)
 可分析時間相依性
遞歸神經網路知道是在t1
輸入值(X)為0.5
輸出值(Y)應該是對應到0
YY
XX
先前狀態特徵(記憶區)先前狀態特徵(記憶區)
1
第1筆t2輸入至遞歸神經網路，
計算神經元1
t2資料
真值：0.5
估計：0.51
紀錄了t1的波形特徵
0
0.2
0.4
0.6
0.8
1
1 2 3 4 5 6 7 8
Value
Time
X
0
0.2
0.4
0.6
0.8
1
Value
X

27. 0
0.2
0.4
0.6
0.8
1
Value
X
補充資料-遞歸神經網路
輸入資料(X)
估計資料(Y’)
輸出資料(Y)
先前狀態特徵
◦ 紀錄了t1~t2的波形特徵
27
X t1 t2 t3 t4
第1筆 0.5 1 0.5 0
第2筆 0.5 1 0.5 0
Y’ t1 t2 t3 t4
第1筆 0.04 0.51 0.91 0.51
第2筆 0.04 0.51 0.91 0.51
Y t1 t2 t3 t4
第1筆 0 0.5 1 0.5
第2筆 0 0.5 1 0.5
 建立具有一隱藏層之遞歸神經
網路
 隱藏層神經元4個
 遞歸神經網路的特色在於多了
「記憶」
 經由「記憶」紀錄前幾個時間
點的波形特徵(變化趨勢)
 可分析時間相依性
遞歸神經網路知道是在t3
輸入值(X)為0.5
輸出值(Y)應該是對應到1
YY
XX
先前狀態特徵(記憶區)先前狀態特徵(記憶區)
0.5
第1筆t3輸入至遞歸神經網路，
計算神經元1
t3資料
真值：1
估計：0.91
紀錄了t1~t2的波形特徵
0
0.2
0.4
0.6
0.8
1
1 2 3 4 5 6 7 8
Value
Time
X

28. 補充資料-遞歸神經網路
輸入資料(X)
估計資料(Y’)
輸出資料(Y)
先前狀態特徵
◦ 紀錄了t1~t3的波形特徵
28
X t1 t2 t3 t4
第1筆 0.5 1 0.5 0
第2筆 0.5 1 0.5 0
Y’ t1 t2 t3 t4
第1筆 0.04 0.51 0.91 0.51
第2筆 0.04 0.51 0.91 0.51
Y t1 t2 t3 t4
第1筆 0 0.5 1 0.5
第2筆 0 0.5 1 0.5
 建立具有一隱藏層之遞歸神經
網路
 隱藏層神經元4個
 遞歸神經網路的特色在於多了
「記憶」
 經由「記憶」紀錄前幾個時間
點的波形特徵(變化趨勢)
 可分析時間相依性
0
0.2
0.4
0.6
0.8
1
Value
X
YY
XX
先前狀態特徵(記憶區)先前狀態特徵(記憶區)
0
第1筆t4輸入至遞歸神經網路，
計算神經元1
t4資料
真值：0.5
估計：0.51
紀錄了t1~t3的波形特徵
0
0.2
0.4
0.6
0.8
1
1 2 3 4 5 6 7 8
Value
Time
X

29. 補充資料-遞歸神經網路
深度的意涵？
遞歸神經網路適用情境
◦ 可解決時間相依性，具時間序列的議題
◦ 語音辨識：識別每個聲音波形特徵對應的文字
◦ 交通預測：識別每個相鄰路段流量波形特徵對應的未來路況
29
0
0.2
0.4
0.6
0.8
1
1 2 3 4 5 6 7 8
Value Time
X
Xt1
Yt1
t1資料
神經網路
0
0.2
0.4
0.6
0.8
1
1 2 3 4 5 6 7 8
Value
Time
X
先前
狀態
Xt2
Yt2
t2資料
神經網路
先前
狀態
Xt3
Yt3
t3資料
神經網路
先前
狀態
Xt4
Yt4
t4資料
神經網路
0
0.2
0.4
0.6
0.8
1
1 2 3 4 5 6 7 8
Value
Time
X
t1特徵 t1~t2特徵 t1~t3特徵
遞歸神經網路適用
於分析時間相依
加深一層，則多記憶
前一狀態資訊