Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (17)
Semelhante a 人工智慧10_卷積神經網路
Semelhante a 人工智慧10_卷積神經網路 (20)
Mais de Fuzhou University
Mais de Fuzhou University (17)
人工智慧10_卷積神經網路
- 7. 卷積神經網路介紹 深度意涵？ 原始資料 卷積層1 過濾器 分析結果 直線 橫線 正斜線 反斜線 弧線 曲線 有/無 直線 有/無 橫線 有/無 正斜線 有/無 反斜線 有/無 弧線 有/無 曲線 卷積層2 過濾器 分析結果 直線 橫線 正斜線 反斜線 弧線 曲線 有/無 正方形 有/無 長方形 有/無 三角形 有/無 菱形 有/無 圓形 有/無 橢圓形 卷積層3 過濾器 分析結果 直線 橫線 正斜線 反斜線 弧線 曲線 有/無 立方體 有/無 長方體 有/無 錐體 有/無 菱面體 有/無 球體 有/無 橢球體 神經網路 是否為 拱橋 是否為 湖泊 是否為 彩虹 是否為 中華電 Logo 第1層可找出 線條特徵 第2層可找出 平面特徵 第3層可找出 立體特徵 7
- 8. 卷積神經網路介紹 為什麼傳統神經網路較難解決空間相依性問題？ ◦ 直接把像素值攤開，不易取得特徵 ◦ 直接從像素值對應到分類結果，不易學習 卷積神經網路的優勢 ◦ 運用過濾器分析空間特徵 如：直線、橫線、斜線、曲線 ◦ 運用多層卷積層拆解不同維度空間特徵 如：線段、平面、立體、外觀 ◦ 最後再依拆解出特徵對應到分類結果 神經網路 A B … 輸入層 隱藏層 輸出層 傳統神經網路不易 分析出神經元3和 神經元8是斜線關聯 傳統神經網路把每 個像素值攤開來看， 不易分析特徵模仿人類辨識物件的方式，先拆解出外觀特徵，再從 外觀特徵來評估目標物件的類別 8
- 9. 卷積神經網路介紹 卷積層示意圖 w1 w2 w4 w3 隱藏層神經元計算 h1 = x1 x w1 + x2 x w2 + x3 x w3 + x4 x w4 9
- 10. 卷積神經網路介紹 卷積層示意圖 w1 w2 w4 w3 隱藏層神經元計算 h2 = x2 x w1 + x3 x w2 + x5 x w3 + x6 x w4 10
- 11. 卷積神經網路介紹 卷積層示意圖 w1 w2 w4 w3 隱藏層神經元計算 h3 = x4 x w1 + x5 x w2 + x7 x w3 + x8 x w4 11
- 12. 卷積神經網路介紹 卷積層示意圖 w1 w2 w4 w3 隱藏層神經元計算 h4 = x5 x w1 + x6 x w2 + x8 x w3 + x9 x w4 12
- 13. 卷積神經網路介紹 卷積神經網路 傳統神經網路 卷 積 神 經 網 路 為 部 分 連 線 ， 建 立 空 間 相 鄰 因 子 的 連 線 ， 分 析其相依性 傳統神經網路 為全部連線， 故不存在直接 相依的因子， 反而形成干擾， 增加誤差 卷積神經網路和傳統神經網路的 每一條連線之權重值，皆可運用 梯度下降法(Gradient Descent)計 算其最佳值 13
- 14. 卷積層最佳化原理 輸入層 過濾器 14 卷積神經網路結構 卷積神經網路模型 最佳化目標函式 w1 w2 w4 w3 bxwy i ii 4 1 ˆ yˆ 2 ˆ 2 1 , yybWF 此卷積神經網路模型採用下列設定： 核心函式：線性函式 目標函式：最小平方誤差 輸入層：2x2大小矩陣 過濾器：2x2大小矩陣
- 15. 卷積層最佳化原理 梯度下降法應用於卷積層之權重和誤差項 15 卷積神經網路 模型 函式切線斜率(對 偏微分) 函式切線斜率(對 偏微分) 目標函式 iw b 修正方式 修正方式b ii i ii xw w F ww b b F bb i i ii x x w y y F w F 1 ˆ ˆ 2 2 2 1 ˆ 2 1 , yybWF bxwy i ii 4 1 ˆ iw 11 ˆ ˆ b y y F b F
- 16. 訓練資料，共3張圖片 Mini-batch大小為1，即逐筆修正權重 卷積層最佳化原理 16 y = 0 y = 0 y = 1 主要想找斜線 過濾器初始值 1 1 1 1
- 17. 1 1 1 1 1 卷積層最佳化原理 輸入層 過濾器 17 卷積神經網路結構 權重修正 w1 w2 w4 w3 303ˆ yy 3 5.0135.01111 xww 5.0135.01222 xww 1035.01333 xww 1035.01444 xww 5.035.01 bb 第1回合，第1筆資料
- 18. 輸入層 過濾器 -0.5 -0.5 -0.5 1 1 卷積層最佳化原理 18 卷積神經網路結構 權重修正 w1 w2 w4 w3 5.105.1ˆ yy 1.5 5.005.15.05.0111 xww 5.005.15.05.0222 xww 25.015.15.01333 xww 25.015.15.01444 xww 25.15.15.05.0 bb 第1回合，第2筆資料
- 19. 輸入層 過濾器 -1.25 -0.5 -0.5 0.25 0.25 卷積層最佳化原理 19 卷積神經網路結構 權重修正 w1 w2 w4 w3 5.215.1ˆ yy -2.5 75.015.25.05.0111 xww 5.005.25.05.0222 xww 25.005.25.025.0333 xww 5.115.25.025.0444 xww 05.25.025.1 bb 第1回合，第3筆資料
- 20. 0 0.75 -0.5 0.25 1.5 卷積層最佳化原理 輸入層 過濾器 20 卷積神經網路結構 權重修正 w1 w2 w4 w3 0.25 第2回合，第1筆資料 25.0025.0ˆ yy 625.0125.05.075.0111 xww 625.0125.05.05.0222 xww 25.0025.05.025.0333 xww 5.1025.05.05.1444 xww 125.025.05.00 bb
- 21. 輸入層 過濾器 -0.125 0.625 -0.625 0.25 1.5 卷積層最佳化原理 21 卷積神經網路結構 權重修正 w1 w2 w4 w3 1.625 第2回合，第2筆資料 625.10625.1ˆ yy 625.00625.15.0625.0111 xww 625.00625.15.0625.0222 xww 5625.01625.15.025.0333 xww 6875.01625.15.05.1444 xww 9375.0625.15.0125.0 bb
- 22. 輸入層 過濾器 -0.9375 0.625 -0.625 -0.5625 0.6875 卷積層最佳化原理 22 卷積神經網路結構 權重修正 w1 w2 w4 w3 0.375 第2回合，第3筆資料 625.01375.0ˆ yy 9375.01625.05.0625.0111 xww 625.00625.05.0625.0222 xww 5625.00625.05.05625.0333 xww 11625.05.06875.0444 xww 625.0625.05.09375.0 bb
- 23. 輸入層 過濾器 -0.5 0.75 -0.25 -0.25 0.75 卷積層最佳化原理 23 卷積神經網路結構 權重修正 w1 w2 w4 w3 1 依此類推，經過67回合 第67回合，第3筆資料 011ˆ yy 75.0105.075.0111 xww 25.0005.025.0222 xww 25.0005.025.0333 xww 75.0105.075.0444 xww 5.005.05.0 bb 收斂時，過濾器為斜線特徵
- 27. 卷積神經網路實作 #讀取訓練資料 X <- read.csv('C:/Users/user/Desktop/X_ 斜線案例.csv', header = TRUE) Y <- read.csv('C:/Users/user/Desktop/Y_ 斜線案例.csv', header = TRUE) #轉換為matrix資料型態 X <- data.matrix(X) X <- array_reshape(X, c(nrow(X), 2, 2, 1)) Y <- data.matrix(Y) 27 圖片長度為2 圖片寬度為2
- 28. 卷積神經網路實作 #設定亂數種子 use_session_with_seed(0) #設定神經網路結構 model <- keras_model_sequential() model %>% layer_conv_2d(filters = 1, kernel_size = c(2, 2), activation = 'linear', input_shape = c(2, 2, 1)) %>% layer_flatten() %>% layer_dense(units = 1, activation = 'linear') 28 設定固定的亂數種子， 讓權重初始值可以一致 卷積層: 輸入參數: 2x2圖片, 線性函式 輸出層: 輸入參數: 1個, 輸出參數: 1個, 線性函式 只有1個過濾器， 過濾器為2x2大小
- 30. 卷積神經網路實作 #訓練神經網路 history <- model %>% fit( X, #輸入參數 Y, #輸出參數 epochs = 500, #訓練回合數 batch_size = 1 #逐筆修正權重 ) 30 設定輸出參數為Y 設定輸入參數為X 訓練回合數為500 採用逐筆修正權重的方式
- 32. 卷積神經網路實作 #將測試資料代入模型進行預測,並取得 預測結果 results <- model %>% predict( training_data$X ) #呈現估計結果 print(results) 32 輸入資料進行估計
- 34. 卷積神經網路其他型態 S型函式(Sigmoid) 線性整流函式(Rectified Linear Unit, ReLU) 圖片及過濾器組合(3x3圖片及2x2過濾器) 分類最佳化(交叉熵Cross-Entropy) 動量(Momentum)最佳化 34
- 35. 卷積神經網路其他型態-S型函式 輸入層 過濾器 35 卷積神經網路結構 卷積神經網路模型 最佳化目標函式 w1 w2 w4 w3 z i ii e zszsy bxwz 1 1 where,ˆ 4 1 yˆ 2 ˆ 2 1 , yybWF 此卷積神經網路模型採用下列設定： 核心函式：S型函式(sigmoid) 目標函式：最小平方誤差 輸入層：2x2大小矩陣 過濾器：2x2大小矩陣
- 36. 卷積神經網路其他型態-S型函式 梯度下降法應用於卷積層之權重和誤差項 36 卷積神經網路 模型 函式切線斜率(對 偏微分) 函式切線斜率(對 偏微分) 目標函式 iw b 修正方式 修正方式b ii i ii xzsw w F ww ' 'zsb b F bb i i ii xzs xzszs w z z y y F w F ' 11 ˆ ˆ 2 2 2 1 ˆ 2 1 , yybWF z i ii e zsy bxwz 1 1 ˆ 4 1 iw ' 111 ˆ ˆ zs zszs b z z y y F b F
- 37. 卷積神經網路其他型態-S型函式 #設定亂數種子 use_session_with_seed(0) #設定神經網路結構 model <- keras_model_sequential() model %>% layer_conv_2d(filters = 1, kernel_size = c(2, 2), activation = 'sigmoid', input_shape = c(2, 2, 1)) %>% layer_flatten() %>% layer_dense(units = 1, activation = 'linear') 37 設定固定的亂數種子， 讓權重初始值可以一致 卷積層: 輸入參數: 2x2圖片, S型函式 輸出層: 輸入參數: 1個, 輸出參數: 1個, 線性函式 只有1個過濾器， 過濾器為2x2大小
- 38. 卷積神經網路其他型態-S型函式 執行程式，並取得估計結果 38 估計結果 權重組合 卷積層 權重組合 0.868 -0.811 1.300 -1.243 yˆh 642.0856.0 2.080
- 39. 卷積神經網路其他型態-線性整流函式 輸入層 過濾器 39 卷積神經網路結構 卷積神經網路模型 最佳化目標函式 w1 w2 w4 w3 otherwise,0 0if, where,ˆ 4 1 zz zrzry bxwz i ii yˆ 2 ˆ 2 1 , yybWF 此卷積神經網路模型採用下列設定： 核心函式：線性整流函式(ReLU) 目標函式：最小平方誤差 輸入層：2x2大小矩陣 過濾器：2x2大小矩陣
- 40. 卷積神經網路其他型態-線性整流函式 梯度下降法應用於卷積層之權重和誤差項 40 卷積神經網路 模型 函式切線斜率(對 偏微分) 函式切線斜率(對 偏微分) 目標函式 iw b 修正方式 修正方式b otherwise, 0if, i ii i ii w zxw w F ww otherwise, 0if, b zb b F bb otherwise,0 0if, '1 ˆ ˆ zx xzr w z z y y F w F i i ii 2 2 2 1 ˆ 2 1 , yybWF otherwise,0 0if, where,ˆ 4 1 zz zrzry bxwz i ii iw otherwise,0 0if, 1'1 ˆ ˆ z zr b z z y y F b F
- 41. 卷積神經網路其他型態-線性整流函式 #設定亂數種子 use_session_with_seed(0) #設定神經網路結構 model <- keras_model_sequential() model %>% layer_conv_2d(filters = 1, kernel_size = c(2, 2), activation = 'relu', input_shape = c(2, 2, 1)) %>% layer_flatten() %>% layer_dense(units = 1, activation = 'linear') 41 設定固定的亂數種子， 讓權重初始值可以一致 卷積層: 輸入參數: 2x2圖片, ReLU函式 輸出層: 輸入參數: 1個, 輸出參數: 1個, 線性函式 只有1個過濾器， 過濾器為2x2大小
- 43. 卷積神經網路其他型態-圖片及過濾器組合 輸入層 過濾器 43 卷積神經網路結構 卷積神經網路模型 最佳化目標函式 1,2 4 1 ,2 ˆ bhwy i ii 2 ˆ 2 1 , yyBWF 此卷積神經網路模型採用下列設定： 核心函式：線性函式 目標函式：最小平方誤差 輸入層：3x3大小矩陣 過濾器：2x2大小矩陣 1,154,143,122,111,11 bxwxwxwxwh 2,164,153,132,121,12 bxwxwxwxwh 3,184,173,152,141,13 bxwxwxwxwh 4,194,183,162,151,14 bxwxwxwxwh w2,1 yˆw2,2 w2,3 w2,4 w1,1 w1,2 w1,3 w1,4
- 44. 梯度下降法應用於卷積層之權重和誤差項 44 卷積神經網路模型 函式切線斜率(對 偏微分) 函式切線斜率(對 偏微分) 目標函式 iw ,2 1,2b 修正方式 修正方式 ii i ii hw w F ww ,2 ,2 ,2,2 1,2 1,2 1,21,2 b b F bb i i ii h h w y y F w F 1 ˆ ˆ ,2,2 22 2 1 ˆ 2 1 , yyBWF 11 ˆ ˆ 1,21,2 b y y F b F 1,2 4 1 ,2 ˆ bhwy i ii 1,154,143,122,111,11 bxwxwxwxwh 2,164,153,132,121,12 bxwxwxwxwh 3,184,173,152,141,13 bxwxwxwxwh 4,194,183,162,151,14 bxwxwxwxwh 1,2biw ,2 卷積神經網路其他型態-圖片及過濾器組合
- 45. 梯度下降法應用於卷積層之權重和誤差項 45 卷積神經網路模型 函式切線斜率(對 偏微分) 目標函式 1,1w 修正方式 54,243,222,211,21,1 1,1 1,11,1 xwxwxwxww w F ww 54,243,222,211,2 4 1 1,1 ,2 1,1 4 1 ,2 4 1 ,2 1,1 11 ˆ ˆ xwxwxwxw w h w w hw hw y y F w F i i i i ii i ii 22 2 1 ˆ 2 1 , yyBWF 1,2 4 1 ,2 ˆ bhwy i ii 1,154,143,122,111,11 bxwxwxwxwh 2,164,153,132,121,12 bxwxwxwxwh 3,184,173,152,141,13 bxwxwxwxwh 4,194,183,162,151,14 bxwxwxwxwh 1,1w 卷積神經網路其他型態-圖片及過濾器組合 函式切線斜率(對 偏微分)2,1w 修正方式 64,253,232,221,2 4 1 2,1 ,2 2,1 4 1 ,2 4 1 ,2 2,1 11 ˆ ˆ xwxwxwxw w h w w hw hw y y F w F i i i i ii i ii 2,1w 64,253,232,221,22,1 2,1 2,12,1 xwxwxwxww w F ww
- 46. 梯度下降法應用於卷積層之權重和誤差項 46 卷積神經網路模型 函式切線斜率(對 偏微分) 目標函式 3,1w 修正方式 84,273,252,241,23,1 3,1 3,13,1 xwxwxwxww w F ww 84,273,252,241,2 4 1 3,1 ,2 3,1 4 1 ,2 4 1 ,2 3,1 11 ˆ ˆ xwxwxwxw w h w w hw hw y y F w F i i i i ii i ii 22 2 1 ˆ 2 1 , yyBWF 1,2 4 1 ,2 ˆ bhwy i ii 1,154,143,122,111,11 bxwxwxwxwh 2,164,153,132,121,12 bxwxwxwxwh 3,184,173,152,141,13 bxwxwxwxwh 4,194,183,162,151,14 bxwxwxwxwh 3,1w 卷積神經網路其他型態-圖片及過濾器組合 函式切線斜率(對 偏微分)4,1w 修正方式 94,283,262,251,2 4 1 4,1 ,2 4,1 4 1 ,2 4 1 ,2 4,1 11 ˆ ˆ xwxwxwxw w h w w hw hw y y F w F i i i i ii i ii 4,1w 94,283,262,251,24,1 4,1 4,14,1 xwxwxwxww w F ww
- 47. 梯度下降法應用於卷積層之權重和誤差項 47 卷積神經網路模型 函式切線斜率(對 偏微分) 目標函式 1,1b 修正方式 1,21,1 1,1 1,11,1 wb b F bb 1,2 4 1 1,1 ,2 1,1 4 1 ,2 4 1 ,2 1,1 11 ˆ ˆ w b h w b hw hw y y F b F i i i i ii i ii 22 2 1 ˆ 2 1 , yyBWF 1,2 4 1 ,2 ˆ bhwy i ii 1,154,143,122,111,11 bxwxwxwxwh 2,164,153,132,121,12 bxwxwxwxwh 3,184,173,152,141,13 bxwxwxwxwh 4,194,183,162,151,14 bxwxwxwxwh 1,1b 卷積神經網路其他型態-圖片及過濾器組合 函式切線斜率(對 偏微分)2,1b 修正方式 2,2 4 1 2,1 ,2 2,1 4 1 ,2 4 1 ,2 2,1 11 ˆ ˆ w b h w b hw hw y y F b F i i i i ii i ii 2,1b 2,22,1 2,1 2,12,1 wb b F bb
- 48. 梯度下降法應用於卷積層之權重和誤差項 48 卷積神經網路模型 函式切線斜率(對 偏微分) 目標函式 3,1b 修正方式 3,23,1 3,1 3,13,1 wb b F bb 3,2 4 1 3,1 ,2 3,1 4 1 ,2 4 1 ,2 3,1 11 ˆ ˆ w b h w b hw hw y y F b F i i i i ii i ii 22 2 1 ˆ 2 1 , yyBWF 1,2 4 1 ,2 ˆ bhwy i ii 1,154,143,122,111,11 bxwxwxwxwh 2,164,153,132,121,12 bxwxwxwxwh 3,184,173,152,141,13 bxwxwxwxwh 4,194,183,162,151,14 bxwxwxwxwh 3,1b 卷積神經網路其他型態-圖片及過濾器組合 函式切線斜率(對 偏微分)2,1b 修正方式 4,2 4 1 4,1 ,2 4,1 4 1 ,2 4 1 ,2 4,1 11 ˆ ˆ w b h w b hw hw y y F b F i i i i ii i ii 2,1b 4,24,1 4,1 4,14,1 wb b F bb
- 49. #設定亂數種子 use_session_with_seed(0) #設定神經網路結構 model <- keras_model_sequential() model %>% layer_conv_2d(filters = 1, kernel_size = c(2, 2), activation = 'linear', input_shape = c(3, 3, 1)) %>% layer_flatten() %>% layer_dense(units = 1, activation = 'linear') 49 設定固定的亂數種子， 讓權重初始值可以一致 卷積層: 輸入參數: 3x3圖片, 線性函式 輸出層: 輸入參數: 4個, 輸出參數: 1個, 線性函式 只有1個過濾器， 過濾器為2x2大小 卷積神經網路其他型態-圖片及過濾器組合
- 51. 卷積神經網路其他型態-分類最佳化 輸入層 過濾器 51 卷積神經網路結構 卷積神經網路模型 最佳化目標函式 w1 w2 w4 w3 bxwy i ii 4 1 ˆ yˆ yyyybWF ˆ1ln1ˆln, 此卷積神經網路模型採用下列設定： 核心函式：線性函式 目標函式：交叉熵(Cross-Entropy) 輸入層：2x2大小矩陣 過濾器：2x2大小矩陣 運用交叉熵評估分類結果
- 52. 卷積神經網路其他型態-分類最佳化 梯度下降法應用於卷積層之權重和誤差項 52 卷積神經網路模型 函式切線斜率(對 偏微分) 函式切線斜率(對 偏微分) 目標函式 iw b 修正方式 修正方式bˆ ii i ii x yy yy w w F ww ˆ1ˆ ˆ yy yy b b F bb ˆ1ˆ ˆ ii ii x yy yy x y y y y w y y F w F ˆ1ˆ ˆ ˆ1 1 ˆ ˆ ˆ bxwy i ii 4 1 ˆ iw yyyybWF ˆ1ln1ˆln, yy yy y y y y b y y F b F ˆ1ˆ ˆ 1 ˆ1 1 ˆ ˆ ˆ
- 53. 卷積神經網路其他型態-分類最佳化 #設定亂數種子 use_session_with_seed(0) #設定神經網路結構 model %>% layer_conv_2d(filters = 1, kernel_size = c(2, 2), activation = 'linear', input_shape = c(2, 2, 1)) %>% layer_flatten() %>% layer_dense(units = 2, activation = 'softmax') 53 設定固定的亂數種子， 讓權重初始值可以一致 卷積層: 輸入參數: 2x2圖片, 線性函式 輸出層: 輸入參數: 1個, 輸出參數: 2個, softmax函式 只有1個過濾器， 過濾器為2x2大小
- 54. 卷積神經網路其他型態-分類最佳化 #設定神經網路學習目標 model %>% compile( loss='categorical_crossentropy', #運用 cross entropy計算誤差 optimizer='sgd' #梯度下降 ) 54 loss函式為交叉熵categorical_crossentropy
- 56. 卷積神經網路其他型態-分類最佳化 輸入層 過濾器 56 卷積神經網路結構 卷積神經網路模型 最佳化目標函式 w1 w2 w4 w3 z i ii e zsy bxwz 1 1 ˆ 4 1 yˆ yyyybWF ˆ1ln1ˆln, 此卷積神經網路模型採用下列設定： 核心函式：S型函式 目標函式：交叉熵(Cross-Entropy) 輸入層：2x2大小矩陣 過濾器：2x2大小矩陣 運用交叉熵評估分類結果
- 57. 卷積神經網路其他型態-分類最佳化 梯度下降法應用於卷積層之權重和誤差項 57 卷積神經網路模型 函式切線斜率(對 偏微分) 函式切線斜率(對 偏微分) 目標函式 iw b 修正方式 修正方式bˆ ii i ii xyyw w F ww ˆ yyb b F bb ˆ ii i ii xyyxyy yy yy xyy y y y y w z z y y F w F ˆˆ1ˆ ˆ1ˆ ˆ ˆ1ˆ ˆ1 1 ˆ ˆ ˆ iw yyyybWF ˆ1ln1ˆln, z i ii e zsy bxwz 1 1 ˆ 4 1 yyyy yy yy yy y y y y b z z y y F b F ˆˆ1ˆ ˆ1ˆ ˆ 1ˆ1ˆ ˆ1 1 ˆ ˆ ˆ
- 58. 卷積神經網路其他型態-分類最佳化 #設定亂數種子 use_session_with_seed(0) #設定神經網路結構 model %>% layer_conv_2d(filters = 1, kernel_size = c(2, 2), activation = 'sigmoid', input_shape = c(2, 2, 1)) %>% layer_flatten() %>% layer_dense(units = 2, activation = 'softmax') 58 設定固定的亂數種子， 讓權重初始值可以一致 卷積層: 輸入參數: 2x2圖片, S型函式 輸出層: 輸入參數: 1個, 輸出參數: 2個, softmax函式 只有1個過濾器， 過濾器為2x2大小
- 59. 卷積神經網路其他型態-分類最佳化 #設定神經網路學習目標 model %>% compile( loss='categorical_crossentropy', #運用 cross entropy計算誤差 optimizer='sgd' #梯度下降 ) 59 loss函式為交叉熵categorical_crossentropy
- 61. 卷積神經網路其他型態-動量最佳化 輸入層 過濾器 61 卷積神經網路結構 卷積神經網路模型 最佳化目標函式 w1 w2 w4 w3 bxwy i ii 4 1 ˆ yˆ 2 ˆ 2 1 , yybWF 此卷積神經網路模型採用下列設定： 核心函式：線性函式 目標函式：最小平方誤差 輸入層：2x2大小矩陣 過濾器：2x2大小矩陣 採用動量Momentum 網路結構不變 核心函式不變 目標函式不變
- 62. 卷積神經網路其他型態-動量最佳化 梯度下降法應用於卷積層之權重和誤差項 62 卷積神經網路 模型 函式切線斜率(對 偏微分) 函式切線斜率(對 偏微分) 目標函式 iw b 修正方式 修正方式b i tt w t i t w t i t i t i t w t w xvw vww w F vv i i ii 1 1 11 1 1 i i ii x x w y y F w F 1 ˆ ˆ 2 2 2 1 ˆ 2 1 , yybWF bxwy i ii 4 1 ˆ iw 11 ˆ ˆ b y y F b F tt b t i t b t i t i t t b t b vw vww b F vv 1 1 11 1 1 第t個時間點之修正方式，主要多參考第t-1時間點之修正值 採用動量Momentum 網路結構不變 核心函式不變 目標函式不變
- 63. 卷積神經網路其他型態-動量最佳化 #設定亂數種子 use_session_with_seed(0) #設定神經網路結構 model %>% layer_conv_2d(filters = 1, kernel_size = c(2, 2), activation = 'linear', input_shape = c(2, 2, 1)) %>% layer_flatten() %>% layer_dense(units = 1, activation = 'linear') 63 設定固定的亂數種子， 讓權重初始值可以一致 卷積層: 輸入參數: 2x2圖片,線性函式 輸出層: 輸入參數: 1個, 輸出參數: 1個, 線性函式 只有1個過濾器， 過濾器為2x2大小
- 64. 卷積神經網路其他型態-動量最佳化 #設定神經網路學習目標 model %>% compile( loss='mean_squared_error', #運用最小平 方誤差計算誤差 optimizer=optimizer_sgd(lr = 0.01, momentum = 0.5) #梯度下降 ) 64 學習率(lr)為0.01 動量(momentum)為0.5
- 65. 卷積神經網路其他型態-動量最佳化 執行程式，並取得估計結果 65 估計結果 權重組合 卷積層 權重組合 0.739 -0.081 1.171 -0.512 yˆh 0.322-0.254- 0.798
- 66. 卷積神經網路不適用情境 卷積神經網路並非萬靈丹 無法解決XOR (互斥或)計算 66 X1 X2 Y 估計值 0 0 0 0.5 0 1 1 0.5 1 0 1 0.5 1 1 0 0.5 -0.095 -0.095 yˆh 0.3580.900- -0.145 卷積神經網路結構 機器學習無法學會 XOR，全部猜0.5 此卷積神經網路模型採用下列設定： 核心函式：線性函式 目標函式：最小平方誤差 輸入層：2x1大小矩陣 過濾器：2x1大小矩陣 bxwy i ii 2 1 ˆ 卷積神經網路模型
- 67. 卷積神經網路不適用情境 #設定亂數種子 use_session_with_seed(0) #設定神經網路結構 model <- keras_model_sequential() model %>% layer_conv_2d(filters = 1, kernel_size = c(2, 1), activation = 'linear', input_shape = c(2, 1, 1)) %>% layer_flatten() %>% layer_dense(units = 1, activation = 'linear') 67 設定固定的亂數種子， 讓權重初始值可以一致 卷積層: 輸入參數: 2x1圖片,線性函式 輸出層: 輸入參數: 1個, 輸出參數: 1個, 線性函式 只有1個過濾器， 過濾器為2x1大小
- 69. 手寫影像辨識範例 手寫影像辨識資料集(MNIST) ◦ 影像大小：28 x 28 (即輸入共784個參數) ◦ 類別數量：10 (即0~9，輸出共10個類別) ◦ 取得方式：mnist <- dataset_mnist() 訓練資料 ◦ 共60000萬筆 ◦ 輸入參數：mnist$train$x ◦ 輸出參數：mnist$train$y 測試資料 ◦ 共10000萬筆 ◦ 輸入參數：mnist$test$x ◦ 輸出參數：mnist$test$y 69 訓練資料第1筆x資料 該筆資料的y資料為5
- 70. 手寫影像辨識範例 70 輸入層(共有28x28 = 764個x變數) 卷積神經網路結構 此卷積神經網路模型採用下列設定： 核心函式：線性整流函式(ReLU) 目標函式：交叉熵(Cross-Entropy) 輸入層：28x28大小矩陣 過濾器：3x3大小矩陣 過濾器(共有3x3 = 9個w變數) w1,1 w1,2
- 72. 手寫影像辨識範例 #類別數量 num_classes <- 10 #圖片長寬 img_rows <- 28 img_cols <- 28 72 此卷積神經網路模型採用下列設定： 核心函式：線性整流函式(ReLU) 目標函式：交叉熵(Cross-Entropy) 輸入層：28x28大小矩陣 過濾器：3x3大小矩陣 圖片大小為28 x 28 分別為0~9 共10個類別
- 73. 手寫影像辨識範例 #讀取訓練資料 mnist <- dataset_mnist() X <- mnist$train$x Y <- mnist$train$y #轉換為matrix資料型態 X <- array_reshape(X, c(nrow(X), img_rows, img_cols, 1)) Y <- to_categorical(Y, num_classes) 73 此卷積神經網路模型採用下列設定： 核心函式：線性整流函式(ReLU) 目標函式：交叉熵(Cross-Entropy) 輸入層：28x28大小矩陣 過濾器：3x3大小矩陣 X修改為28 x 28矩陣 Y修改為1 x 10矩陣 讀取MINST圖檔 取得訓練集之X和Y
- 74. 手寫影像辨識範例 #設定亂數種子 use_session_with_seed(0) #設定神經網路結構 model <- keras_model_sequential() model %>% layer_conv_2d(filters = 1, kernel_size = c(3, 3), activation = 'relu', input_shape = c(img_rows, img_cols, 1)) %>% layer_flatten() %>% layer_dense(units = num_classes, activation = 'softmax') 74 此卷積神經網路模型採用下列設定： 核心函式：線性整流函式(ReLU) 目標函式：交叉熵(Cross-Entropy) 輸入層：28x28大小矩陣 過濾器：3x3大小矩陣 設定固定的亂數種子， 讓權重初始值可以一致 卷積層: 輸入參數: 28x28圖片,線性整流函式 輸出層: 輸入參數: 676個, 輸出參數: 10個, softmax函式 只有1個過濾器， 過濾器為3x3大小
- 75. 手寫影像辨識範例 #設定神經網路學習目標 model %>% compile( loss='categorical_crossentropy', optimizer='sgd', #梯度下降 metrics = c("accuracy") ) 75 此卷積神經網路模型採用下列設定： 核心函式：線性整流函式(ReLU) 目標函式：交叉熵(Cross-Entropy) 輸入層：28x28大小矩陣 過濾器：3x3大小矩陣 loss函式為交叉熵categorical_crossentropy
- 76. 手寫影像辨識範例 #訓練神經網路 history <- model %>% fit( X, #輸入參數 Y, #輸出參數 epochs = 100, #訓練回合數 batch_size = 60000 #每60000筆修正 ) 76 此卷積神經網路模型採用下列設定： 核心函式：線性整流函式(ReLU) 目標函式：交叉熵(Cross-Entropy) 輸入層：28x28大小矩陣 過濾器：3x3大小矩陣 設定輸出參數為Y 設定輸入參數為X 訓練回合數為100 採用每60000筆修正權重的方式
- 77. 手寫影像辨識範例 #顯示神經網路權重值 model$get_weights() #將測試資料代入模型進行預測,並取得 預測結果 results <- model %>% predict( X ) #呈現估計結果 print(results) 77 此卷積神經網路模型採用下列設定： 核心函式：線性整流函式(ReLU) 目標函式：交叉熵(Cross-Entropy) 輸入層：28x28大小矩陣 過濾器：3x3大小矩陣