機器學習開發流程與參數調校

機器學習開發流程與參數調校

深智數位資訊講堂 2021-08-26 15:31

深度學習-最佳入們邁向AI專題實戰 看更多請點我

一般來說,機器學習開發流程(Machine learning workflow),有許多種建議的模型,例如資料探勘(Data Mining)流程,包括CRISP-DM (cross-industry standard process for data mining,)、Google Cloud建議的流程...等,個人偏好的流程如下:

概分為10個步驟,不含較高層次的企業需求瞭解(Business Understanding),只包括實際開發的步驟:

  1. 蒐集資料,彙整為資料集(Dataset)。
  2. 資料清理(Data Cleaning)、資料探索與分析(Exploratory Data Analysis, EDA):EDA通常是以描述統計量及統計圖觀察資料的分佈,瞭解資料的特性、極端值(Outlier)、變數之間的關聯性。
  3. 特徵工程(Feature Engineering):原始蒐集的資料未必是影響預測目標的關鍵因素,有時候需要進行資料轉換,以找到關鍵的影響變數。
  4. 資料切割(Data Split):切割為訓練資料(Training Data)及測試資料(Test Data),一份資料提供模型訓練之用,另一份資料則用在衡量模型效能,例如準確度,切割的主要原因是確保測試資料不會參與訓練,以維持其公正性,即 Out-of-Sample Test。
  5. 選擇演算法(Learning Algorithms):依據問題的類型選擇適合的演算法。
  6. 模型訓練(Model Training):以演算法及訓練資料,進行訓練產出模型。
  7. 模型計分(Score Model):計算準確度等效能指標,評估模型的準確性。
  8. 模型評估(Evaluate Model):比較多個參數組合、多個演算法的準確度,找到最佳參數與演算法。
  9. 佈署(Deploy):複製最佳模型至正式環境(Production Environment),製作使用介面或提供API,通常以網頁服務(Web Services) 作為預測的API。
  10. 預測(Predict):用戶端傳入新資料或檔案,系統以模型進行預測,傳回預測結果。

其中第8個步驟 -- 模型評估(Evaluate Model),要比較多個模型的效能,可能是採用不同的演算法或不同的超參數(Hyperparameter),如果是後者,要如何取得最佳參數值呢? 如要同時調校多個超參數,有一些套件可以幫忙,包括Keras Tuner、hyperopt、Ray Tune、Ax…等。本文介紹Keras Tuner,步驟如下:

 

可以設置一些參數組合,每一組合建立一個模型,再比較各個模型的效能,參數測試範圍的設定有下列方式:

  • Boolean:真/假。
  • Choice:多個設定選項。
  • Int/Float:整數/浮點數的連續範圍。
  • Fixed:測試所有參數(tune_new_entries=True),除了目前的參數,也可依賴其他參數(parent_name)的設定。只有當其他參數值為特定值時,這個參數才會生效。
  • conditional_scope:條件式,類似Fixed,依賴其他參數,只有當其他參數值為特定值時,這個條件才會生效。

測試方法(Tuners)有下列幾種,可擇一使用:

  • Hyperband:測試所有組合。
  • RandomSearch:若測試範圍過大,可隨機抽樣部份組合,加以測試。
  • BayesianOptimization:搭配高斯過程(Gaussian process),依照前次的測試結果,決定下次的測試內容。

測試結果如下圖表,可觀察每一參數組合的優劣,選取其中的最佳參數組合。

 

相關程式可詳閱『深度學習-最佳入們邁向AI專題實戰』一書說明。

熱門文章
郵局發錢了!學生、家長嗨領「最高3千元」 錯過捶心肝
郵局發錢了!學生、家長嗨領「最高3千元」 錯過捶心肝

TVBS新聞網

寶林茶室食物中毒案重大發現!死者解剖確認驗出「米酵菌酸」!
寶林茶室食物中毒案重大發現!死者解剖確認驗出「米酵菌酸」!

食力foodNEXT

寶林炒粿條超恐怖!造成「全面性細胞死亡」 醫:常見粒腺體毒素就是氰化物
寶林炒粿條超恐怖!造成「全面性細胞死亡」 醫:常見粒腺體毒素就是氰化物

中天新聞

桃園男登山不慎滑落山坡成冰冷遺體 忠犬護屍4天3夜讓人動容
桃園男登山不慎滑落山坡成冰冷遺體 忠犬護屍4天3夜讓人動容

記者爆料網

快訊/「寶林茶室」禍首曝光!衛福部專家會議推測「這毒素」或成元兇
快訊/「寶林茶室」禍首曝光!衛福部專家會議推測「這毒素」或成元兇

中天新聞

米酵菌酸「洗滌、烹飪」都沒用!2狀況迅速繁殖 短時間奪命
米酵菌酸「洗滌、烹飪」都沒用!2狀況迅速繁殖 短時間奪命

TVBS新聞網

獨家|中龍鋼鐵工安意外! 吊車吊掛發電機吊臂斷裂砸中廠房勞檢單位稽查
獨家|中龍鋼鐵工安意外! 吊車吊掛發電機吊臂斷裂砸中廠房勞檢單位稽查

記者爆料網

真有斬男香?他聞女同事香水「一秒起立」 全場曝真相:衝了
真有斬男香?他聞女同事香水「一秒起立」 全場曝真相:衝了

TVBS新聞網

水逆凶狠殺到!5星座「災厄纏身」受重擊 牡羊最慘倒大楣了
水逆凶狠殺到!5星座「災厄纏身」受重擊 牡羊最慘倒大楣了

TVBS新聞網

前T-ara雅凜試圖輕生醒了!昏迷2天公開「臥床插管照」 點名2人要付出代價
前T-ara雅凜試圖輕生醒了!昏迷2天公開「臥床插管照」 點名2人要付出代價

中天新聞

中毒案奪2命!他揪公司餐驚「寶林員工全逃過」 餐飲業內幕曝
中毒案奪2命!他揪公司餐驚「寶林員工全逃過」 餐飲業內幕曝

TVBS新聞網

詭異!寶林茶室「只有3/20沒人中毒」 專家曝2可能原因
詭異!寶林茶室「只有3/20沒人中毒」 專家曝2可能原因

中天新聞

海鮮公司變電箱下挖「密道」偷電 電費大減437萬度竊得2702萬元
海鮮公司變電箱下挖「密道」偷電 電費大減437萬度竊得2702萬元

CTWANT

「放浪家族」長谷川慎私照公開!他曖昧靠頭、霸氣宣示主權「喝醉的時候很可愛」
「放浪家族」長谷川慎私照公開!他曖昧靠頭、霸氣宣示主權「喝醉的時候很可愛」

myVideo 影音隨看

連假必備!他激推好市多「這零嘴」現折100:一次掃兩箱
連假必備!他激推好市多「這零嘴」現折100:一次掃兩箱

TVBS新聞網

全家「神級新麵包」超夯!她半夜2點掃貨嚐鮮 饕客讚:物超所值
全家「神級新麵包」超夯!她半夜2點掃貨嚐鮮 饕客讚:物超所值

TVBS新聞網

獨家/汪小菲求婚成功!示愛新歡Mandy:我的老婆來自台北
獨家/汪小菲求婚成功!示愛新歡Mandy:我的老婆來自台北

CTWANT

汪小菲求婚Mandy成功!曬鑽戒表示「愛台灣」
汪小菲求婚Mandy成功!曬鑽戒表示「愛台灣」

記者爆料網

觀念過時了!「熱食放涼再冰」生更多毒 醫曝1絕佳時機
觀念過時了!「熱食放涼再冰」生更多毒 醫曝1絕佳時機

TVBS新聞網

影/國道墜河駕駛身分曝!「新竹通勤男」堤頂自撞 家人拿衣物岸邊祈求奇蹟
影/國道墜河駕駛身分曝!「新竹通勤男」堤頂自撞 家人拿衣物岸邊祈求奇蹟

中天新聞

58
0
分享