|
|
|
近年來因人工智慧興起，帶起許多學生、工程師與學者開始投入相關技術的學習、研究和開發。早期談到人工智慧，大部分會聯想到機器學習中的監督式學習和非監督式學習。然而監督或非監督式學習較難處理動態系統，機器學習技術的另一個分支─強化學習，剛好補足此缺口。強化學習的應用相當廣，最有名的兩個例子為AlphaGo透過資料學習在圍棋比賽上屢獲佳績，以及Google利用強化學習技術，優化資料中心的運作，進而減少40%的冷卻花費。本書以奠定基本功為目的，一步步帶領讀者建構完整的強化學習知識，介紹的相關概念包含：動態規劃、蒙地卡羅法、1步時間差分法、n步時間差分法、近似解法、規劃與學習、資格跡與學習、策略梯度法。
本書特色
1.本書從假設與理論開始討論，再進入演算法與範例，讓讀者了解整體架構的來龍去脈。
2.每章的開始先綜述該章的主要內容，讓讀者有大方向的了解，再進入細節的討論。
3.相關概念以圖示方式呈現，讀者較易理解與統整。
4.每章搭配範例與程式碼，徹底了解演算法特性。
5.每章結尾作重點回顧，條列該章裡重要概念，方便讀者確認學習重點。
6.本書適用於自學、大學或科大課程教科書與實作專題的輔助教材，以及業界工程師快速奠定強化學習基礎概念與實作能力的教學書籍。
第1章 強化學習框架
1-1 強化學習主要元素與馬可夫決策過程
1-2 範例1.1
1-3 策略和價值函數
1-4 範例1.2
1-5 最佳策略和最佳價值函數
重點回顧
章末練習
第2章 動態規劃
2-1 策略評估
2-2 策略改進
2-3 範例2.1與程式碼
2-4 策略疊代和價值疊代
2-5 動態規劃的優缺點與異步更新
2-6 範例2.2與程式碼
2-7 廣義策略疊代
重點回顧
章末練習
第3章 蒙地卡羅法
3-1 蒙地卡羅預測
3-2 同策略與異策略法
3-3 同策略蒙地卡羅控制
3-4 範例3.1與程式碼
3-5 異策略與重要性抽樣
3-6 異策略蒙地卡羅預測
3-7 異策略蒙地卡羅控制
重點回顧
章末練習
第4章 1步時間差分法
4-1 時間差分法
4-2 Sarsa和Q學習
4-3 範例4.1與程式碼
4-4 期望Sarsa
重點回顧
章末練習
第5章
5-1 n步時間差分預測
5-2 n步Sarsa與n步期望Sarsa
5-3 範例5.1與程式碼
5-4 異策略n步時間差分控制
重點回顧
章末練習
第6章 近似解法
6-1 函數近似與隨機梯度下降
6-2 同策略梯度與半梯度預測
6-3 同策略回合式半梯度控制
6-4 範例6.1與程式碼
6-5 異策略深度Q網路
6-6 同策略差分半梯度控制
重點回顧
章末練習
第7章 規劃與學習
7-1 規劃
7-2 範例7.1與程式碼
7-3 優先掃掠
7-4 內在動機
7-5 範例7.2與程式碼
重點回顧
章末練習
第8章 資格跡與學習
8-1 資格跡和λ報酬
8-2 半梯度TD(λ)和回合式半梯度Sarsa(λ)
8-3 資格跡和表格解法
8-4 範例8.1與程式碼
重點回顧
章末練習
第9章 策略梯度法
9-1 策略梯度與策略參數更新
9-2 簡樸策略梯度演算法
9-3 增強演算法
9-4 行動者評論家演算法
9-5 範例9.1與程式碼
重點回顧
章末練習
參考文獻
名詞索引
