伊藤 多一 著
今津 義充 著
須藤 広大 著
仁ノ平 将人 著
川﨑 悠介 著
酒井 裕企 著
魏 崇哲 著
【本書の目的】
AlphaGo(アルファ碁)でも利用されている深層強化学習。
AIサービスのみならずロボティクス分野でもその応用が期待されています。
本書は、AI開発に携わる第一線の著者陣が深層強化学習の開発手法について書き下ろした注目の1冊です。
【本書の特徴】
第1部では、まず、深層強化学習の概要について説明します。
次いで、強化学習の基礎(Q学習、方策勾配法、Actor-Critic法)と深層学習の基礎(CNN、RNN、LSTM)を解説します。
さらに、簡単な例題として倒立振子制御を取り上げ、DQNとActor-Critic法による実装例を紹介します。
第2部では、具体的な応用例として3つのアプローチを実装込みで解説します。
1つ目は、連続動作制御です。ヒューマノイドシミュレータの2足歩行制御を試みます。
2つ目は、パズル問題の解法です。巡回セールスマン問題(TSP)やルービックキューブの解探索について説明します。
3つ目は、系列データ生成です。文書生成(SeqGAN)やニューラルネットワークのアーキテクチャ探索(ENAS)を解説します。
全体を通して、行動の制御を担うエージェントのモデル化と、方策ベースの強化学習によるエージェントの学習法について学ぶことができます。
【読者が得られること】
深層強化学習による開発手法を学ぶことができます。
【対象読者】
深層強化学習を学びたい理工学生・エンジニア
■Part 1 基礎編
CHAPTER 1 強化学習の有用性
1.1 機械学習の分類
1.2 強化学習でできること
1.3 深層強化学習とは
CHAPTER 2 強化学習のアルゴリズム
2.1 強化学習の基本概念
2.2 マルコフ決定過程とベルマン方程式
2.3 ベルマン方程式の解法
2.4 モデルフリーな制御
CHAPTER 3 深層学習による特徴抽出
3.1 深層学習
3.2 畳み込みニューラルネットワーク(CNN)
3.3 再帰型ニューラルネットワーク(RNN)
CHAPTER 4 深層強化学習の実装
4.1 深層強化学習の発展
4.2 行動価値関数のネットワーク表現
4.3 方策関数のネットワーク表現
■Part 2 応用編
CHAPTER 5 連続制御問題への応用
5.1 方策勾配法による連続制御
5.2 学習アルゴリズムと方策モデル
5.3 連続動作シミュレータ
5.4 アルゴリズムの実装
5.5 学習結果と予測制御
CHAPTER 6 組合せ最適化への応用
6.1 組合せ最適化への応用について
6.2 巡回セールスマン問題
6.3 ルービックキューブ問題
6.4 まとめ
CHAPTER 7 系列データ生成への応用
7.1 SeqGANによる文章生成
7.2 ネットワークアーキテクチャの探索
APPENDIX 開発環境の構築
AP1 ColaboratoryによるGPUの環境構築
AP2 DockerによるWindowsでの環境構築
刷数は奥付(書籍の最終ページ)に記載されています。
書籍の種類:
書籍の刷数:
本書に誤りまたは不十分な記述がありました。下記のとおり訂正し、お詫び申し上げます。
対象の書籍は正誤表がありません。
発生刷 | ページ数 | 書籍改訂刷 | 電子書籍訂正 | 内容 | 登録日 | ||||
---|---|---|---|---|---|---|---|---|---|
1刷 | カバー、表紙、大扉の著者名 |
未 | 未 |
|
2019.07.31 | ||||
1刷 | 005 下から7行目 |
未 | 未 |
|
2019.09.11 | ||||
1刷 | 025 式2.3、本文の下から8行目 |
未 | 未 |
|
2019.10.09 | ||||
1刷 | 061 上から12行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 066 上から3行目、上から10行目 |
未 | 未 |
|
2019.09.04 | ||||
1刷 | 104 上から5~8行目の下付き添え字の書体をローマン体にする |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 105 上から1行目 下付き添え字の"1"のみローマン体にする |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 114 最下行 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 122 下から3~5行目 |
未 | 未 |
|
2019.08.29 | ||||
1刷 | 123 上から1~2行目 |
未 | 未 |
|
2019.08.29 | ||||
1刷 | 137 下から3行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 138 下から4行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 141 リスト4.8 上から24行目 |
未 | 未 |
|
2019.09.04 | ||||
1刷 | 147 下から2行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 160 下から7行目 |
未 | 未 |
|
2019.07.31 | ||||
1刷 | 162 式5.9の最下行第2項の係数 |
未 | 未 |
|
2020.02.18 | ||||
1刷 | 170 上から4行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 173 上から1行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 174,175 P.174の式5.10の第2式の右辺先頭、および、P175 式5.11の先頭に挿入する |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 184 図5.13 |
未 | 未 |
|
2019.07.31 | ||||
1刷 | 185 上から7行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 190 下から2行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 211 下から2行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 245 下から2行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 264 リスト7.8のキャプション |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 276 下から5行目、下から4行目、下から3行目 |
未 | 未 |
|
2019.10.24 | ||||
1刷 | 289 本文 上から1,2行目、図 AP.11、図 AP.12 |
未 | 未 |
|
2019.08.22 | ||||
1刷 | 294 脚注9 |
未 | 未 |
|
2019.08.20 |