[BOOKデータベースより]
１ 数学的な準備
２ 強化学習の定式化
３ 価値関数の学習
４ オンポリシー型の方策の学習
５ オフポリシー型の方策の学習
６ オフライン強化学習アルゴリズム
７ モデルベース強化学習
８ 発展的話題
【読者対象】
本書は、強化学習について網羅的に勉強してみたいと考える方に向けて書かれています。具体的には、大学学部後半（3・4年生）で強化学習をこれから勉強したいと考える学部生や、強化学習を自分の研究や開発に使ってみたいと考えている大学院生、社会人の方々に向けて書かれています。強化学習の勉強を独学してみたけれど、自力で最近の論文を理解するには至っていない、という方におすすめです。
【書籍の特徴】
本書の特徴は、最新の強化学習に関する論文を理解するために必要な前提知識を幅広く網羅している点にあります。基礎的な内容もカバーしつつ、発展的な内容も解説しています。本書を読んだ後、強化学習に関する最新の論文を読んだ時「この部分はあの本に書いてあったな…」と思ってもらえることを目指して書いてあります。
【各章について】
1章では、強化学習アルゴリズムを理解するために必要な数学的な知識を簡単にまとめています。
続けて２章では、マルコフ決定過程をはじめとする、強化学習の定式化について述べています。また、強化学習アルゴリズムの分類なども紹介します。３章では、強化学習において重要な役割を果たす、価値関数の学習について解説します。４章では、REINFORCEアルゴリズムなどの古典的なアルゴリズムから始めて、PPOなどの最近でもよく使われているものまで、オンポリシー型のアルゴリズムについて述べています。５章では、オンポリシー型よりも高い学習効率をしばしば発揮するオフポリシー型のアルゴリズムについて説明します。６章では、事前に収集されたデータを活用するアルゴリズムである、オフライン強化学習アルゴリズムについて説明しています。７章では、状態遷移モデルを活用したアプローチである、モデルベース強化学習について述べています。最後の８章では、内発的報酬による強化学習や、目標条件付き強化学習、生成モデルをつかったアプローチなどに関する発展的な内容に触れています。
【著者からのメッセージ】
強化学習は大規模言語モデルなどにも用いられて注目を集めていますが、強化学習に関する研究開発を行える人材は、日本ではまだまだ足りていません。本書が、強化学習をこれから自分の研究に役立てていきたい、という志を持っている方のお役に立てれば幸いです。
【キーワード】
強化学習、機械学習、ロボット学習、意思決定、深層学習、方策勾配、マルコフ決定過程、Q学習、ロボティクス、生成モデル
のマークが目印です。
