ベースライン OpenAIベースラインは、強化学習アルゴリズムの高品質実装のセットです。 これらのアルゴリズムは、研究コミュニティが新しいアイデアを再現し、洗練し、特定し、優れたベースラインを作成してトップレベルの研究を構築することを容易にします。 エピソード開始時には主に以下の処理を行います。, ここではまず、現在のゲーム画面と前画面の各ピクセルごとに最大値を取っています。そのあと、グレースケール変換、リサイズを行い、最後に定められたフレーム数分だけスタックさせて初期状態を作っています。

\( \epsilon \)-greedy法はある一定の確率\( \epsilon \)でランダムに行動選択をし、それ以外（\( 1-\epsilon \)の確率）でQ値が最も高い行動を選択します。, 先程はすべての状態と行動についてのQ値のテーブル関数を作ると言いました。しかし、今回のような状態がゲーム画面という高次元のものになると、すべての状態行動対のQ値を求めるには状態数が多すぎで、これではQ関数が収束するのに時間がかかりすぎます。 why is that? 2つのネットワークの構築には同じ関数を使います。build_network()関数は以下のようになっています。, ネットワークの構築はKerasとTensorFlowで書きました。TensorFlowだけで書くよりシンプルになっています。いっしょに使う場合の詳細はKerasのブログ記事をチェックしてみてください。, Kerasのtrainable_weights関数で学習される重みのリストを取ってきてくれます。TensorFlowのassign()関数を使ってTarget Networkの重みにQ Networkの重みを代入する処理が書けます。これで定期的にself.sess.run(self.update_target_network)でTarget Networkを更新することができます。, ここで、エラークリップを行っています。誤差関数は[-1, 1]内とその区間外で異なる関数形になっていて、それらを一本の式にまとめて定義しています。 過去の遷移\( (s, a, r, s’) \)のセットを保存しておいて、そこからランダムサンプリングし、ミニバッチとしてネットワークの重みの更新に利用するというものです。これによって、学習データ間の相関をばらばらにし、またプレイヤーの振る舞い（行動の分布）を過去にわたって平均化することができるため、パラメータが振動・発散するのを防ぐことができます。, Target Network ここで前処理された画面をuint8に変換している理由は、前処理後のフレームのデータ型がfloat64で、これは後に出てくるReplay Memoryに保存する際にメモリを圧迫し、保存できる遷移数が少なくなってしまうからです。 GitHub 上記を確認することで、CartPoleにおけるObservationの仕様を把握することができます。 3. 続いて、受け取った画面をpreprocess()関数で前処理にかけます。, 現在の画面と前の画面の各ピクセルにおいて最大値を取り、そのあとグレースケール変換、リサイズを行います。ここでも先程と同じく、前処理された画面をuint8に変換しています。最後にnp.reshape()で扱いやすいようにshapeを整えています（CNNに入力できるshapeにしている）。 \( (s, a, r, s’, terminal) \)として、Replay Memoryに遷移を保存します。Replay Memoryは一定数を超えたら古い遷移から削除していきます。 具体的にそれぞれについて見ていきたいと思います。, アルゴリズムのほとんどはAgentクラスに関数として実装しました。いくつかの関数は流れに沿ってあとから説明するとして、Agentクラスのインスタンスが作られたときに、どのように初期化されているかを見ていきたいと思います。 これらのアルゴリズムは、研究コミュニティが新しいアイデアを再現し、洗練し、特定し、優れたベースラインを作成してトップレベルの研究を構築することを容易にします。, 新しいアイデアを追加するための基礎として、また新しいアイデアを既存のものと比較するためのツールとして使用されることが期待されます。, Minecraft-Overviewer - Google Mapsの動力インターフェイス で、Minecraftの世界の高解像度地図をレンダリングする, sublimetext-markdown-preview - 崇高なテキストのためのmarkdown previewとbuildプラグイン2/3, 衛星画像データの解析を行うために学んだ事 | 世界銀行で働く新卒データサイエンティストのブログ, xhtml2pdf – ReportLabを使用してHTMLをPDFに変換するためのライブラリ, 【Python/Django】たった３行でPDFが生成できるdjango-easy-pdfを紹介する│もりた屋のブログ, 【Python/Django】たった３行でPDFが生成できるdjango-easy-pdfを紹介する – もりた屋のブログ, 【1分でわかるWhiteNoise】 – プログラミング超初心者向けサイト@ギクサポ, isort – インポートをソートするためのPythonユーティリティ/ライブラリ, [Pythonコーディング規約]PEP8を読み解く - TECHBIRD ｜ TECHBIRD - Effective Tips & References for Programming. でもそれだとたくさんの教師データが必要になりそうなので、事前に何百万回もゲームをプレイして集めないといけないです。ちょっと面倒くさいですね。 最後にミニバッチでの勾配法による誤差最小化を行っています。

2020 All Rights Reserved. You can always update your selection by clicking Cookie Preferences at the bottom of the page. 実際にはQ学習では、Q関数をテーブル関数として表し、Bellman方程式を用いてすべての状態行動対\( (s, a) \)について、次の式で反復的にQ関数を更新しながら求めていきます。, \( \alpha \)は学習率を表します。この更新式は、状態\( s \)において行動\( a \)を取る\( Q(s, a) \)よりも、行動\( a \)を取ったあとの次の状態\( s’ \)での最大累積報酬\( r + \gamma \text{max} _{a’}Q(s’, a’) \)の方が大きければ、\( Q(s, a) \)を大きくし、小さければ\( Q(s, a) \)も小さくするということを示しています。つまり、\( Q(s, a) \)を\( r + \gamma \text{max} _{a’}Q(s’, a’) \)に近づけていくことになります。そして、学習を反復するにつれて、Q関数は真のQ値に近づいていきます。, 先程のQ学習では、Q値が最も高い行動を選択すればよいと言いましたが、実際には、常にQ値が最大のものだけを選んでいると、（最初はQ値が真の値ではないので、）最初にランダムに与えたQ値の影響が大きく、学習がうまくいきません。そこで、時折ランダムに行動を選択することで、それを解消します。

実装方法は2種類考えられます。一つは\( L \)を明示的に定義せず、\( \nabla L \)を定義してそこでクリップする方法です。もう一つは、いつも通り\( L \)を明示的に定義する方法です。 For more information, see our Privacy Statement.

Mnih et al., 2015では前者の方法で実装しているようですが、後者の方が分かりやすいかもしれません。後者の方法では\( L \)は区間によって異なる関数形になっていますが、一本の式にまとめてしまうとよいと思います（交差エントロピーも元々は場合分けで表現されていましたが、損失関数として使う場合には一本の式にまとめられています。それに少し近いイメージでしょうか）。, エピソード開始時の初期状態をランダムにするために、最大30フレームのランダムなフレーム数分「何もしない」行動を取り、画面を遷移させます。, ではコードを見ながら解説していきます。なおここで使われるコードは断片的で省略してる箇所もあるので、全ソースコードはこちらから確認してみてください。 前半では軽くDQNのおさらいをしますが、少しの強化学習の知識を持っていることを前提にしています。 CNNの各パラメータは以下のようになっています。, Atariはゲームによってスコアのレンジがまちまち（例えば+1や+20など）なので、報酬をある値に固定します。つまり、値の大きさにかかわらず、報酬が負だったら-1、正だったら1、0はそのままにします。これによって誤差微分の大きさを制限することができ、すべてのゲームで同じ学習率を使うことができるようになります（より汎用的になる）。, Atariでは1秒間に画面が60回更新されます。毎フレーム見るのは計算コストの面で効率的ではなく、実行時間を増やすことなくより多くのゲームをプレイさせるために、4フレームに一回見て行動選択をするようにします。スキップするフレームでは前回取った行動をリピートするようにします。, 行動選択には\( \epsilon \)-greedy法を使いますが、\( \epsilon \)は1.0を初期値として、そこから0.1まで100万フレーム間で線形に減少させ、それ以降は0.1に固定します。, Replay Memoryに一定の数だけ過去の遷移を保存して学習に使います。Mnih et al., 2015では100万遷移分を保存していますが、実験ではその量はメモリに載らないので、40万遷移分を保存します。なおその数を超えた分は古い遷移から消えていくようにします。, 開始時は学習に使われるReplay Memoryが貯まっていないので、最初あるフレーム分ランダムに行動しReplay Memoryを蓄積させます。その間学習も行いません。Mnih et al., 2015では最初に5万遷移分貯めていますが、実験では2万遷移分にしました。, 教師信号\( r + \gamma \text{max} _{a’} \hat{Q}(s’, a’; \theta ^{-}) \)のQ値を出力するためのTarget Networkを作り、1万フレームごとにTarget Networkの\( \theta ^{-} \)にQ Networkの\( \theta \)をコピーすることで更新します。, 毎フレームで学習するのは計算量が多くなるだけなので、行動を4回行うごとに学習を行うようにします。, 学習の安定性を向上させるために、エラーである\( \text{target} - Q(s, a; \theta) \)の値を-1から1の範囲でクリップします。-1よりも小さな値は-1、1よりも大きな値は1、-1と1の間の値はそのまま使用するという意味です。

シンプルな戦略として、バーを両端のどちらかに置いていれば、ゲームオーバーまでに一回はボールを跳ね返してブロックを消し報酬がもらえるということが既に分かっていたとします。この戦略を取り続けるべきか？それともより多くの報酬を期待して違う行動を取ってみるべきか？, 強化学習を考えやすい枠組みに落とし込むときには、一般的にマルコフ決定過程（MDP）として問題を設定します。, 左: 強化学習の問題（Lecture 1: Introduction to Reinforcement Learning at UCL)　右: マルコフ決定過程（Wikipedia）, ブロック崩し（環境）をしているとすると、自分はゲーム画面（バーの位置、ボールの位置・方向、残ってるブロックの数）（状態）を見て、バーを移動（行動）させますね。ときにはそれがスコアの増加（報酬）に繋がることもあります。 Agentクラスのinit()関数はこのようになっています。, ここで行われている主なことは、Replay Memoryの初期化、Q NetworkとTarget Networkの構築及び初期化、Target Network更新のための処理の構築、そして最適化のための処理の構築です。, Replay Memoryの初期化 We use optional third-party analytics cookies to understand how you use GitHub.com so we can build better products. 大枠のコードを再掲します。, これで一巡することができました。run()関数によって返ってきた次の状態は現在の状態となり、今までの操作を終了判定が出るまで繰り返します。そしてそれを定めたエピソード数分だけ繰り返します。

ベースライン OpenAIベースラインは、強化学習アルゴリズムの高品質実装のセットです。 これらのアルゴリズムは、研究コミュニティが新しいアイデアを再現し、洗練し、特定し、優れたベースラインを作成してトップレベルの研究を構築することを容易にします。 エピソード開始時には主に以下の処理を行います。, ここではまず、現在のゲーム画面と前画面の各ピクセルごとに最大値を取っています。そのあと、グレースケール変換、リサイズを行い、最後に定められたフレーム数分だけスタックさせて初期状態を作っています。

\( \epsilon \)-greedy法はある一定の確率\( \epsilon \)でランダムに行動選択をし、それ以外（\( 1-\epsilon \)の確率）でQ値が最も高い行動を選択します。, 先程はすべての状態と行動についてのQ値のテーブル関数を作ると言いました。しかし、今回のような状態がゲーム画面という高次元のものになると、すべての状態行動対のQ値を求めるには状態数が多すぎで、これではQ関数が収束するのに時間がかかりすぎます。 why is that? 2つのネットワークの構築には同じ関数を使います。build_network()関数は以下のようになっています。, ネットワークの構築はKerasとTensorFlowで書きました。TensorFlowだけで書くよりシンプルになっています。いっしょに使う場合の詳細はKerasのブログ記事をチェックしてみてください。, Kerasのtrainable_weights関数で学習される重みのリストを取ってきてくれます。TensorFlowのassign()関数を使ってTarget Networkの重みにQ Networkの重みを代入する処理が書けます。これで定期的にself.sess.run(self.update_target_network)でTarget Networkを更新することができます。, ここで、エラークリップを行っています。誤差関数は[-1, 1]内とその区間外で異なる関数形になっていて、それらを一本の式にまとめて定義しています。 過去の遷移\( (s, a, r, s’) \)のセットを保存しておいて、そこからランダムサンプリングし、ミニバッチとしてネットワークの重みの更新に利用するというものです。これによって、学習データ間の相関をばらばらにし、またプレイヤーの振る舞い（行動の分布）を過去にわたって平均化することができるため、パラメータが振動・発散するのを防ぐことができます。, Target Network ここで前処理された画面をuint8に変換している理由は、前処理後のフレームのデータ型がfloat64で、これは後に出てくるReplay Memoryに保存する際にメモリを圧迫し、保存できる遷移数が少なくなってしまうからです。 GitHub 上記を確認することで、CartPoleにおけるObservationの仕様を把握することができます。 3. 続いて、受け取った画面をpreprocess()関数で前処理にかけます。, 現在の画面と前の画面の各ピクセルにおいて最大値を取り、そのあとグレースケール変換、リサイズを行います。ここでも先程と同じく、前処理された画面をuint8に変換しています。最後にnp.reshape()で扱いやすいようにshapeを整えています（CNNに入力できるshapeにしている）。 \( (s, a, r, s’, terminal) \)として、Replay Memoryに遷移を保存します。Replay Memoryは一定数を超えたら古い遷移から削除していきます。 具体的にそれぞれについて見ていきたいと思います。, アルゴリズムのほとんどはAgentクラスに関数として実装しました。いくつかの関数は流れに沿ってあとから説明するとして、Agentクラスのインスタンスが作られたときに、どのように初期化されているかを見ていきたいと思います。 これらのアルゴリズムは、研究コミュニティが新しいアイデアを再現し、洗練し、特定し、優れたベースラインを作成してトップレベルの研究を構築することを容易にします。, 新しいアイデアを追加するための基礎として、また新しいアイデアを既存のものと比較するためのツールとして使用されることが期待されます。, Minecraft-Overviewer - Google Mapsの動力インターフェイス で、Minecraftの世界の高解像度地図をレンダリングする, sublimetext-markdown-preview - 崇高なテキストのためのmarkdown previewとbuildプラグイン2/3, 衛星画像データの解析を行うために学んだ事 | 世界銀行で働く新卒データサイエンティストのブログ, xhtml2pdf – ReportLabを使用してHTMLをPDFに変換するためのライブラリ, 【Python/Django】たった３行でPDFが生成できるdjango-easy-pdfを紹介する│もりた屋のブログ, 【Python/Django】たった３行でPDFが生成できるdjango-easy-pdfを紹介する – もりた屋のブログ, 【1分でわかるWhiteNoise】 – プログラミング超初心者向けサイト@ギクサポ, isort – インポートをソートするためのPythonユーティリティ/ライブラリ, [Pythonコーディング規約]PEP8を読み解く - TECHBIRD ｜ TECHBIRD - Effective Tips & References for Programming. でもそれだとたくさんの教師データが必要になりそうなので、事前に何百万回もゲームをプレイして集めないといけないです。ちょっと面倒くさいですね。 最後にミニバッチでの勾配法による誤差最小化を行っています。

2020 All Rights Reserved. You can always update your selection by clicking Cookie Preferences at the bottom of the page. 実際にはQ学習では、Q関数をテーブル関数として表し、Bellman方程式を用いてすべての状態行動対\( (s, a) \)について、次の式で反復的にQ関数を更新しながら求めていきます。, \( \alpha \)は学習率を表します。この更新式は、状態\( s \)において行動\( a \)を取る\( Q(s, a) \)よりも、行動\( a \)を取ったあとの次の状態\( s’ \)での最大累積報酬\( r + \gamma \text{max} _{a’}Q(s’, a’) \)の方が大きければ、\( Q(s, a) \)を大きくし、小さければ\( Q(s, a) \)も小さくするということを示しています。つまり、\( Q(s, a) \)を\( r + \gamma \text{max} _{a’}Q(s’, a’) \)に近づけていくことになります。そして、学習を反復するにつれて、Q関数は真のQ値に近づいていきます。, 先程のQ学習では、Q値が最も高い行動を選択すればよいと言いましたが、実際には、常にQ値が最大のものだけを選んでいると、（最初はQ値が真の値ではないので、）最初にランダムに与えたQ値の影響が大きく、学習がうまくいきません。そこで、時折ランダムに行動を選択することで、それを解消します。

実装方法は2種類考えられます。一つは\( L \)を明示的に定義せず、\( \nabla L \)を定義してそこでクリップする方法です。もう一つは、いつも通り\( L \)を明示的に定義する方法です。 For more information, see our Privacy Statement.

Mnih et al., 2015では前者の方法で実装しているようですが、後者の方が分かりやすいかもしれません。後者の方法では\( L \)は区間によって異なる関数形になっていますが、一本の式にまとめてしまうとよいと思います（交差エントロピーも元々は場合分けで表現されていましたが、損失関数として使う場合には一本の式にまとめられています。それに少し近いイメージでしょうか）。, エピソード開始時の初期状態をランダムにするために、最大30フレームのランダムなフレーム数分「何もしない」行動を取り、画面を遷移させます。, ではコードを見ながら解説していきます。なおここで使われるコードは断片的で省略してる箇所もあるので、全ソースコードはこちらから確認してみてください。 前半では軽くDQNのおさらいをしますが、少しの強化学習の知識を持っていることを前提にしています。 CNNの各パラメータは以下のようになっています。, Atariはゲームによってスコアのレンジがまちまち（例えば+1や+20など）なので、報酬をある値に固定します。つまり、値の大きさにかかわらず、報酬が負だったら-1、正だったら1、0はそのままにします。これによって誤差微分の大きさを制限することができ、すべてのゲームで同じ学習率を使うことができるようになります（より汎用的になる）。, Atariでは1秒間に画面が60回更新されます。毎フレーム見るのは計算コストの面で効率的ではなく、実行時間を増やすことなくより多くのゲームをプレイさせるために、4フレームに一回見て行動選択をするようにします。スキップするフレームでは前回取った行動をリピートするようにします。, 行動選択には\( \epsilon \)-greedy法を使いますが、\( \epsilon \)は1.0を初期値として、そこから0.1まで100万フレーム間で線形に減少させ、それ以降は0.1に固定します。, Replay Memoryに一定の数だけ過去の遷移を保存して学習に使います。Mnih et al., 2015では100万遷移分を保存していますが、実験ではその量はメモリに載らないので、40万遷移分を保存します。なおその数を超えた分は古い遷移から消えていくようにします。, 開始時は学習に使われるReplay Memoryが貯まっていないので、最初あるフレーム分ランダムに行動しReplay Memoryを蓄積させます。その間学習も行いません。Mnih et al., 2015では最初に5万遷移分貯めていますが、実験では2万遷移分にしました。, 教師信号\( r + \gamma \text{max} _{a’} \hat{Q}(s’, a’; \theta ^{-}) \)のQ値を出力するためのTarget Networkを作り、1万フレームごとにTarget Networkの\( \theta ^{-} \)にQ Networkの\( \theta \)をコピーすることで更新します。, 毎フレームで学習するのは計算量が多くなるだけなので、行動を4回行うごとに学習を行うようにします。, 学習の安定性を向上させるために、エラーである\( \text{target} - Q(s, a; \theta) \)の値を-1から1の範囲でクリップします。-1よりも小さな値は-1、1よりも大きな値は1、-1と1の間の値はそのまま使用するという意味です。

シンプルな戦略として、バーを両端のどちらかに置いていれば、ゲームオーバーまでに一回はボールを跳ね返してブロックを消し報酬がもらえるということが既に分かっていたとします。この戦略を取り続けるべきか？それともより多くの報酬を期待して違う行動を取ってみるべきか？, 強化学習を考えやすい枠組みに落とし込むときには、一般的にマルコフ決定過程（MDP）として問題を設定します。, 左: 強化学習の問題（Lecture 1: Introduction to Reinforcement Learning at UCL)　右: マルコフ決定過程（Wikipedia）, ブロック崩し（環境）をしているとすると、自分はゲーム画面（バーの位置、ボールの位置・方向、残ってるブロックの数）（状態）を見て、バーを移動（行動）させますね。ときにはそれがスコアの増加（報酬）に繋がることもあります。 Agentクラスのinit()関数はこのようになっています。, ここで行われている主なことは、Replay Memoryの初期化、Q NetworkとTarget Networkの構築及び初期化、Target Network更新のための処理の構築、そして最適化のための処理の構築です。, Replay Memoryの初期化 We use optional third-party analytics cookies to understand how you use GitHub.com so we can build better products. 大枠のコードを再掲します。, これで一巡することができました。run()関数によって返ってきた次の状態は現在の状態となり、今までの操作を終了判定が出るまで繰り返します。そしてそれを定めたエピソード数分だけ繰り返します。

ベースライン OpenAIベースラインは、強化学習アルゴリズムの高品質実装のセットです。 これらのアルゴリズムは、研究コミュニティが新しいアイデアを再現し、洗練し、特定し、優れたベースラインを作成してトップレベルの研究を構築することを容易にします。 エピソード開始時には主に以下の処理を行います。, ここではまず、現在のゲーム画面と前画面の各ピクセルごとに最大値を取っています。そのあと、グレースケール変換、リサイズを行い、最後に定められたフレーム数分だけスタックさせて初期状態を作っています。

\( \epsilon \)-greedy法はある一定の確率\( \epsilon \)でランダムに行動選択をし、それ以外（\( 1-\epsilon \)の確率）でQ値が最も高い行動を選択します。, 先程はすべての状態と行動についてのQ値のテーブル関数を作ると言いました。しかし、今回のような状態がゲーム画面という高次元のものになると、すべての状態行動対のQ値を求めるには状態数が多すぎで、これではQ関数が収束するのに時間がかかりすぎます。 why is that? 2つのネットワークの構築には同じ関数を使います。build_network()関数は以下のようになっています。, ネットワークの構築はKerasとTensorFlowで書きました。TensorFlowだけで書くよりシンプルになっています。いっしょに使う場合の詳細はKerasのブログ記事をチェックしてみてください。, Kerasのtrainable_weights関数で学習される重みのリストを取ってきてくれます。TensorFlowのassign()関数を使ってTarget Networkの重みにQ Networkの重みを代入する処理が書けます。これで定期的にself.sess.run(self.update_target_network)でTarget Networkを更新することができます。, ここで、エラークリップを行っています。誤差関数は[-1, 1]内とその区間外で異なる関数形になっていて、それらを一本の式にまとめて定義しています。 過去の遷移\( (s, a, r, s’) \)のセットを保存しておいて、そこからランダムサンプリングし、ミニバッチとしてネットワークの重みの更新に利用するというものです。これによって、学習データ間の相関をばらばらにし、またプレイヤーの振る舞い（行動の分布）を過去にわたって平均化することができるため、パラメータが振動・発散するのを防ぐことができます。, Target Network ここで前処理された画面をuint8に変換している理由は、前処理後のフレームのデータ型がfloat64で、これは後に出てくるReplay Memoryに保存する際にメモリを圧迫し、保存できる遷移数が少なくなってしまうからです。 GitHub 上記を確認することで、CartPoleにおけるObservationの仕様を把握することができます。 3. 続いて、受け取った画面をpreprocess()関数で前処理にかけます。, 現在の画面と前の画面の各ピクセルにおいて最大値を取り、そのあとグレースケール変換、リサイズを行います。ここでも先程と同じく、前処理された画面をuint8に変換しています。最後にnp.reshape()で扱いやすいようにshapeを整えています（CNNに入力できるshapeにしている）。 \( (s, a, r, s’, terminal) \)として、Replay Memoryに遷移を保存します。Replay Memoryは一定数を超えたら古い遷移から削除していきます。 具体的にそれぞれについて見ていきたいと思います。, アルゴリズムのほとんどはAgentクラスに関数として実装しました。いくつかの関数は流れに沿ってあとから説明するとして、Agentクラスのインスタンスが作られたときに、どのように初期化されているかを見ていきたいと思います。 これらのアルゴリズムは、研究コミュニティが新しいアイデアを再現し、洗練し、特定し、優れたベースラインを作成してトップレベルの研究を構築することを容易にします。, 新しいアイデアを追加するための基礎として、また新しいアイデアを既存のものと比較するためのツールとして使用されることが期待されます。, Minecraft-Overviewer - Google Mapsの動力インターフェイス で、Minecraftの世界の高解像度地図をレンダリングする, sublimetext-markdown-preview - 崇高なテキストのためのmarkdown previewとbuildプラグイン2/3, 衛星画像データの解析を行うために学んだ事 | 世界銀行で働く新卒データサイエンティストのブログ, xhtml2pdf – ReportLabを使用してHTMLをPDFに変換するためのライブラリ, 【Python/Django】たった３行でPDFが生成できるdjango-easy-pdfを紹介する│もりた屋のブログ, 【Python/Django】たった３行でPDFが生成できるdjango-easy-pdfを紹介する – もりた屋のブログ, 【1分でわかるWhiteNoise】 – プログラミング超初心者向けサイト@ギクサポ, isort – インポートをソートするためのPythonユーティリティ/ライブラリ, [Pythonコーディング規約]PEP8を読み解く - TECHBIRD ｜ TECHBIRD - Effective Tips & References for Programming. でもそれだとたくさんの教師データが必要になりそうなので、事前に何百万回もゲームをプレイして集めないといけないです。ちょっと面倒くさいですね。 最後にミニバッチでの勾配法による誤差最小化を行っています。

2020 All Rights Reserved. You can always update your selection by clicking Cookie Preferences at the bottom of the page. 実際にはQ学習では、Q関数をテーブル関数として表し、Bellman方程式を用いてすべての状態行動対\( (s, a) \)について、次の式で反復的にQ関数を更新しながら求めていきます。, \( \alpha \)は学習率を表します。この更新式は、状態\( s \)において行動\( a \)を取る\( Q(s, a) \)よりも、行動\( a \)を取ったあとの次の状態\( s’ \)での最大累積報酬\( r + \gamma \text{max} _{a’}Q(s’, a’) \)の方が大きければ、\( Q(s, a) \)を大きくし、小さければ\( Q(s, a) \)も小さくするということを示しています。つまり、\( Q(s, a) \)を\( r + \gamma \text{max} _{a’}Q(s’, a’) \)に近づけていくことになります。そして、学習を反復するにつれて、Q関数は真のQ値に近づいていきます。, 先程のQ学習では、Q値が最も高い行動を選択すればよいと言いましたが、実際には、常にQ値が最大のものだけを選んでいると、（最初はQ値が真の値ではないので、）最初にランダムに与えたQ値の影響が大きく、学習がうまくいきません。そこで、時折ランダムに行動を選択することで、それを解消します。

実装方法は2種類考えられます。一つは\( L \)を明示的に定義せず、\( \nabla L \)を定義してそこでクリップする方法です。もう一つは、いつも通り\( L \)を明示的に定義する方法です。 For more information, see our Privacy Statement.

Mnih et al., 2015では前者の方法で実装しているようですが、後者の方が分かりやすいかもしれません。後者の方法では\( L \)は区間によって異なる関数形になっていますが、一本の式にまとめてしまうとよいと思います（交差エントロピーも元々は場合分けで表現されていましたが、損失関数として使う場合には一本の式にまとめられています。それに少し近いイメージでしょうか）。, エピソード開始時の初期状態をランダムにするために、最大30フレームのランダムなフレーム数分「何もしない」行動を取り、画面を遷移させます。, ではコードを見ながら解説していきます。なおここで使われるコードは断片的で省略してる箇所もあるので、全ソースコードはこちらから確認してみてください。 前半では軽くDQNのおさらいをしますが、少しの強化学習の知識を持っていることを前提にしています。 CNNの各パラメータは以下のようになっています。, Atariはゲームによってスコアのレンジがまちまち（例えば+1や+20など）なので、報酬をある値に固定します。つまり、値の大きさにかかわらず、報酬が負だったら-1、正だったら1、0はそのままにします。これによって誤差微分の大きさを制限することができ、すべてのゲームで同じ学習率を使うことができるようになります（より汎用的になる）。, Atariでは1秒間に画面が60回更新されます。毎フレーム見るのは計算コストの面で効率的ではなく、実行時間を増やすことなくより多くのゲームをプレイさせるために、4フレームに一回見て行動選択をするようにします。スキップするフレームでは前回取った行動をリピートするようにします。, 行動選択には\( \epsilon \)-greedy法を使いますが、\( \epsilon \)は1.0を初期値として、そこから0.1まで100万フレーム間で線形に減少させ、それ以降は0.1に固定します。, Replay Memoryに一定の数だけ過去の遷移を保存して学習に使います。Mnih et al., 2015では100万遷移分を保存していますが、実験ではその量はメモリに載らないので、40万遷移分を保存します。なおその数を超えた分は古い遷移から消えていくようにします。, 開始時は学習に使われるReplay Memoryが貯まっていないので、最初あるフレーム分ランダムに行動しReplay Memoryを蓄積させます。その間学習も行いません。Mnih et al., 2015では最初に5万遷移分貯めていますが、実験では2万遷移分にしました。, 教師信号\( r + \gamma \text{max} _{a’} \hat{Q}(s’, a’; \theta ^{-}) \)のQ値を出力するためのTarget Networkを作り、1万フレームごとにTarget Networkの\( \theta ^{-} \)にQ Networkの\( \theta \)をコピーすることで更新します。, 毎フレームで学習するのは計算量が多くなるだけなので、行動を4回行うごとに学習を行うようにします。, 学習の安定性を向上させるために、エラーである\( \text{target} - Q(s, a; \theta) \)の値を-1から1の範囲でクリップします。-1よりも小さな値は-1、1よりも大きな値は1、-1と1の間の値はそのまま使用するという意味です。

シンプルな戦略として、バーを両端のどちらかに置いていれば、ゲームオーバーまでに一回はボールを跳ね返してブロックを消し報酬がもらえるということが既に分かっていたとします。この戦略を取り続けるべきか？それともより多くの報酬を期待して違う行動を取ってみるべきか？, 強化学習を考えやすい枠組みに落とし込むときには、一般的にマルコフ決定過程（MDP）として問題を設定します。, 左: 強化学習の問題（Lecture 1: Introduction to Reinforcement Learning at UCL)　右: マルコフ決定過程（Wikipedia）, ブロック崩し（環境）をしているとすると、自分はゲーム画面（バーの位置、ボールの位置・方向、残ってるブロックの数）（状態）を見て、バーを移動（行動）させますね。ときにはそれがスコアの増加（報酬）に繋がることもあります。 Agentクラスのinit()関数はこのようになっています。, ここで行われている主なことは、Replay Memoryの初期化、Q NetworkとTarget Networkの構築及び初期化、Target Network更新のための処理の構築、そして最適化のための処理の構築です。, Replay Memoryの初期化 We use optional third-party analytics cookies to understand how you use GitHub.com so we can build better products. 大枠のコードを再掲します。, これで一巡することができました。run()関数によって返ってきた次の状態は現在の状態となり、今までの操作を終了判定が出るまで繰り返します。そしてそれを定めたエピソード数分だけ繰り返します。

ベースライン OpenAIベースラインは、強化学習アルゴリズムの高品質実装のセットです。 これらのアルゴリズムは、研究コミュニティが新しいアイデアを再現し、洗練し、特定し、優れたベースラインを作成してトップレベルの研究を構築することを容易にします。 エピソード開始時には主に以下の処理を行います。, ここではまず、現在のゲーム画面と前画面の各ピクセルごとに最大値を取っています。そのあと、グレースケール変換、リサイズを行い、最後に定められたフレーム数分だけスタックさせて初期状態を作っています。

\( \epsilon \)-greedy法はある一定の確率\( \epsilon \)でランダムに行動選択をし、それ以外（\( 1-\epsilon \)の確率）でQ値が最も高い行動を選択します。, 先程はすべての状態と行動についてのQ値のテーブル関数を作ると言いました。しかし、今回のような状態がゲーム画面という高次元のものになると、すべての状態行動対のQ値を求めるには状態数が多すぎで、これではQ関数が収束するのに時間がかかりすぎます。 why is that? 2つのネットワークの構築には同じ関数を使います。build_network()関数は以下のようになっています。, ネットワークの構築はKerasとTensorFlowで書きました。TensorFlowだけで書くよりシンプルになっています。いっしょに使う場合の詳細はKerasのブログ記事をチェックしてみてください。, Kerasのtrainable_weights関数で学習される重みのリストを取ってきてくれます。TensorFlowのassign()関数を使ってTarget Networkの重みにQ Networkの重みを代入する処理が書けます。これで定期的にself.sess.run(self.update_target_network)でTarget Networkを更新することができます。, ここで、エラークリップを行っています。誤差関数は[-1, 1]内とその区間外で異なる関数形になっていて、それらを一本の式にまとめて定義しています。 過去の遷移\( (s, a, r, s’) \)のセットを保存しておいて、そこからランダムサンプリングし、ミニバッチとしてネットワークの重みの更新に利用するというものです。これによって、学習データ間の相関をばらばらにし、またプレイヤーの振る舞い（行動の分布）を過去にわたって平均化することができるため、パラメータが振動・発散するのを防ぐことができます。, Target Network ここで前処理された画面をuint8に変換している理由は、前処理後のフレームのデータ型がfloat64で、これは後に出てくるReplay Memoryに保存する際にメモリを圧迫し、保存できる遷移数が少なくなってしまうからです。 GitHub 上記を確認することで、CartPoleにおけるObservationの仕様を把握することができます。 3. 続いて、受け取った画面をpreprocess()関数で前処理にかけます。, 現在の画面と前の画面の各ピクセルにおいて最大値を取り、そのあとグレースケール変換、リサイズを行います。ここでも先程と同じく、前処理された画面をuint8に変換しています。最後にnp.reshape()で扱いやすいようにshapeを整えています（CNNに入力できるshapeにしている）。 \( (s, a, r, s’, terminal) \)として、Replay Memoryに遷移を保存します。Replay Memoryは一定数を超えたら古い遷移から削除していきます。 具体的にそれぞれについて見ていきたいと思います。, アルゴリズムのほとんどはAgentクラスに関数として実装しました。いくつかの関数は流れに沿ってあとから説明するとして、Agentクラスのインスタンスが作られたときに、どのように初期化されているかを見ていきたいと思います。 これらのアルゴリズムは、研究コミュニティが新しいアイデアを再現し、洗練し、特定し、優れたベースラインを作成してトップレベルの研究を構築することを容易にします。, 新しいアイデアを追加するための基礎として、また新しいアイデアを既存のものと比較するためのツールとして使用されることが期待されます。, Minecraft-Overviewer - Google Mapsの動力インターフェイス で、Minecraftの世界の高解像度地図をレンダリングする, sublimetext-markdown-preview - 崇高なテキストのためのmarkdown previewとbuildプラグイン2/3, 衛星画像データの解析を行うために学んだ事 | 世界銀行で働く新卒データサイエンティストのブログ, xhtml2pdf – ReportLabを使用してHTMLをPDFに変換するためのライブラリ, 【Python/Django】たった３行でPDFが生成できるdjango-easy-pdfを紹介する│もりた屋のブログ, 【Python/Django】たった３行でPDFが生成できるdjango-easy-pdfを紹介する – もりた屋のブログ, 【1分でわかるWhiteNoise】 – プログラミング超初心者向けサイト@ギクサポ, isort – インポートをソートするためのPythonユーティリティ/ライブラリ, [Pythonコーディング規約]PEP8を読み解く - TECHBIRD ｜ TECHBIRD - Effective Tips & References for Programming. でもそれだとたくさんの教師データが必要になりそうなので、事前に何百万回もゲームをプレイして集めないといけないです。ちょっと面倒くさいですね。 最後にミニバッチでの勾配法による誤差最小化を行っています。

2020 All Rights Reserved. You can always update your selection by clicking Cookie Preferences at the bottom of the page. 実際にはQ学習では、Q関数をテーブル関数として表し、Bellman方程式を用いてすべての状態行動対\( (s, a) \)について、次の式で反復的にQ関数を更新しながら求めていきます。, \( \alpha \)は学習率を表します。この更新式は、状態\( s \)において行動\( a \)を取る\( Q(s, a) \)よりも、行動\( a \)を取ったあとの次の状態\( s’ \)での最大累積報酬\( r + \gamma \text{max} _{a’}Q(s’, a’) \)の方が大きければ、\( Q(s, a) \)を大きくし、小さければ\( Q(s, a) \)も小さくするということを示しています。つまり、\( Q(s, a) \)を\( r + \gamma \text{max} _{a’}Q(s’, a’) \)に近づけていくことになります。そして、学習を反復するにつれて、Q関数は真のQ値に近づいていきます。, 先程のQ学習では、Q値が最も高い行動を選択すればよいと言いましたが、実際には、常にQ値が最大のものだけを選んでいると、（最初はQ値が真の値ではないので、）最初にランダムに与えたQ値の影響が大きく、学習がうまくいきません。そこで、時折ランダムに行動を選択することで、それを解消します。

実装方法は2種類考えられます。一つは\( L \)を明示的に定義せず、\( \nabla L \)を定義してそこでクリップする方法です。もう一つは、いつも通り\( L \)を明示的に定義する方法です。 For more information, see our Privacy Statement.

Mnih et al., 2015では前者の方法で実装しているようですが、後者の方が分かりやすいかもしれません。後者の方法では\( L \)は区間によって異なる関数形になっていますが、一本の式にまとめてしまうとよいと思います（交差エントロピーも元々は場合分けで表現されていましたが、損失関数として使う場合には一本の式にまとめられています。それに少し近いイメージでしょうか）。, エピソード開始時の初期状態をランダムにするために、最大30フレームのランダムなフレーム数分「何もしない」行動を取り、画面を遷移させます。, ではコードを見ながら解説していきます。なおここで使われるコードは断片的で省略してる箇所もあるので、全ソースコードはこちらから確認してみてください。 前半では軽くDQNのおさらいをしますが、少しの強化学習の知識を持っていることを前提にしています。 CNNの各パラメータは以下のようになっています。, Atariはゲームによってスコアのレンジがまちまち（例えば+1や+20など）なので、報酬をある値に固定します。つまり、値の大きさにかかわらず、報酬が負だったら-1、正だったら1、0はそのままにします。これによって誤差微分の大きさを制限することができ、すべてのゲームで同じ学習率を使うことができるようになります（より汎用的になる）。, Atariでは1秒間に画面が60回更新されます。毎フレーム見るのは計算コストの面で効率的ではなく、実行時間を増やすことなくより多くのゲームをプレイさせるために、4フレームに一回見て行動選択をするようにします。スキップするフレームでは前回取った行動をリピートするようにします。, 行動選択には\( \epsilon \)-greedy法を使いますが、\( \epsilon \)は1.0を初期値として、そこから0.1まで100万フレーム間で線形に減少させ、それ以降は0.1に固定します。, Replay Memoryに一定の数だけ過去の遷移を保存して学習に使います。Mnih et al., 2015では100万遷移分を保存していますが、実験ではその量はメモリに載らないので、40万遷移分を保存します。なおその数を超えた分は古い遷移から消えていくようにします。, 開始時は学習に使われるReplay Memoryが貯まっていないので、最初あるフレーム分ランダムに行動しReplay Memoryを蓄積させます。その間学習も行いません。Mnih et al., 2015では最初に5万遷移分貯めていますが、実験では2万遷移分にしました。, 教師信号\( r + \gamma \text{max} _{a’} \hat{Q}(s’, a’; \theta ^{-}) \)のQ値を出力するためのTarget Networkを作り、1万フレームごとにTarget Networkの\( \theta ^{-} \)にQ Networkの\( \theta \)をコピーすることで更新します。, 毎フレームで学習するのは計算量が多くなるだけなので、行動を4回行うごとに学習を行うようにします。, 学習の安定性を向上させるために、エラーである\( \text{target} - Q(s, a; \theta) \)の値を-1から1の範囲でクリップします。-1よりも小さな値は-1、1よりも大きな値は1、-1と1の間の値はそのまま使用するという意味です。

シンプルな戦略として、バーを両端のどちらかに置いていれば、ゲームオーバーまでに一回はボールを跳ね返してブロックを消し報酬がもらえるということが既に分かっていたとします。この戦略を取り続けるべきか？それともより多くの報酬を期待して違う行動を取ってみるべきか？, 強化学習を考えやすい枠組みに落とし込むときには、一般的にマルコフ決定過程（MDP）として問題を設定します。, 左: 強化学習の問題（Lecture 1: Introduction to Reinforcement Learning at UCL)　右: マルコフ決定過程（Wikipedia）, ブロック崩し（環境）をしているとすると、自分はゲーム画面（バーの位置、ボールの位置・方向、残ってるブロックの数）（状態）を見て、バーを移動（行動）させますね。ときにはそれがスコアの増加（報酬）に繋がることもあります。 Agentクラスのinit()関数はこのようになっています。, ここで行われている主なことは、Replay Memoryの初期化、Q NetworkとTarget Networkの構築及び初期化、Target Network更新のための処理の構築、そして最適化のための処理の構築です。, Replay Memoryの初期化 We use optional third-party analytics cookies to understand how you use GitHub.com so we can build better products. 大枠のコードを再掲します。, これで一巡することができました。run()関数によって返ってきた次の状態は現在の状態となり、今までの操作を終了判定が出るまで繰り返します。そしてそれを定めたエピソード数分だけ繰り返します。