強化学習を始めよう！！その１～環境構築編～

強化学習を使ったゲームのデバッグをやってみたいので強化学習を勉強し始めました。
自分の覚書もかねてやり方などを書いていきたいと思います。
最終的にはUEで強化学習するところまで行く予定です。
１回目は環境構築をやっていきます！
使う言語はPythonなのでAnacondaを使ってPythonの環境構築をしていきたいと思います。
ちなみに環境とはpythonのバージョン、ライブラリの種類・バージョンなどの状態の総称です。

Anacondaとは？

Pythonを使って開発を進めていく場合、多くのライブラリをインストールします。
また開発に応じて環境を作り、必要なライブラリだけをインストールした状態の環境を作ります。
こういった作業はめんどくさく、初めての人にとっては難しい作業です。
Anacondaはそうした環境構築の手助けをしてくれるサービスです。
機械学習やデータサイエンスなどの分野では定番でよく使われているようです。

環境構築の流れ

以下の３つを行うと開発できる状態に持っていくことができます。
1. Anacondaのインストール
2. 仮想環境の構築
3. 必要なライブラリのインストール
ちなみに仮想環境とは1つのパソコンの中に複数の環境を用意して、
ある環境を使うときにはまるでその1つの環境しかないように思わせることです。

最初はめんどくさく感じますが、慣れれば簡単です！
それでは順に説明していきたいと思います。

Anacondaのインストール

インストールは以下のサイトからできます
www.anaconda.com ダウンロードしたファイルを実行してデフォルトの設定のままインストールします。

注意点としては、ユーザー名に日本語が入っている場合はエラーが出る可能性があります。
デフォルトではユーザーフォルダにインストールされるので、日本語が入っている人はインストール場所を変更しましょう。
その場合はCドライブ直下とかにインストールするといいと思います。

ユーザー名が英数字の場合はデフォルトままでOKです！

インストールが完了し「finish」ボタンを押すと、Webのチュートリアルページが開きます。
興味のない人はそっと閉じましょう。

仮想環境の構築

次に仮想環境を作っていきましょう。
まずは「Anaconda Prompt」というファイルを開きましょう。
Anacondaのインストールしたときに一緒にインストールされています。
コマンドプロンプトと同様な黒いコンソールウィンドウが出てくると思います。
この画面上でAnaconda環境を整えていきます。
（通常のコマンドプロンプトでもPathを通していたらできますが、公式が非推奨にしています）

それではさっそく新しい仮想環境を作ってみたいと思います。

conda create -n 【環境名】 python=【Pythonバージョン】

【環境名】には作成したい仮想環境の名前を入れます。
私は強化学習用の環境なので「rl_env」にしました。
【Pythonバージョン】にはバージョンの数値を入れます。
私は「3.7」で作成しました。
エンターを押すと仮想環境の作成が開始します。
少しすると確認が出てくるので「ｙ」キーを押してエンターで続行します。

エラーがでなければ仮想環境の作成成功です！

仮想環境を切り替える

先ほど作成した仮想環境にライブラリをインストールしたいため、環境を切り替える必要があります。
現状は最初からある環境(Root環境)になっているので、作成した仮想環境に切り替えます。
以下のコマンドで切り替えることができます。

conda activate 【環境名】

すると以下のように先頭のカッコ内が切り替えた環境名に代わります。 これで環境の切り替えが完了しました。

ちなみに環境を削除したい場合は以下のコマンドで削除できます。

conda remove --name 【環境名】 --all

必要なライブラリのインストール

それではライブラリインストールしていきたいと思います。
今回は環境構築編なので、強化学習で必要なライブラリのインストールは次回以降に回します。
今回はJupyterNotebookというライブラリだけインストールしたいと思います。
JupyterNotebookはWebブラウザでPythonを実装・実行できるライブラリです。

以下のコマンドでライブラリをインストールすることができます。

pip install 【ライブラリ名】

今回の場合は以下のようなコマンドを入れます。

pip install jupyter

エラーが出なければインストール成功です！

ライブラリの確認

現在インストールされているライブラリを確認しておきましょう。
以下のコマンドで現在インストールしているライブラリを確認できます。

conda list

先ほど入れたJupyterNotebook以外にも初期からいくつかのライブラリが入っています。
赤で囲っているJupyter関連のライブラリが確認できればOKです！

JupyterNotebookを開いてみる

それではインストールしたJupyterNotebookを起動してみましょう。
以下のコマンドを実行してみてください

jupyter notebook

すると以下のようなWebブラウザが開かれると思います。
このページでPythonプログラムを作成していきます。
詳しい使い方などは次回以降に説明していきたいと思います。

JupyterNotebookを起動している間はほかのAnaconda上でほかの操作をすることができません。
ブラウザを閉じただけでは終了できず、AnacondaPromptで「Ctr」＋「C」を押す必要があります。

まとめ

今回は環境構築編ということでAnacondaを使った開発環境の構築方法を書いてみました。
次回以降は実際に強化学習をやっていきたいと思います。
自分も勉強中なので投稿は遅くなるとは思いますが、一緒に勉強していきましょう！
ツイッターに途中経過などを投稿するので是非見てくださいね！