次の ML-Agents プロジェクトの作成について

これまでの ML-Agents の学習内容を振り返り、今後のプロジェクトにどのように活かすかについての指針を得ます。

本プロジェクトでは、コースの最後を締めくくります。この後は、皆さんが想像力を働かせて、新しい ML-Agents のプロジェクトを考える番です！

コースのまとめ

インストラクターの紹介と ML-Agents 概要

2019.3

従来のゲーム AI と「ML-Agents：ハチドリ」コースプレビューとの違い

観察

チャレンジ 1：観察

チャレンジ 2：報酬

初期設定、アセットのインポート、Default Contact Offset

アセットの概要とライティング

ML-Agents のインストールとスクリプトの作成

概要説明

変数とアクセス用メソッド

Feed()

ResetFlower()

Awake()

ResetFlower()、GetFlowerFromNectar()、Awake() と Start() 関数

FindChildFlowers()

Initialize() と OnEpisodeBegin() メソッド

MoveToSafeRandomPosition()

UpdateNearestFlower()

OnActionReceived()

CollectObservations()

Heuristic()

Freeze() と Unfreeze() メソッド

OnTriggerEnterOrStay()

OnCollisionEnter()

Update() と FixedUpdate() メソッド

タグ（浮島・花の苗・花のつぼみ）の設定

ハチドリ（エージェント）

Ray Perception

経験則によるテスト（チャレンジ）

概要

Anaconda のダウンロードとインストール

Anaconda の環境設定

YAML によるトレーニングの設定 

トレーニングの準備

トレーニング

トレーニングの進行状況と環境のタイムスケール

Tensorboard

.nn ファイルのインポートと推論をする方法

再トレーニング

トレーニングのまとめとチャレンジ

新しいシーンと UI のインポート

UIController と GameManager

GameManager の詳細

シーンの仕上げとプレイ

ライブセッション - Unity で始める機械学習

2019.4

コース全体を案内するインストラクター、Adam Kelly 氏の紹介を受けます。

従来型ゲーム AI のワークフローと機械学習による手法を比較し、ML がゲーム挙動設計をどう変えるか学びます。

エージェントが周囲をどのように観察し、その情報から世界を学習するかを理解します。

エージェントが周囲の世界を学習するために行うべき有効な観察について考察します。

エージェントの望ましい行動を促す報酬設計の考え方と戦略を検討します。

このプロジェクトでは、まず、ML-Agents の概要を説明します。その後、ハチドリのプロジェクトについて、トレーニングを成功させるためにはどのような観察と報酬が必要かを説明します。

コース概要

新しい Unity プロジェクトを設定し、アセットをインポートして開発環境を整えます。

このコースで使用するシーンに含まれる主な要素や構成について理解を深めます。

Unity で ML-Agents パッケージをインストールし、必要なスクリプトを設定する方法を学びます。

今回のプロジェクトでは、Unity のセットアップ、コース用のアセットのインポート、ML-Agents のインストールを行います。その後、次のプロジェクトで使用する新しい C# スクリプトを作成します。

プロジェクトの設定

Unity プロジェクト内で flower スクリプトを起動して実行する方法を学びます。

C# の public 変数を追加して flower クラスの内容を作成し始める方法を学びます。

flower クラスに最初の関数を定義する手順を学びます。

ゲームやシーンの状態を初期設定に戻すためのリセット機能の作成を始めます。

最後の関数を実装して flower クラスの分類処理をまとめる方法を学びます。

本プロジェクトでは、個々の花の機能のスクリプトを作成します。ハチドリはこの花と直接やりとりをするので、適切な反応をする必要があります。

Flower.cs

FlowerArea の C# スクリプトを作成し、進捗を確認しながら挙動を整える方法を学びます。

FlowerArea クラスで使用する変数を定義し、設定する方法を学びます。

FlowerArea クラスに 3 種類の関数を実装する方法を学びます。

スクリプト内で FinChildFlowers 関数を実装する手順を学習します。

このプロジェクトでは、ハチドリの環境にあるすべての花を見つけて管理する Flower Area のスクリプトを作成します。このスクリプトは、新しいトレーニングやゲームを開始したときに、花をリセットする役割も担っています。

FlowerArea.cs

HummingBirdAgent スクリプトの実装を開始し、エージェントの振る舞いを制御できるようにします。

本チュートリアルでは、Unity の C# クラスの先頭に public 変数などの変数を追加する手順を練習します。

振る舞いロジックをカスタマイズする最初の 2 つの C# オーバーライド関数を作成する方法を学びます。

このチュートリアルでは、MoveToSafeRandomPosition 関数を実装する手順を学びます。

シーン内の最も近い花を見つける UpdateNearestFlower 関数を C# で実装する方法を学びます。

Unity のスクリプトで OnActionReceived メソッドを作成して使用する方法を学びます。

エージェントが学習用データを取得できるように、CollectObservations メソッドをオーバーライドする public 関数を作成します。

システムやエージェントの意思決定を制御するための Heuristic 関数の作成方法を学びます。

本チュートリアルでは、シミュレーション中のエージェントの停止と解除の方法を学びます.

エージェントが環境内のオブジェクトに衝突したときに動作する処理コードの書き方を学びます。

別の衝突ケースへの対処方法を学び、ゲームプレイをより安定させます。

HummingbirdAgent スクリプトに機能を追加して、新たな衝突ケースを処理する方法を学びます。

本プロジェクトでは、Hummingbird Agent のスクリプトを作成します。このコードには、ハチドリが正常にトレーニングを行い、世界を観察し、アクションを実行し、他のオブジェクトとインタラクトするための重要な機能のほとんどが含まれています。

HummingbirdAgent.cs

シーン内で使用するプレハブを適切に設定し、プロジェクトで使える状態にする方法を学びます。

Unity で Hummingbird Agent をセットアップし、トレーニングの準備を行う方法を学びます。

レイを使ってゲーム空間から観測データを取得するレイ知覚の基礎を学びます。

ハチドリと花のセットアップを操作してテストする方法を学び、今後の実験に備えます。

このプロジェクトでは、これまでに作成した C# スクリプトをシーン内のオブジェクトに接続していきます。その後、ハチドリを操作してシーン内を飛び回り、キーボード操作で花の蜜を飲もうとします。

シーンの設定

Unity の ML-Agents でトレーニングを行う仕組みと流れの概要を学びます。

開発環境を整えるために、Anaconda をダウンロードしてインストールする手順を学びます。

ML-Agents のインストールと管理用に Anaconda 環境を設定する方法を学びます。

トレーニング設定を定義する Trainer Config YAML ファイルの構成と役割について学びます。

トレーニング用のシーンを設定し、Python の仮想環境から ML-Agents コマンドを実行する方法を学びます。

トレーニングセッションを開始するために training コマンドを実行する手順を学びます。

シーン内でトレーニングの進行状況を確認し、理解する方法を学びます。

Tensorboard の概要と、トレーニングデータや指標の可視化にどのように役立つかを学びます。

完全に訓練されたエージェントを使って Unity で推論を行う方法を学びます。

Unity の ML-Agents で継続的なトレーニングを行うための基本的な考え方を学びます。

本チュートリアルでは、さまざまなパラメーター変更による結果を予測し、仮説を立てる練習を行います。

本プロジェクトでは、Python 管理用の Anaconda を設定し、エージェントをトレーニングします。ここでは、トレーニングの設定方法と、トレーニングの監視方法について説明します。正常に訓練されたニューラルネットワークができたら、それを推論のためにプロジェクトにインポートします。

ミニゲーム用の新しいシーンを作成し、ゲームプレイを支える基本的な UI 要素を配置する方法を学びます。

ミニゲーム内で UI が他のシステムとどのように連動するかを学びます。

GameManager スクリプトがどのようにゲーム全体を管理し制御しているかを理解します。

ミニゲームをプレイ可能にするために、シーンを仕上げる方法を学びます。

本プロジェクトでは、簡単な UI と Game Manager を追加して、小さなミニゲームを作れるようにします。最終的には、ML-Agent のハチドリと対戦できるようになります。

ミニゲーム

HummingbirdScene_1.0.zip

HummingbirdUI_1.0.zip

HummingbirdCompleteProject-1.0-release.zip

MachineLearning_LiveSession_Assets.zip

HummingbirdSourceCode.zip

強化学習は最もエキサイティングな人工知能の一つであり、Unity ML-Agents プロジェクトは最も簡単で楽しい始め方の一つです。このコースのインストラクターは、経験豊富な Unity 開発者であり、2018 年の初期ベータ時代から Immersive Limit の ML-Agents のチュートリアルやコースを作成している Adam Kelly 氏です。

このコースでは、花の近くまで移動し、くちばしを浸して蜜を飲むことができる、高度な知能を持った空飛ぶハチドリを作る方法を学びます。このハチドリは、6 つの自由度を持っており、目標を見つけるためにあらゆる方向に飛んだり回ったりすることができます。鳥たちはより複雑な操作を必要とし、その飛行経路は従来のナビゲーションシステムでは解決できません。トレーニング環境を構築し、この難しいタスクを実行するためにニューラルネットワークを訓練する方法を学び、簡単なミニゲームで鳥たちと対戦します。

強化学習が複雑なテーマであることに疑問の余地はありませんが、ML-Agents では難しい部分は研究者に任せ、あなたは問題解決に集中することができます。コース終了時には、高度な知能を持つエージェントを作成し、それを自分の Unity ゲームやシミュレーションプロジェクトに統合する方法を十分に理解していることでしょう。
 