У меня есть задание сделать AI Agent, который научится играть в видеоигру с использованием ML. Я хочу создать новую среду в OpenAI, потому что я не хочу работать с существующей средой. Как создать новую среду. Кроме того, есть ли другой способ, с помощью которого я могу начать разработку AI-агента, чтобы играть в определенную видеоигру без помощи OpenAI? Я новичок в этом, поэтому любое направление помощи/начала будет оценено по достоинству.
Можно ли создать новую среду в OpenAI?
Ответ 1
Смотрите мой banana-gym
для очень маленькой окружающей среды.
Создание новых сред
См. Главную страницу репозитория:
https://github.com/openai/gym/tree/master/gym/envs#how-to-create-new-environments-for-gym
Шаги:
- Создайте новый репозиторий со структурой PIP-пакета
Это должно выглядеть так
gym-foo/
README.md
setup.py
gym_foo/
__init__.py
envs/
__init__.py
foo_env.py
foo_extrahard_env.py
Для его содержимого перейдите по ссылке выше. Подробности, которые не упомянуты, особенно foo_env.py
некоторые функции в foo_env.py
. Глядя на примеры и в gym.openai.com/docs/ помогает. Вот пример:
class FooEnv(gym.Env):
metadata = {'render.modes': ['human']}
def __init__(self):
pass
def _step(self, action):
"""
Parameters
----------
action :
Returns
-------
ob, reward, episode_over, info : tuple
ob (object) :
an environment-specific object representing your observation of
the environment.
reward (float) :
amount of reward achieved by the previous action. The scale
varies between environments, but the goal is always to increase
your total reward.
episode_over (bool) :
whether it time to reset the environment again. Most (but not
all) tasks are divided up into well-defined episodes, and done
being True indicates the episode has terminated. (For example,
perhaps the pole tipped too far, or you lost your last life.)
info (dict) :
diagnostic information useful for debugging. It can sometimes
be useful for learning (for example, it might contain the raw
probabilities behind the environment last state change).
However, official evaluations of your agent are not allowed to
use this for learning.
"""
self._take_action(action)
self.status = self.env.step()
reward = self._get_reward()
ob = self.env.getState()
episode_over = self.status != hfo_py.IN_GAME
return ob, reward, episode_over, {}
def _reset(self):
pass
def _render(self, mode='human', close=False):
pass
def _take_action(self, action):
pass
def _get_reward(self):
""" Reward is given for XY. """
if self.status == FOOBAR:
return 1
elif self.status == ABC:
return self.somestate ** 2
else:
return 0
Используйте свою среду
import gym
import gym_foo
env = gym.make('MyEnv-v0')
Примеры
- https://github.com/openai/gym-soccer
- https://github.com/openai/gym-wikinav
- https://github.com/alibaba/gym-starcraft
- https://github.com/endgameinc/gym-malware
- https://github.com/hackthemarket/gym-trading
- https://github.com/tambetm/gym-minecraft
- https://github.com/ppaquette/gym-doom
- https://github.com/ppaquette/gym-super-mario
- https://github.com/tuzzer/gym-maze
Ответ 2
Это определенно возможно. Они говорят об этом на странице "Документация", ближе к концу.
Что касается того, как это сделать, вы должны посмотреть на исходный код существующих сред для вдохновения. Его доступный в github:
https://github.com/openai/gym#installation
Большинство из их окружения они не реализовали с нуля, а создали оболочку вокруг существующих сред и предоставили ей весь интерфейс, удобный для обучения обучению.
Если вы хотите сделать свой собственный, вы, вероятно, должны пойти в этом направлении и попытаться адаптировать то, что уже существует в интерфейсе тренажерного зала. Хотя есть хороший шанс, что это занимает много времени.
Существует еще один вариант, который может быть интересен для вашей цели. Это OpenAI Universe
Он может интегрироваться с веб-сайтами, чтобы вы, например, обучали свои модели в играх kongregate. Но Вселенная не так проста в использовании, как тренажерный зал.
Если вы новичок, моя рекомендация заключается в том, что вы начинаете с реализации ванили в стандартной среде. После того, как вы пройдете проблемы с основами, продолжайте увеличивать...