Как использовать «эксперта» на основе правил для имитационного обучения?

В настоящее время я тренирую модель PPO для моделирования. Модель PPO не понимает, что определенные условия не приведут к вознаграждению.

Эти условия, которые не приводят к вознаграждению, являются очень простыми правилами. Я пытался использовать эти правила для создания «эксперта», которого модель PPO могла бы использовать для имитационного обучения.

Пример экспертных правил:

Если ресурс A недоступен, не выбирайте этот ресурс.

Если «X» и «Y» не совпадают, не выбирайте их.

Пример с библиотекой имитаций

Я смотрел на библиотеку python «имитации». В примере показан эксперт, представляющий собой модель PPO с большим количеством итераций.

https://github.com/HumanCompatibleAI/imitation/blob/master/examples/1_train_bc.ipynb

enter image description here

Вопросы:

Есть ли способ преобразовать простого эксперта, основанного на правилах, в модель PPO, которую можно использовать для имитационного обучения?

Или есть другой подход к использованию «основанного на правилах» эксперта в имитационном обучении?

Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
1
0
15
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Глядя на то, как реализовано поведенческое клонирование:

from imitation.algorithms import bc

bc_trainer = bc.BC(
    observation_space=env.observation_space,
    action_space=env.action_space,
    demonstrations=transitions,
)

Все, что вам нужно сделать, это создать демонстрации. Вам даже не нужно писать «агент» как таковой. Просто создавайте последовательности взаимодействия с вашей средой, используя своего бота на основе правил, вот и все.

Другие вопросы по теме