Простое задание MountainCar

# Мы условно разделили диапазон значений состояния на несколько областей
# все непрерывные значения из этой области превращаются в дискретное значение
def calc_discrete_state(state):
discrete_state = (state - env.observation_space.low)/buckets
return tuple(discrete_state.astype(np.int))
 
# Запустим игру. Передадим в нее q_table. Также в функции указывается
# флаг, указывающий, что результат нужно отрисовать.
# Другая переменная-флаг
# определяет, нужно ли обновлять q_table.
def run_game(q_table, render, should_update):
done = False
discrete_state = calc_discrete_state(env.reset())
success = False
 
while not done:
# Exploit or explore (эксплуатировать или исследовать)
if np.random.random() > epsilon:
# Эксплуатировать, т.е. использовать q-table чтобы выбрать лучшее действие
action = np.argmax(q_table[discrete_state])
else:
# Исследовать
action = np.random.randint(0, env.action_space.n)
 
# Запустить симуляцию на один шаг
new_state, reward, done, _ = env.step(action)
 
# Преобразовать непрерывное значение состояния в одно из дискретных
new_state_disc = calc_discrete_state(new_state)
 
# Достигли ли мы целевой позиции (выиграли ли мы?)?
if new_state[0] >= env.unwrapped.goal_position:
success = True
 
# Обновление q-table
if should_update:
max_future_q = np.max(q_table[new_state_disc])
current_q = q_table[discrete_state + (action,)]
new_q = (1 - LEARNING_RATE) * current_q + LEARNING_RATE * \
(reward + DISCOUNT * max_future_q)
q_table[discrete_state + (action,)] = new_q
 
discrete_state = new_state_disc
 
if render:
env.render()
 
return success

EARNING_RATE = 0.1 # скорость обучения (шаг оптимизации)
DISCOUNT = 0.95 # коэффициент дисконтирования
EPISODES = 5000 # циклов обучения
SHOW_EVERY = 1000 # частота, с которой выводятся результаты обучения
 
DISCRETE_GRID_SIZE = [10, 10] # размер дискретного пространства вместо непрерывного
START_EPSILON_DECAYING = 0.5 # эпсилон определяет долю случайных значений, чтобы шло обучение
END_EPSILON_DECAYING = EPISODES//10 # через сколько циклов обучения эпсилон станет нулевым
 
env = wrap_env(gym.make("MountainCar-v0"))
 
epsilon = 1
epsilon_change = epsilon/(END_EPSILON_DECAYING - START_EPSILON_DECAYING)
buckets = (env.observation_space.high - env.observation_space.low) \
/DISCRETE_GRID_SIZE
q_table = np.random.uniform(low=-3, high=0, size=(DISCRETE_GRID_SIZE \
+ [env.action_space.n]))
success = False
 
Запуск обучения:
 
episode = 0
success_count = 0
 
while episode<EPISODES:
episode+=1
done = False
 
# Запускаем игру
if episode % SHOW_EVERY == 0:
print(f"Текущий эпизод: {episode}, Успешных попыток: {success_count}" +\
" ({float(success_count)/SHOW_EVERY})")
success = run_game(q_table, True, False)
success_count = 0
else:
success = run_game(q_table, False, True)
 
# Считаем количество успешных прохождений
if success:
success_count += 1
 
# Изменяем значение эпсилон
if END_EPSILON_DECAYING >= episode >= START_EPSILON_DECAYING:
epsilon = max(0, epsilon - epsilon_change)
 
print(success)