Форум программистов, компьютерный форум, киберфорум
Unity, Unity3D
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 23.06.2022
Сообщений: 5

Проблема в обучении агента MLAgents

27.07.2023, 13:37. Показов 445. Ответов 0

Студворк — интернет-сервис помощи студентам
У меня есть сцена с трассой и машиной, и я хочу чтобы машина научилась сама проходить трассу. Всё работает правильно, только машина странно обучается. Такое чувство, что она не использует ray perception sensor 3d. Также есть чекпоинты, если машина проходит их в правильном направлении, то она получает награду +0.01 , а если в неправильном то -0.01. Прикрепил скриншоты настроек агента. Скрипт агента:
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using Unity.MLAgents;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Sensors;
using System.Runtime.CompilerServices;
using UnityEngine.UI;
using TMPro;
using System;
using Random = UnityEngine.Random;
 
public class Car : Agent
{
    [SerializeField] private TrackCheckpoints trackCheckpoints;
    [SerializeField] private Transform spwanPosition;
 
    private MSVehicleControllerFree carDriver;
    private MSSceneControllerFree sceneController;
    public GameObject scene;
 
    public Text distance_text;
 
    double distanceTravelled = 0;
    Vector3 lastPosition;
    
    //в корутине даём награду за расстоянии которое проехала машина
    IEnumerator distance_reward()
    {
        while (true)
        {
            yield return new WaitForSeconds(1.0f);
            AddReward((float)(0.001 * distanceTravelled));
            distanceTravelled = 0;
        }
    }
 
    public void Awake()
    {
        carDriver = GetComponent<MSVehicleControllerFree>();
        lastPosition = transform.position;
        sceneController = scene.GetComponent<MSSceneControllerFree>();
        StartCoroutine(distance_reward());
    }
 
 
 
    private void FixedUpdate()
    {
        //штрафуем машину за низкую скорость
        if (sceneController.car_speed < 10) {
            AddReward(-0.00001f);
        }
 
        //изменяем дистацию которая проехала машина
        if (sceneController.car_speed >= 0) {
            distanceTravelled += Vector3.Distance(transform.position, lastPosition);
        }
        else if (sceneController.car_speed < 0) {
            distanceTravelled -= Vector3.Distance(transform.position, lastPosition);
        }
        lastPosition = transform.position;
        distanceTravelled = Math.Round(distanceTravelled, 2);
        distance_text.text = "Distance: " + distanceTravelled;
 
        //награждаем машину за скорость
        AddReward((float)(0.000002 * sceneController.car_speed));
    }
 
    public override void OnEpisodeBegin()
    {
        //спавн машины
        transform.position = spwanPosition.position + new Vector3 (Random.Range(-1f,+1f), 0, Random.Range(-1f, +1f));
        transform.forward = spwanPosition.forward;
        trackCheckpoints.ResetCheckpoints(transform);
        carDriver.GetComponent<Rigidbody>().velocity = Vector3.zero;
        
        //сбрасываем дистанцию которая прошла машина
        lastPosition = transform.position;
        distanceTravelled = 0;
        StartCoroutine(distance_reward());
    }
    public override void CollectObservations(VectorSensor sensor)
    {
        Vector3 checkpointForward = trackCheckpoints.GetNextCheckpoint(transform).transform.forward;
        float directionDot = Vector3.Dot(transform.forward, checkpointForward);
        
        //передаем на вход ИИ направление следующего чекпоинта, скорости машины, дистанции которую прошла в течении 1 секунды
        //sensor.AddObservation(directionDot);
        sensor.AddObservation(sceneController.car_speed);
        sensor.AddObservation((float)distanceTravelled);
    }
    public override void OnActionReceived(ActionBuffers actions)
    {
        float forwardAmount = 0f;
        float turnAmount = 0f;
 
        switch (actions.DiscreteActions[0])
        {
            case 0: forwardAmount = 0f; break;
            case 1: forwardAmount = +1f; break;
            case 2: forwardAmount = -1f; break;
        }
        switch (actions.DiscreteActions[1])
        {
            case 0: turnAmount = 0f; break;
            case 1: turnAmount = -1f; break;
            case 2: turnAmount = +1f; break;
        }
        sceneController.Update_Controls(forwardAmount, turnAmount);
        carDriver.GetComponent<MSVehicleControllerFree>().Update_Controls(forwardAmount, turnAmount);
        
        //штрафуем машину каждый шаг
        AddReward(-0.000007f);
    }
    public override void Heuristic(in ActionBuffers actionsOut)
    {
        int forwardAction = 0;
        if(Input.GetKey(KeyCode.Keypad8)) forwardAction = 1;
        if (Input.GetKey(KeyCode.Keypad5)) forwardAction = 2;
 
        int turnAction = 0;
        if (Input.GetKey(KeyCode.Keypad4)) turnAction = 1;
        if (Input.GetKey(KeyCode.Keypad6)) turnAction = 2;
 
        ActionSegment<int> discreteActions = actionsOut.DiscreteActions;
        discreteActions[0] = forwardAction;
        discreteActions[1] = turnAction;
    }
    
    //даём отрицательную награду если машина врезалась в стену
    private void OnTriggerEnter(Collider other)
    {
        if (other.gameObject.TryGetComponent<Wall>(out Wall wall))
        {
            AddReward(-0.01f);
            EndEpisode();
        }
    }
}
Миниатюры
Проблема в обучении агента MLAgents   Проблема в обучении агента MLAgents  
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
27.07.2023, 13:37
Ответы с готовыми решениями:

Unity MLAgents - Не могу создать компонент MLAgents
Пытаюсь освоить Unity MLAgents по этому туториалу. https://www.youtube.com/watch?v=axF_nHHchFQ Однако на моменте 1:24:22 когда я...

Проблема запуска Агента из агента!
Доброго времени суток! Ситуация такова запускю агента из другого агента, при запуске в строке запуска агента от компилятора получаю Notes...

Проблема в обучении нейронной сети!
Здравствуйте! Написал простую нейронную сеть (прямого распространения). При обучении (обратное распространение ошибки)...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
27.07.2023, 13:37
Помогаю со студенческими работами здесь

Проблема с доступом фонового агента
Здравствуйте, знатоки! Юзер не имеет доступа к базе Н. Ему необходимо программно получить наличие определенных данных в этой базе....

Проблема с запуском агента на Lotusscript
Доброе время суток! Столкнулся с такой проблемой.. создал на форме кнопку и прописал код запуска агента Sub Click(Source As...

Создание и использование параметров агента. Генерация агента блоком source
Здравствуйте! У меня AnyLogic 7.2.0. Прошу помочь, кто знает: Как создавать агента с помощью блока Source, и при этом на каждом агенте...

вызов Ls-агента с показом диалогового окна из Java-агента
есть Java-агент, надо в нем показать диалоговое окно (картинку в нем показать и поле для ввода), попытался решить так: из Java-агента...

Вызов координат агента в Main внутри агента
Приветствую. Сегодня столкнулся с очень странной проблемой (уровень работы в энилоджике - абсолютный новичок). У меня есть коллекция...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru