AI от NVIDIA для обучения виртуальных солдат – https://research.nvidia.com/labs/par/calm/
Компания NVIDIA разработала систему искусственного интеллекта, которая обучает виртуальных солдат. Эта работа является продолжением предыдущей работы под названием ASE, в которой маленькие солдаты ИИ обучались в течение 10 лет в своем игровом мире (эквивалентно 10 дням в реальном времени). Новая работа предполагает обучение этих виртуальных солдат в течение 5 млрд. шагов обучения на одной видеокарте. Цель – улучшить результаты предыдущей работы и проверить, сможет ли новый ИИ обучаться на немаркированных данных захвата движения.
Процесс обучения.
В разделе описаны три этапа обучения виртуальных солдат и создания управляемых видеоигр.
Шаг 1: базовое обучение
Нейронная сеть обучается создавать движения, похожие на движения движущихся точек, представляющих реальные движения человека, полученные с помощью данных захвата движений.
Шаг 2: точное обучение
Виртуальный солдат должен выполнять движения, одновременно слушая команды управления, особенно при использовании рукоятки контроллера для управления им в различных направлениях.
Шаг 3: интуитивно понятные команды
Виртуальный солдат получает не только указания, но и интуитивные команды, такие как удар или бег. Эти шаги направлены на то, чтобы сделать виртуального солдата управляемым в видеоиграх.
Далее интерполяция и плавные переходы
Тут рассмотрим как обученный виртуальный солдат может интерполировать между типами движений и выполнять плавные переходы.
Виртуальный солдат может плавно переходить от одного типа движения к другому, например, спринтерскому бегу или приседанию. Сначала он начинает бежать, а затем постепенно плавно переходит от спринта к приседанию. ИИ также может выполнять такие переходы по требованию, реагируя на нажатие кнопок на контроллере.
Ограничения и экспериментальный характер
В этом разделе рассматриваются некоторые ограничения и экспериментальные аспекты процесса обучения ИИ. Обучение ИИ все еще носит экспериментальный характер, о чем свидетельствуют моменты, когда виртуальный солдат ведет себя неожиданно. Хотя в области управляемости достигнут значительный прогресс, еще есть вопросы, которые необходимо проработать, прежде чем внедрять его в новые игры.
Сравнение с документом ASE
В этом разделе проводится сравнение новой работы с предыдущим докладом ASE, и отмечаются два существенных улучшения. Управляемость симулятора значительно улучшилась по сравнению с предыдущей работой. Несмотря на это улучшение, разнообразие наборов движений не пострадало. Это значительное достижение, поскольку нейронные сети часто страдают от коллапса режимов, когда они постоянно генерируют одинаковые результаты.
Доступность исходного кода
В этом разделе упоминается, что исходный код данного проекта находится в свободном доступе, что позволяет другим пользователям экспериментировать с ним. Ученые, создавшие этот проект, сделали исходный код свободно доступным для всех желающих. Это дает возможность для дальнейших экспериментов и исследований с данной системой искусственного интеллекта.