OpenAI, исследовательская организация искусственного интеллекта, основанная Илоном Маском, обучила ИИ играть в Minecraft почти так же, как люди. Для этого потребовалось всего около 70 000 часов просмотра видео на YouTube.
Сообщение в блоге с подробным описанием эксплойта показывает, что исследователи использовали технику под названием «Предварительное обучение видео (VPT)» для обучения нейронной сети тому, как играть в Minecraft. Для этого они собрали 2000 часов образцов данных от реальных людей, играющих в Minecraft. Эти данные включают не только необработанное видео, но и точные нажатия клавиш и движения мыши.
Оттуда исследователи обучили модель обратной динамики (IDM) для прогнозирования будущих действий на каждом этапе видео. Наконец, они показали, что IDM «обучил» 70 000 часов видео Minecraft на YouTube. Затем модель смогла скопировать поведение из видео, включая рубку деревьев для сбора бревен и превращение бревен в настоящий стол для крафта.
Кроме того, модель выполняет другие сложные навыки, которые люди часто используют в игре, такие как плавание, охота на животных в поисках еды и поедание этой пищи. Он также изучил технику «прыжок со столба», обычное поведение в Minecraft, которое включает в себя многократные прыжки и размещение блока под собой.
Исследователи смогли создать «базовую модель» на основе данных, переданных в ИИ, и оттуда уточнить поведение или изучить новые. ИИ мог выполнять ранние игровые навыки, такие как изготовление деревянных и каменных инструментов, разграбление сундуков и даже строительство укрытий.
Чем больше часов данных поступает в базовую модель, тем лучше работает ИИ. Исследователи даже использовали «обучение с подкреплением», чтобы «наградить» ИИ за выполнение особенно сложных задач. Система вознаграждения использовалась настолько эффективно, что модель смогла успешно изготовить алмазную кирку — задачу, требующую длинной последовательности операций.
Это увлекательное приложение машинного обучения, которое показывает, как игры можно использовать для обучения компьютеров. Используемая модель ИИ, возможно, может быть даже включена в сами игры, чтобы обеспечить более естественную задачу, подобную игре против противников-людей.
