За девять дней, без гида, без видео и без помощи человека, искусственный интеллект Dreamer от Google DeepMind сумел извлечь алмаз в Minecraft. Технологический прорыв, выходящий далеко за рамки простых игр.
Найти алмаз в Minecraft — непростая задача. Вам предстоит понять игровую механику, собирать древесину, изготавливать нужные инструменты, глубоко копать, избегая лавы... Сложный процесс даже для человека. И все же искусственный интеллект только что преуспел в этом деле, в одиночку, без какой-либо предварительной демонстрации. Его имя: Мечтатель.
Разработанный командой DeepMind , дочерней компании Google, занимающейся искусственным интеллектом, Dreamer не был обучен игре в Minecraft традиционным способом. В отличие от предыдущих ИИ, он не наблюдал за частями тела человека, не получал никаких четких инструкций и не следовал инструкциям. Она просто исследовала, пробовала, совершала ошибки и училась.
Обучение через воображение
Ключ к Мечтателю кроется в так называемом подходе «подкрепления» в сочетании со способностью мысленно проецировать себя. Другими словами, этот ИИ способен представить возможные последствия своих действий, прежде чем их осуществить. Как будто у нее есть интуиция или, по крайней мере, некая форма дальновидного мышления, которая позволяет ей отдавать приоритет наиболее перспективным вариантам.
Каждый раз, когда Мечтательница завершала промежуточный этап — например, создание верстака, добычу железа или создание каменной кирки — она получала небольшое бонусное вознаграждение. Эта система прогрессивного подкрепления побуждала ее упорно трудиться в течение длительного времени, пока она не достигла своей конечной цели: получения бриллианта.
Но чтобы еще больше усложнить эксперимент, исследователи DeepMind перезапускали мир Minecraft каждые 30 минут. Мечтателю приходилось каждый раз приспосабливаться к новой среде, не полагаясь на привычный мир.
Так же быстро, как эксперт-человек
Мечтателю потребовалось около девяти дней непрерывной игры, чтобы успешно добыть свой первый алмаз. Впечатляющее время для машины, особенно в такой насыщенной и непредсказуемой среде, как Minecraft. В конце эксперимента ИИ удалось достичь своей цели менее чем за 30 минут, столько же времени, сколько и опытному игроку.
По словам Данияра Хафнера, ведущего исследователя проекта, этот прорыв представляет собой нечто гораздо большее, чем просто победу в видеоигре. «Dreamer представляет собой большой шаг вперед к системам искусственного интеллекта, способным обобщать свое обучение. Он может понимать физическую среду и развиваться автономно, без указания человеком, что именно ему делать. »
Будущее далеко за пределами Minecraft
Minecraft послужил испытательным полигоном, поскольку это особенно благоприятная среда: насыщенная, сложная, изменчивая и способствующая долгосрочному планированию. Однако значение Dreamer выходит далеко за рамки этой игры.
Теоретически такую систему можно было бы применить к реальным роботам, способным учиться взаимодействовать с физическим миром без постоянного надзора. Будь то навигация по складу, выполнение ремонтных работ или даже исследование враждебной среды, искусственный интеллект, способный «видеть во сне» последствия своих действий, может произвести революцию во многих областях.
По-настоящему автономный ИИ
Отличительной чертой Dreamer от других искусственных интеллектов является его полная автономность. Там, где предыдущим системам требовалось участие человека или предопределенные сценарии, Dreamer обучается самостоятельно. Она создает ментальную модель окружающего мира, исследует, адаптирует и, прежде всего, обобщает.
В статье, опубликованной в престижном журнале Nature , команда DeepMind отмечает, что Dreamer, насколько им известно, является первым ИИ, который собрал алмаз в Minecraft без участия человека, без обучающих программ, без «учебной программы». Это первый в мире случай, который, возможно, знаменует начало новой эры искусственного интеллекта.
