Исследователи искусственного интеллекта создали робота Minecraft, который может исследовать и расширять свои возможности в открытом мире игры, но, в отличие от других роботов, этот, по сути, написал свой собственный код путем проб и ошибок и множества запросов GPT-4.
Эта экспериментальная система под названием «Вояджер» является примером воплощенного агента , ИИ , способного двигаться и действовать свободно и целенаправленно в смоделированной или реальной среде. Личным помощникам ИИ и чат-ботам не нужно ничего делать, тем более ориентироваться в сложном мире для этого. Но это именно то, чего можно ожидать от кухонного комбайна в будущем, поэтому существует множество исследований того, как они могут это сделать.
Minecraft — хорошее место для тестирования таких вещей, так как это очень (очень) грубое представление реального мира с простыми, понятными правилами и физикой, но оно также сложное и достаточно открытое, так что есть много чего сделать. . Симуляторы, предназначенные для этой цели, также превосходны, но у них есть свои ограничения.
Mine Dojo — это среда моделирования, построенная вокруг Minecraft, потому что вы не можете просто добавить туда какой-нибудь случайный ИИ и ожидать, что он выяснит, что делают все эти блоки и свиньи. Его создатели скомпилировали внутриигровые видеоролики на YouTube, расшифровки стенограмм, вики-статьи и целую кучу сообщений Reddit из r/minecraft, среди прочего, чтобы пользователи могли создавать или настраивать модель ИИ поверх нее. Это также позволяет более или менее объективно оценивать эти модели, видя, насколько хорошо им удается возводить забор вокруг ламы или находить и добывать алмазы.
Voyager превосходно справляется с этими задачами и работает намного лучше, чем единственная другая модель, которая близка, Auto-GPT. Но у него похожий подход: он использует GPT-4 для написания собственного кода по ходу дела.
Обычно было бы достаточно обучить модель на всех хороших данных Minecraft и надеяться, что она поняла, как сражаться со скелетами, когда солнце садится. Но Вояджер начинает относительно наивно, и когда он сталкивается с вещами в игре, у него есть небольшой внутренний разговор с GPT-4 о том, что и как делать.
Например, наступает ночь и выходят скелеты. У агента есть общее представление о том, что делать, но он задается вопросом: « Что сделал бы хороший игрок в эту игру, когда поблизости монстры?» «Ну, согласно GPT-4, если вы хотите безопасно исследовать мир, вам нужно создать и экипировать меч, а затем атаковать скелет, избегая ударов. Эта общая идея переводится в конкретные задачи: собрать камень и дерево, создать меч на верстаке, экипировать его и сразиться со скелетом.
Как только он это сделает, они будут помещены в общую библиотеку умений, так что в дальнейшем, если будет задача «уйти в пещеру, чтобы найти железную руду», ему не нужно будет учиться драться с нуля. Он по-прежнему использует GPT, но использует более дешевый и быстрый GPT-3.5, который говорит ему, какие навыки наиболее актуальны в данной ситуации, поэтому он не пытается добывать скелет и бороться с рудой.
Это похоже на агента наподобие Auto-GPT, который, столкнувшись с незнакомым ему интерфейсом, должен научиться перемещаться, чтобы достичь своей цели. Но Minecraft — гораздо более глубокая среда, чем она привыкла решать, поэтому специализированный агент, такой как Voyager, работает намного лучше. Он находит больше вещей, изучает больше навыков и исследует гораздо большую территорию, чем другие роботы.
Интересно, но, возможно, неудивительно, что GPT-4 превосходит GPT-3.5, когда речь идет о создании полезного кода. В тесте, где первое было заменено вторым, агент на раннем этапе, возможно, буквально, уперся в стену и не смог продвинуться. Из разговора с двумя моделями может быть не очевидно, что одна из них намного умнее, но правда в том, что вам не нужно быть супер умным, чтобы вести разговор. Кодировать гораздо сложнее, и GPT-4 стал настоящей революцией в этой области.
Цель этого исследования не в том, чтобы сделать игроков Minecraft устаревшими, а в том, чтобы найти методы улучшения относительно простых моделей ИИ на основе их «опыта», за неимением лучшего слова. Если мы хотим, чтобы роботы помогали нам в наших домах, больницах и офисах, они должны усвоить и применить эти уроки в своих будущих действиях.
