Nvidia AI joue à Minecraft et remporte le prix de la conférence sur l’apprentissage automatique


Un article décrivant MineDojo, l’agent d’IA généraliste de Nvidia qui peut effectuer des actions à partir d’invites écrites dans Minecrafta remporté un Outstanding Datasets and Benchmarks Paper Award lors de la conférence NeurIPS (Neural Information Processing Systems) 2022, a révélé Nvidia lundi.

Pour entraîner le framework MineDojo à jouer Minecraftles chercheurs l’ont nourri de 730 000 Minecraft Vidéos YouTube (avec plus de 2,2 milliards de mots transcrits), 7 000 pages Web extraites du Minecraft wiki, et 340 000 messages Reddit et 6,6 millions de commentaires Reddit décrivant Minecraft jouabilité.

À partir de ces données, les chercheurs ont créé un modèle de transformateur personnalisé appelé MineCLIP qui associe des clips vidéo à des éléments spécifiques du jeu. Minecraft Activités. En conséquence, quelqu’un peut dire à un agent MineDojo quoi faire dans le jeu en utilisant un langage naturel de haut niveau, comme « trouver une pyramide du désert » ou « construire un portail inférieur et y entrer », et MineDojo exécutera la série d’étapes nécessaire pour que cela se produise dans le jeu.

MineDojo vise à créer un agent flexible qui peut généraliser les actions apprises et les appliquer à différents comportements dans le jeu. Comme l’écrit Nvidia, « Alors que les chercheurs ont depuis longtemps formé des agents d’IA autonomes dans des environnements de jeux vidéo tels que StarCraft, dota, et Go, ces agents ne sont généralement spécialisés que dans quelques tâches. Les chercheurs de Nvidia se sont donc tournés vers Minecraftle jeu le plus populaire au monde, afin de développer un cadre de formation évolutif pour un agent généraliste, capable d’exécuter avec succès une grande variété de tâches ouvertes. »

L’article primé, « MINEDOJO : Construire des agents incarnés ouverts avec des connaissances à l’échelle d’Internet », a fait ses débuts en juin. Ses auteurs incluent Linxi Fan de Nvidia et Guanzhi Wang, Yunfan Jiang, Ajay Mandlekar, Yuncong Yang, Haoyi Zhu, Andrew Tang, De-An Huang, Yuke Zhu et Anima Anandkumar de diverses institutions universitaires.

Vous pouvez voir des exemples de MineDojo en action sur son site officiel, et le code pour MineDojo et MineCLIP est disponible sur GitHub.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*