DeepMind bat un record mathématique de 50 ans en utilisant l’IA ; nouveau record tombe une semaine plus tard


La multiplication matricielle est au cœur de nombreuses percées en matière d’apprentissage automatique, et elle est simplement devenue plus rapide, deux fois. La semaine dernière, DeepMind a annoncé avoir découvert un moyen plus efficace d’effectuer une multiplication matricielle, conquérant un record vieux de 50 ans. Cette semaine, deux chercheurs autrichiens de l’Université Johannes Kepler de Linz affirment avoir battu ce nouveau record d’une étape.

La multiplication matricielle, qui consiste à multiplier deux tableaux rectangulaires de nombres, se trouve souvent au cœur de la reconnaissance vocale, de la reconnaissance d’images, du traitement d’image des smartphones, de la compression et de la génération d’infographie. Les unités de traitement graphique (GPU) sont particulièrement efficaces pour effectuer la multiplication matricielle en raison de leur nature massivement parallèle. Ils peuvent découper un gros problème mathématique matriciel en plusieurs morceaux et en attaquer des parties simultanément avec un algorithme spécial.

En 1969, un mathématicien allemand nommé Volker Strassen a découvert le meilleur algorithme précédent pour multiplier les matrices 4 × 4, ce qui réduit le nombre d’étapes nécessaires pour effectuer un calcul matriciel. Par exemple, multiplier deux matrices 4 × 4 ensemble à l’aide d’une méthode scolaire traditionnelle prendrait 64 multiplications, tandis que l’algorithme de Strassen peut effectuer le même exploit en 49 multiplications.

Un exemple de multiplication matricielle de DeepMind, avec des parenthèses fantaisistes et des cercles de nombres colorés.

À l’aide d’un réseau neuronal appelé AlphaTensor, DeepMind a découvert un moyen de réduire ce nombre à 47 multiplications, et ses chercheurs ont publié un article sur la réalisation dans Nature la semaine dernière.

Passer de 49 étapes à 47 ne semble pas beaucoup, mais si l’on considère le nombre de milliers de milliards de calculs matriciels effectués chaque jour dans un GPU, même des améliorations incrémentielles peuvent se traduire par des gains d’efficacité importants, permettant aux applications d’IA de s’exécuter plus rapidement sur les systèmes existants. Matériel.

Quand les maths ne sont qu’un jeu, l’IA gagne

AlphaTensor est un descendant d’AlphaGo (qui a battu le champion du monde Aller joueurs en 2017) et AlphaZero, qui abordait les échecs et le shogi. DeepMind appelle AlphaTensor « le » premier système d’IA pour découvrir des algorithmes nouveaux, efficaces et prouvés corrects pour des tâches fondamentales telles que la multiplication de matrices « .

Pour découvrir des algorithmes mathématiques matriciels plus efficaces, DeepMind a configuré le problème comme un jeu solo. La société a décrit le processus plus en détail dans un article de blog la semaine dernière :

Dans ce jeu, le tableau est un tenseur tridimensionnel (tableau de nombres), capturant à quel point l’algorithme actuel est incorrect. Grâce à un ensemble de mouvements autorisés, correspondant aux instructions de l’algorithme, le joueur tente de modifier le tenseur et de mettre à zéro ses entrées. Lorsque le joueur parvient à le faire, cela se traduit par un algorithme de multiplication matricielle correct pour n’importe quelle paire de matrices, et son efficacité est capturée par le nombre d’étapes prises pour mettre à zéro le tenseur.

DeepMind a ensuite formé AlphaTensor en utilisant l’apprentissage par renforcement pour jouer à ce jeu mathématique fictif, similaire à la façon dont AlphaGo a appris à jouer. Aller– et ça s’est progressivement amélioré avec le temps. Finalement, il a redécouvert les travaux de Strassen et ceux d’autres mathématiciens humains, puis il les a dépassés, selon DeepMind.

Dans un exemple plus compliqué, AlphaTensor a découvert une nouvelle façon d’effectuer une multiplication matricielle 5 × 5 en 96 étapes (contre 98 pour l’ancienne méthode). Cette semaine, Manuel Kauers et Jakob Moosbauer de Johannes L’Université Kepler de Linz, en Autriche, a publié un article affirmant avoir réduit ce nombre de un, à 95 multiplications. Ce n’est pas un hasard si ce nouvel algorithme apparemment record est arrivé si rapidement car il s’appuie sur le travail de DeepMind. Dans leur article, Kauers et Moosbauer écrivent : « Cette solution a été obtenue à partir du schéma de [DeepMind’s researchers] en appliquant une séquence de transformations conduisant à un schéma dont une multiplication pourrait être éliminée. »

Les progrès technologiques se construisent d’eux-mêmes, et avec l’IA à la recherche de nouveaux algorithmes, il est possible que d’autres records mathématiques de longue date tombent bientôt. Semblable à la façon dont la conception assistée par ordinateur (CAO) a permis le développement d’ordinateurs plus complexes et plus rapides, l’IA peut aider les ingénieurs humains à accélérer son propre déploiement.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*