Un framework d'apprentissage automatique qui code les images comme une rétine


Un défi majeur pour développer de meilleures prothèses neuronales est le codage sensoriel : transformer les informations capturées dans l’environnement par les capteurs en signaux neuronaux pouvant être interprétés par le système nerveux. Mais comme le nombre d’électrodes dans une prothèse est limité, cet apport environnemental doit être réduit d’une manière ou d’une autre, tout en préservant la qualité des données transmises au cerveau.

Demetri Psaltis (Optics Lab) et Christophe Moser (Laboratory of Applied Photonics Devices) ont collaboré avec Diego Ghezzi de l'Hôpital ophtalmique Jules-Gonin — Fondation Asile des Aveugles (anciennement Chaire Medtronic en neuro-ingénierie à l'EPFL) pour appliquer l'apprentissage automatique au problème de compresser des données d'image avec plusieurs dimensions, telles que la couleur, le contraste, etc. Dans leur cas, l'objectif de la compression était de sous-échantillonner, ou de réduire le nombre de pixels d'une image à transmettre via une prothèse rétinienne.

« Le sous-échantillonnage des implants rétiniens se fait actuellement par moyenne de pixels, ce que fait essentiellement un logiciel graphique lorsque vous souhaitez réduire la taille d'un fichier. Mais en fin de compte, il s'agit d'un processus mathématique ; aucun apprentissage n'est impliqué », Ghezzi explique.

« Nous avons constaté que si nous appliquions une approche basée sur l'apprentissage, nous obtenions de meilleurs résultats en termes d'encodage sensoriel optimisé. Mais le plus surprenant était que lorsque nous utilisions un réseau neuronal sans contrainte, il apprenait à imiter seul certains aspects du traitement rétinien. »

Plus précisément, l’approche d’apprentissage automatique des chercheurs, appelée cadre acteur-modèle, s’est avérée particulièrement efficace pour trouver un « point idéal » pour le contraste de l’image. Ghezzi utilise Photoshop comme exemple. « Si vous déplacez trop le curseur de contraste dans un sens ou dans l'autre, l'image devient plus difficile à voir. Notre réseau a développé des filtres pour reproduire certaines des caractéristiques du traitement rétinien. »

Les résultats ont été récemment publiés dans Communications naturelles.

Validation les deux in silico et ex vivo

Dans le cadre acteur-modèle, deux réseaux de neurones fonctionnent de manière complémentaire. La partie modèle, ou modèle avancé, agit comme un jumeau numérique de la rétine : elle est d'abord entraînée à recevoir une image haute résolution et à produire un code neuronal binaire aussi similaire que possible au code neuronal généré par une rétine biologique. Le réseau d’acteurs est ensuite entraîné à sous-échantillonner une image haute résolution capable d’obtenir du modèle direct un code neuronal aussi proche que possible de celui produit par la rétine biologique en réponse à l’image originale.

En utilisant ce cadre, les chercheurs ont testé des images sous-échantillonnées sur la rétine jumelle numérique et sur des rétines de cadavres de souris qui avaient été retirées (explantées) et placées dans un milieu de culture. Les deux expériences ont révélé que l’approche acteur-modèle produisait des images provoquant une réponse neuronale plus proche de la réponse de l’image originale qu’une image générée par une approche informatique sans apprentissage, telle que la moyenne des pixels.

Malgré les défis méthodologiques et éthiques liés à l'utilisation de rétines de souris explantées, Ghezzi affirme que c'est à cause de cela ex vivo validation de leur modèle qui fait de leur étude une véritable innovation dans le domaine.

« On ne peut pas seulement faire confiance au numérique, ou in silico, modèle. C'est pourquoi nous avons réalisé ces expériences : pour valider notre approche. »

D'autres horizons sensoriels

L’équipe ayant déjà travaillé sur des prothèses rétiniennes, c’était la première fois qu’elle utilisait le cadre acteur-modèle pour l’encodage sensoriel. Mais Ghezzi voit le potentiel d'étendre les applications du cadre dans et au-delà du domaine de la restauration visuelle. Il ajoute qu’il sera important de déterminer dans quelle mesure le modèle, validé à l’aide de rétines de souris, est applicable aux humains.

« La prochaine étape évidente consiste à voir comment compresser une image plus largement, au-delà de la réduction des pixels, afin que le cadre puisse jouer avec plusieurs dimensions visuelles en même temps. Une autre possibilité consiste à transposer ce modèle rétinien aux sorties d'autres régions de « Il pourrait même être lié à d'autres appareils, comme des prothèses auditives ou de membres », explique Ghezzi.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*