Des chercheurs du MIT développent actuellement un modèle de Machine Learning permettant de former un visage à partir d’extraits de voix.
Depuis toujours l’homme attribue des mots à des images ou à l’inverse associe des images à des mots. La mécanique du cerveau, alimentée par l’observation et l’analyse, permet de projeter mentalement et dans une autre dimension ce que l’on voit, dit ou entend. L’expression « il a bien la tête de l’emploi » illustre ce phénomène et la tentation de créer des ponts entre le fond et la forme, la personnalité et l’apparence.
Un processus basé sur le machine learning
Toujours a l’affut de nouvelles expériences, des chercheurs du MIT tentent actuellement d’établir les corollaires entre la voix humaine et l’apparence du visage. Le projet Speech2Face constitue les premières étapes de ces recherches et le résultat est plutôt bluffant. Pour y parvenir, l’équipe a conçu et entrainé un réseau neuronal pour analyser des milliers de vidéos sur Youtube. Ce labeur de longue haleine, confié à la machine, permet de lier des attributs physiques comme le genre, l’âge ou encore l’origine, à différents timbres, accents ou vitesse de voix. L’algorithme va même plus loin, car il augmente son analyse de caractéristiques plus précises à l’instar de la forme de la bouche, la structure du crâne et la taille des lèvres.
Grâce à ces innombrables données Speech2face est ensuite capable de recréer un visage à partir d’un court extrait audio. Nous ne sommes pas dans la perfection, mais les premières images sont plutôt probantes. Quand on regarde le visage d’origine et la reconstruction faciale à partir de la voix, le lien est assez évident.
Le MIT est particulièrement actif dans ce type de recherche et on peut supposer que ce projet va clairement évoluer au fil des semaines à venir. Dernièrement une équipe de Samsung a également créé un modèle de Machine Learning, permettant d’animer une photo. Une suite possible pour Speech2Face.