Musique / Festivals PixelPlayer peut diminuer ou augmenter le volume de n'importe quel instrument visible dans une vidéo.

L'invention PixelPlayer représente une aubaine pour tous les musiciens. Le laboratoire d'informatique et d'intelligence artificielle du célèbre Institut de technologie du Massachusetts (MIT) vient de créer le premier système capable d'identifier un son à partir de la vidéo d'un concert ou de toute autre performance musicale.

Jusqu'ici, les sonorités de chaque instrument pouvaient être séparées par l'analyse du son et non de l'image. Un seul clic sur l'instrument visible dans une vidéo suffit dorénavant pour l'isoler du reste de l'ensemble musical. PixelPlayer ne requiert aucune action supplémentaire. Cette intelligence artificielle peut en effet localiser un instrument grâce aux pixels de la vidéo (d'où le nom du projet). Elle analyse d'abord quels pixels sont responsables de la production d'ondes sonores spécifiques. Après cet examen, PixelPlayer sait identifier l'instrument et extraire les sons qu'il produit. Un exploit possible après un entraînement de plus de 60 heures de visionnage vidéo.

L'intelligence artificielle se montre encore une fois plus évoluée que l'être humain. Pourtant, celle-ci affiche encore quelques limites. Le système n'est capable de reconnaître qu'une vingtaine d'instruments pour l'instant. Un apprentissage plus en profondeur réduira ces limites. Par contre, certaines distinctions subtiles entre sous-classes d'instruments (aux tonalités différentes) seront difficiles à reconnaître pour le système.

Dans l'avenir, PixelPlayer devrait aider les ingénieurs à améliorer la qualité audio d'anciens enregistrements de concerts. Il pourrait aussi avoir une utilité pour les producteurs de musique. Cela permettrait de prévisualiser l'association d'autres instruments avec certaines parties musicales, comme remplacer une guitare électrique par une acoustique. Selon un des chercheurs, Hang Zhao, cette nouvelle intelligence artificielle devrait aussi potentiellement aider les robots à distinguer le bruit produit par les animaux de celui des voitures par exemple. Une véritable avancée scientifique avec des répercussions dans plusieurs domaines. L'équipe des six chercheurs du projet intitulé "The Sound of Pixel" présentera son invention lors de la "European Conference on Computer Vision", prévue à Munich en septembre prochain.