L'esprit de Google

L'intelligence artificielle peut produire une musique dont le son ressemble à celui que les gens écoutaient pendant leur scanner cérébral, selon une étude collaborative de Google et de l'Université d'Osaka.

En examinant l'activité cérébrale d'une personne, l'intelligence artificielle (IA) peut produire une chanson qui correspond au genre, au rythme, à l'ambiance et à l'instrumentation de la musique que la personne a récemment entendue.

Les scientifiques ont déjà « reconstruit » d’autres sons issus de l’activité cérébrale, tels que la parole humaine, le chant des oiseaux et les hennissements des chevaux. Cependant, peu d’études ont tenté de recréer de la musique à partir de signaux cérébraux.

Aujourd’hui, les chercheurs ont construit un pipeline basé sur l’IA, appelé Brain2Music, qui exploite les données d’imagerie cérébrale pour générer de la musique qui ressemble à de courts extraits de chansons qu’une personne écoutait lors de l’analyse de son cerveau. Ils ont décrit le pipeline dans un article publié le 20 juillet dans la base de données pré-imprimée arXiv, qui n'a pas encore été évalué par des pairs.

Les scientifiques ont utilisé des scintigraphies cérébrales précédemment collectées via une technique appelée imagerie par résonance magnétique fonctionnelle (IRMf), qui suit le flux de sang riche en oxygène vers le cerveau pour voir quelles régions sont les plus actives. Les scans ont été collectés auprès de cinq participants alors qu'ils écoutaient des clips musicaux de 15 secondes couvrant une gamme de genres, notamment le blues, le classique, la country, le disco, le hip-hop, le jazz et la pop.

En rapport:La blessure à la tête d'un musicien a déclenché une synesthésie rare, l'amenant à « voir » de la musique

En utilisant une partie des données d'imagerie cérébrale et des extraits de chansons, les chercheurs ont d'abord formé un programme d'IA pour trouver des liens entre les caractéristiques de la musique, notamment les instruments utilisés et son genre, son rythme et son humeur, ainsi que les signaux cérébraux des participants. L'ambiance musicale a été définie par les chercheurs en utilisant des étiquettes telles que joyeuse, triste, tendre, excitante, en colère ou effrayante.

L’IA a été personnalisée pour chaque personne, établissant des liens entre ses modèles d’activité cérébrale uniques et divers éléments musicaux.

Après avoir été entraînée sur une sélection de données, l’IA a pu convertir les données d’imagerie cérébrale restantes, inédites, en une forme représentant les éléments musicaux des extraits de chansons originaux. Les chercheurs ont ensuite introduit ces informations dans un autre modèle d’IA précédemment développé par Google, appelé MusicLM. MusicLM a été initialement développé pour générer de la musique à partir de descriptions textuelles, telles que « une mélodie de violon apaisante soutenue par un riff de guitare déformé ».

MusicLM a utilisé ces informations pour générer des clips musicaux pouvant être écoutés en ligne et ressemblant assez précisément aux extraits de chansons originales – bien que l’IA ait capturé certaines caractéristiques des morceaux originaux bien mieux que d’autres.

"L'accord, en termes d'ambiance de la musique reconstituée et de la musique originale, était d'environ 60%", a déclaré à Live Science Timo Denk, co-auteur de l'étude et ingénieur logiciel chez Google en Suisse. Le genre et l'instrumentation de la musique reconstruite et originale correspondaient beaucoup plus souvent que ce à quoi on pourrait s'attendre par hasard. De tous les genres, l’IA est celle qui distingue le plus précisément la musique classique.

"La méthode est assez robuste sur les cinq sujets que nous avons évalués", a déclaré Denk. "Si vous prenez une nouvelle personne et formez un modèle pour elle, il est probable que cela fonctionnera également bien."

—Comment la musique affecte-t-elle votre cerveau ?

—Les médecins entendaient de la musique lorsqu'ils vérifiaient le pouls d'un homme. Voici pourquoi.

— Des scientifiques conçoivent un algorithme qui « lit » les pensées des gens à partir d'analyses cérébrales.

En fin de compte, le but de ces travaux est de faire la lumière sur la façon dont le cerveau traite la musique, a déclaré le co-auteur Yu Takagi, professeur adjoint de neurosciences computationnelles et d'IA à l'Université d'Osaka au Japon.

Comme prévu, l’équipe a découvert qu’écouter de la musique activait des régions cérébrales dans le cortex auditif primaire, où les signaux provenant des oreilles sont interprétés comme des sons. Une autre région du cerveau, appelée cortex préfrontal latéral, semble être importante pour traiter le sens des chansons, mais cela doit être confirmé par des recherches plus approfondies, a déclaré Takagi. Cette région du cerveau est également connue pour être impliquée dans la planification et la résolution de problèmes.