Bientôt une IA qui adapte la musique d’un jeu aux émotions chez Sony ?

Sony a récemment déposé un brevet pour une intelligence artificielle capable de générer et d’ajuster automatiquement des motifs musicaux et leur tempo dans des jeux-vidéo. Compte tenu de la détermination de la firme à capitaliser sur l’immersion par le son, la PlayStation 5 pourra-t-elle prendre en compte cette nouvelle technologie ?

Dans “Audiosurf”, la musique détermine l’intensité et le rythme du gameplay mais aussi l’aspect visuel (Crédits : Dyla Fitterer / Audiosurf).

A l’avenir, les compositeurs de musique de jeu-vidéo vont-ils devoir collaborer avec une intelligence artificielle ? Un récent brevet déposé par Sony a, en tout cas, mis le sujet sur la table. Le 22 mai dernier, un brevet pour une invention relative à la “création de musique dynamique dans un jeu” était rendu public. Cette dernière se résume officiellement ainsi : “La présente invention concerne un procédé et un système de création de musique dynamique. Une émotion est attribuée à un ou plusieurs motifs musicaux et un vecteur de jeu est associé à l’émotion. Le ou les motifs musicaux sont mappés sur le vecteur de jeu sur la base de l’émotion. Une composition musicale est générée sur la base du vecteur de jeu et des émotions souhaitées.”

Jouer davantage avec les émotions

Autrement dit, dans un premier temps, l’intelligence artificielle conçue par la firme japonaise collecterait d’abord un lot de données musicales et les trierait en fonction des émotions généralement associées à certains motifs récurrents. L’IA se verrait ensuite injecter des scènes et des éléments narratifs du jeu-vidéo ciblé auxquels devront être associées des émotions. Le compositeur humain n’interviendrait qu’après, en lui fournissant des motifs musicaux de sa création associés à des personnages, des niveaux ou des éléments de gameplay spécifiques. Cette association pourrait même être effectuée par l’IA elle-même, de manière dynamique, en pleine partie. L’algorithme n’aurait enfin plus qu’à générer ou ajuster un motif musical en fonction de la durée d’une session, de la temporalité virtuelle dans le jeu ou même du style de jeu du joueur. En effet, selon l’analyse de The Next Web, le tempo de la musique pourrait même être adapté de manière dynamique selon que le joueur préfère, par exemple, que son personnage marche ou court. En outre, dans son brevet, Sony prévoit même d’ajouter une dimension plus personnelle à son système : si le joueur partage des données relatifs à sa personnalité, l’IA serait capable de les analyser et de procéder à des modifications musicales dans le jeu !

L’immersion par le son ?

Si cette nouvelle invention, encore à un stade très conceptuel, peut ne jamais voir le jour, elle n’est pas anodine. Sony semble en effet vouloir véritablement capitaliser dans l’immersion vidéoludique par le son. “Un jeu paraît mort sans une dimension audio”, a déclaré le directeur de projet, Mark Cerny, lors d’une conférence en mars dernier. Ainsi, ce dernier avait même annoncé que le constructeur avait créé, tout spécialement pour la PlayStation 5, le moteur audio Tempest 3D AudioTech qui est censé accentuer “l’intensité d’une expérience” de jeu. Grâce à lui, les développeurs pourront déjà paramétrer jusqu’à 100 sources multi-dimensionnelles de son différentes pour permettre au joueur de localiser un bruit à l’endroit exact (et pas juste son orientation) d’où il provient dans le monde virtuel. L’idée aussi, pour Sony, est de proposer une “bonne qualité audio pour tous”, afin de ne pas créer d’inégalité selon l’équipement des joueurs. Il se pourrait donc bien qu’un jour la PS5 soit capable de mettre en œuvre ce nouveau genre de création musicale.

Symphonie pour Pixels - Une...
  • 223 Pages - 03/12/2020 (Publication Date) - Omake books (Publisher)