Concevoir la musique comme un système plutôt que comme une bande-son fixe

AMS, pour Adaptive Music System, a commencé en 2019 lorsque Jorge, développeur Unreal Engine chez Coqui Games, a proposé à Marc Thornton de travailler sur une idée de musique adaptative.

Le point de départ technique était un système Unreal capable de réagir au gameplay via une logique Blueprint. Le défi créatif était plus difficile : comment écrire une musique si le jeu peut changer d’état à des moments imprévisibles ?

Ils ont commencé par traiter les deux dimensions ensemble. Ils ont exploré le remixage vertical à l’aide de couches musicales compatibles, des états de gameplay comme l’exploration, la tension et le combat, les transitions entre tempos et sections, ainsi que des moyens d’éviter la rupture évidente provoquée par l’arrêt d’un morceau suivi du démarrage d’un autre.

Ils ont également étudié des approches existantes, notamment Elias et des produits de musique adaptative déjà disponibles sur l’Unreal Marketplace, afin de comprendre où un système plus simple directement intégré au moteur pouvait trouver sa place.

La collaboration a rapidement établi une répartition claire des rôles. Jorge gérait l’implémentation principale dans Unreal Engine et Blueprint. Marc se concentrait sur la composition, la production, le design audio interactif et l’architecture musicale nécessaire pour rendre le comportement technique convaincant.

Il fallait donc écrire autrement.

Au lieu de composer un morceau fini du début à la fin, Marc créait des éléments musicaux compatibles capables de survivre aux réarrangements imposés par le jeu. Des stems pouvaient apparaître ou disparaître avec l’intensité. Une section devait rester crédible même si le système y entrait en plein milieu. Certaines expériences imposaient volontairement des propriétés communes, comme la même tonalité et une mesure en 4/4, afin de pouvoir échanger des sections sans casser la continuité harmonique ou rythmique.

L’équipe a également expérimenté les changements de tempo, les transitions, l’audio de diagnostic et des techniques procédurales. Le matériel de test a évolué vers des démonstrations couvrant exploration, tension et combat, dont un exemple fantasy montrant la bande-son se recomposer en temps réel.

L’idée de produit a grandi en parallèle de la R&D. Au lieu de conserver le système dans un seul jeu, Marc et Jorge ont envisagé de le proposer comme asset Unreal Engine réutilisable. Le framework Blueprint pouvait être fourni avec une musique de démonstration, tandis que d’autres bandes-son compatibles pouvaient être vendues séparément.

La proposition était d’offrir certaines capacités adaptatives associées à des systèmes spécialisés comme Elias tout en conservant le workflow directement dans Unreal Engine.

AMS a atteint un stade avancé de prototype et de développement de contenu mais n’a jamais été commercialisé. Marc a tenté de relancer le projet en 2020, puis Jorge a rejoint Epic Games. Ils ont convenu qu’il fallait respecter tout risque potentiel lié à l’emploi ou aux conflits d’intérêts autour d’un travail Unreal collaboratif, et le projet a été placé en pause pour une durée indéterminée.

Cela ne rend pas la R&D inutile. Elle a changé la manière dont Marc aborde la composition pour les produits interactifs et renforcé un principe applicable à une grande partie du travail de Digital SHIFT : les systèmes créatifs et techniques sont plus solides lorsqu’ils sont conçus ensemble dès le départ, plutôt que lorsque l’un est ajouté à l’autre en fin de parcours.