Le nouvel algorithme fusionne en toute transparence deux signaux audio

• Un nouvel algorithme génère l'effet portamento entre deux signaux audio en temps réel.
• Il mélange de manière transparente les segments de fréquence d'un signal audio à un autre, sans augmenter/diminuer le volume des signaux.

Les musiciens utilisent un effet appelé « portamento » pour faire la transition entre les notes. C'est une technique de glissement d'une note à l'autre sans vraiment définir les notes intermédiaires.

Les musiciens utilisent le portamento depuis plus de 200 ans. Cependant, des types limités d'instruments peuvent produire cet effet. Ce sont les instruments dont la hauteur peut varier en continu, comme le violon ou la voix humaine.

Récemment, un étudiant du MIT, Trevor Henderson, a développé un algorithme qui génère l'effet portamento entre deux signaux audio en temps réel. Il a démontré la capacité de l'algorithme en fusionnant différents clips audio, comme une chanson se fondant dans une autre, et une note de piano glissant dans une voix humaine.

Comment fonctionne l'algorithme ?

L'algorithme est basé sur un cadre basé sur la géométrie vieux de plusieurs siècles connu sous le nom de « transport optimal ». Le cadre détermine les moyens optimaux de déplacer des points de données entre plusieurs configurations d'origine et de destination. Il a été appliqué à la modélisation 3D, à l'alignement d'images, à la dynamique des fluides et à l'infographie.

Henderson a utilisé ce cadre pour interpoler les signaux audio. L'algorithme fonctionne en divisant le signal audio en petits segments (d'environ 50 millisecondes). Ensuite, il détermine le moyen le plus efficace de déplacer les hauteurs de segments individuels vers les hauteurs de l'autre signal audio.

De cette façon, l'algorithme génère un glissement en douceur de l'effet portamento. Il préserve également la fidélité audio lors des transitions du signal.

Référence :arXiv:1906.06763 | MIT

En règle générale, les effets de fondu sont utilisés pour adoucir la transition entre deux signaux audio. Il s'agit de la méthode traditionnelle dans laquelle le volume d'un signal est réduit tandis que le volume d'un autre signal augmente.

Le nouvel algorithme, d'autre part, mélange de manière transparente les segments de fréquence d'un signal audio à un autre, sans augmenter/diminuer le volume des signaux.

Cette technique étend le portamento à divers instruments, y compris polyphoniques. En fait, il peut être utilisé pour faire la transition entre différents ensembles d'instruments ou toute autre paire de signaux audio. Il génère des résultats musicaux clairs en temps réel.

Le "paramètre d'interpolation" peut être contrôlé par un composant de curseur tel qu'un crossfader sur la table de mixage du DJ. Lorsque vous faites glisser le crossfader, le paramètre change, produisant l'effet de portamento.

Afin d'éliminer les distorsions, Henderson a utilisé la « réaffectation de fréquence », une application d'une technique de traitement unique. Il permet aux notes individuelles de passer facilement d'un signal à l'autre. Il a également développé une nouvelle méthode pour synthétiser de nouvelles phases pour chaque signal tout en fusionnant les petits segments d'audio, afin que les segments adjacents n'interfèrent pas les uns avec les autres.

Lire : Facebook AI convertit la musique d'un style à un autre

Dans la prochaine étude, Henderson essaiera de réinjecter la sortie du portamento dans son entrée. Cela pourrait produire un autre effet appelé legato, qui représente un mouvement fluide et continu entre différentes notes.