Algorithme portamento temps réel unifie deux signaux audio sans couture

Un nouvel algorithme génère l'effet portamento entre n'importe quels deux signaux audio en temps réel. Il fusionne sans couture des segments de fréquence d'un signal audio dans un autre, sans augmenter/diminuer le volume des signaux.

Les musiciens utilisent un effet appelé « portamento » pour faire la transition entre les notes. C'est une technique de glissement d'une note à une autre sans définir réellement les notes intermédiaires.

Les musiciens utilisent le portamento depuis plus de 200 ans. Cependant, des types limités d'instruments peuvent réaliser cet effet. Ce sont les instruments qui peuvent varier continuellement en hauteur comme le violon ou la voix humaine.

Récemment, un étudiant du MIT — Trevor Henderson — a développé un algorithme qui génère l'effet portamento entre n'importe quels deux signaux audio en temps réel. Il a démontré la capacité de l'algorithme en fusionnant différents clips audio, comme une chanson se fondant dans une autre, et une note de piano glissant dans une voix humaine.

Comment fonctionne l'algorithme ?

L'algorithme est basé sur un cadre géométrique vieux de plusieurs siècles connu sous le nom de « transport optimal ». Le cadre détermine les moyens optimaux de déplacer des points de données entre plusieurs configurations d'origine et de destination. Il a été appliqué à la modélisation 3D, l'alignement d'images, la dynamique des fluides et la graphique informatique.

Henderson a utilisé ce cadre pour interpoler les signaux audio. L'algorithme fonctionne en divisant le signal audio en petits segments (d'environ 50 millisecondes). Ensuite, il détermine le moyen le plus efficace de déplacer les hauteurs dans les segments individuels vers les hauteurs dans l'autre signal audio.

De cette façon, l'algorithme génère un glissement doux de l'effet portamento. Il préserve aussi la fidélité audio pendant la transition du signal.

Référence : arXiv:1906.06763 | MIT

Typiquement, les effets de fondu sont utilisés pour adoucir la transition entre deux signaux audio. C'est la méthode traditionnelle dans laquelle le volume d'un signal est réduit tandis que le volume de l'autre signal monte.

Le nouvel algorithme, d'autre part, fusionne sans couture des segments de fréquence d'un signal audio dans un autre, sans augmenter/diminuer le volume des signaux.

Cette technique étend le portamento à divers instruments, y compris les instruments polyphoniques. En fait, elle peut être utilisée pour faire la transition entre différents ensembles d'instruments ou n'importe quelle autre paire de signaux audio. Elle génère des résultats musicaux clairs en temps réel.

Le « paramètre d'interpolation » peut être contrôlé par un composant curseur tel qu'un crossfader sur la table de mixage d'un DJ. En faisant glisser le crossfader, le paramètre change, produisant l'effet portamento.

Afin d'éliminer les distorsions, Henderson a utilisé la « réaffectation de fréquence », une application d'une technique de traitement du signal. Elle permet aux notes individuelles de faire facilement la transition entre les signaux. Il a aussi développé une nouvelle méthode pour synthétiser de nouvelles phases pour chaque signal pendant la fusion des petits segments audio, pour que les segments adjacents n'interfèrent pas entre eux.

Dans la prochaine étude, Henderson essaiera de réinjecter la sortie du portamento dans son entrée. Cela pourrait produire un autre effet appelé legato, qui représente un mouvement fluide et continu entre différentes notes.