La nouvelle IA de Google isole les voix individuelles dans la foule

Google développe une IA qui se concentre sur une voix particulière dans un lieu bondé.

Utilise combinaison signaux visuels et auditifs pour séparer les voix.

Potentiel : meilleur sous-titrage vidéo pour locuteurs chevauchants, en pré-traitement reconnaissance vocale.

Défi : séparation vocale

Humains excellents pour isoler une voix dans foule, coupant autres sons. Machines : encore mauvaises pour séparer parole individuelle quand 2+ personnes parlent, ou bruit de fond.

Google : modèle audio-visuel basé apprentissage profond focalisant sur signal audio unique depuis mélange voix/bruit. IA analyse vidéo, amplifie voix de certaines personnes, supprime autres sons.

Pas de format audio/vidéo spécial ; fonctionne tous formats vidéo courants avec une piste audio. Utilisateur sélectionne visage dans vidéo à écouter, ou algorithme décide selon contexte.

Technologie : combinaison signaux visuels et auditifs vidéo pour séparer voix. Algorithmes identifient qui parle selon mouvements bouche. Signaux visuels améliorent significativement qualité séparation parole mixte, associent pistes sonores aux locuteurs visibles.

Fabrication

Ingénieurs ont collecté énorme quantité vidéos YouTube qualité talk-shows/conférences pour échantillons entraînement. Filtré 2000h clips : voix propre — pas bruit public, musique mixte, interférences fond.

Créé combinaison vidéos visages avec parole associée et bruit fond de sources différentes. Entraîné réseau neuronal convolutif multi-flux séparant voix locuteurs individuels vidéo parole mixte.

Représentation spectrogramme bande son + vignettes visages locuteurs chaque image (extraites vidéo) insérées dans réseau. Réseau apprend (période entraînement) encoder signaux auditifs/visuels et les fusionner pour créer contenu audio-visuel unique.

Apprend aussi masques temps-fréquence locuteurs individuels. Multiplie spectrogrammes entrée bruités par masques → parole propre, écrase interférences/bruit.

Détails implémentation

Réseau implémenté TensorFlow (framework ML open source), opérations pour transformation onde et Fourier court terme. Toutes couches, sauf couche masque, suivies activations ReLU.

Normalisation batch pour toutes couches convolutives. Batch size 6 échantillons, entraîné 5 millions batches (étapes). Audios rééchantillonnés 16 kHz, stéréo → mono pour Fourier court terme.

Référence : arXiv:1804.03619 | Google Research

Tous embeddings visages rééchantillonnés 25 fps avant entraînement → flux visuel entrée 75 embeddings visages. Vecteurs nuls pour images manquantes échantillon spécifique.

Applications

Innombrables : reconnaissance audio vidéo, amélioration parole, surtout multi-locuteurs. Élargit types micros utilisables divers environnements audio. YouTube et Hangouts = points de départ faciles. Finalement : écouteurs amplificateurs voix, Google Glass.

Potentiel : meilleur sous-titrage vidéo locuteurs chevauchants, pré-traitement reconnaissance vocale. Faciliterait participation sourds téléconférences, films.