Decart lance Oasis3 :un modèle mondial réaliste à faible latence pour la formation en robotique

Le laboratoire de recherche Frontier AI Decart a présenté Oasis3, un modèle mondial conçu pour combler le fossé entre la simulation synthétique et le déploiement de l'IA dans le monde réel.

Le moteur de sortie vidéo, dévoilé ce mois-ci, accélère la formation des systèmes de contrôle des robots et des véhicules autonomes, leur permettant ainsi de prospérer dans des conditions imprévisibles du monde réel.

Les développeurs de robotique sont confrontés à une pénurie de données de haute qualité nécessaires à la formation de systèmes capables de naviguer dans des environnements complexes et réels.

Alors qu'un véhicule peut apprendre à manœuvrer un parking statique avec des cônes de signalisation fixes, la route ouverte présente un environnement beaucoup plus exigeant où les conditions météorologiques, l'éclairage et les obstacles dynamiques varient constamment.

Les systèmes de formation pour gérer le chaos des rues urbaines (fortes pluies, obstacles soudains, circulation irrégulière) représentent un défi distinct auquel Oasis3 s'attaque.

Le goulot d'étranglement de la formation en robotique

Les grands modèles de langage (LLM) ont progressé, mais la robotique à usage général (ou IA physique) a pris du retard, en grande partie à cause d'un manque de ressources multimédias riches.

Bessemer Ventures a noté que les développeurs LLM bénéficient du scraping de milliards de pages Web publiques, un luxe qui n'est pas disponible pour les modèles Vision-Langage-Action (VLA) qui doivent interpréter et agir dans des espaces physiques.

Les modèles VLA ingèrent des données environnementales, les traitent, puis répondent. Leur formation offre trois voies principales :

• Téléopération – les opérateurs humains imitent les actions des robots dans une combinaison contrôlée. Bien qu'elle fournisse des données de la plus haute qualité, elle est prohibitivement coûteuse et lente, ce qui rend un déploiement à grande échelle peu pratique.
• Vidéos Open Web  – facilement disponible mais désordonné, manquant d'environnements cohérents, de télémétrie spatiale et de conditionnement d'action directe.
• Données synthétiques — un terrain d'entente, mais les moteurs physiques actuels ne parviennent pas à atteindre les nuances du monde réel, ce qui conduit à ce que l'on appelle l'écart entre la simulation et le réel. .

Cet écart se manifeste lorsque des aléas du monde réel (déversements de pétrole, emballages fragiles, débris inattendus) déséquilibrent les systèmes autonomes, révélant leurs limites.

Combler l'écart grâce aux simulations génératives en boucle fermée

Decart affirme qu'Oasis3 comble les limites existantes de la formation virtuelle en fusionnant des graphiques animés photoréalistes avec un moteur physique robuste.

Intégré dans une boucle de formation unique et performante, Oasis3 produit des flux vidéo conditionnés par l'action qui peuvent générer pratiquement tous les scénarios chaotiques envisagés par les développeurs, créant ainsi un environnement de formation qui reflète fidèlement la réalité.

La plateforme prend en charge des environnements multivues ultraréalistes entièrement contrôlables ; la déviation latérale d'une voiture autonome déclenche un flux génératif qui ajuste les perspectives en moins de 200 ms, ce qui correspond bien aux exigences d'apprentissage par renforcement.

Co-conçu avec l'écosystème d'IA physique de Nvidia, Oasis3 fonctionne sur l'infrastructure cloud spécialisée de CoreWeave à 22 ips, offrant des environnements virtuels interactifs à une résolution de 512 × 768 × 3.

Il offre une vue native à trois caméras pour préserver la cohérence spatiale et temporelle sous plusieurs angles, permettant aux systèmes autonomes d'évaluer avec précision la profondeur et le contexte périphérique.

Oasis3 est accessible via l'API de Decart, permettant aux développeurs de l'intégrer de manière transparente dans leurs pipelines de simulation d'IA physique existants.

Entraîner des robots pour conquérir des territoires inexplorés

Pour obtenir des humanoïdes de niveau science-fiction, il faut entraîner des robots à gérer des cas extrêmes uniques en temps réel, des situations impossibles à reproduire en laboratoire, comme une charge tombant sur une route alors que la caméra d'un véhicule autonome est obscurcie par la boue.

Oasis3 permet aux développeurs de créer des variations infinies de tels événements à l'aide d'invites simples en langage naturel, couvrant différents angles, conditions météorologiques et surfaces routières.

En exposant les modèles à des millions de risques à moindre coût, les développeurs peuvent garantir qu'ils sont prêts à faire face à tout scénario plausible du monde réel.