Neoclouds expliqués : pourquoi l'IA a besoin du cloud computing axé GPU

Les charges de travail IA deviennent mainstream dans pratiquement toutes les industries. Mais à mesure que la demande pour l'IA grandit, la tension sur l'infrastructure augmente aussi. Malheureusement, les options traditionnelles pour accéder au calcul haute performance font défaut, poussant les entreprises à chercher des alternatives. Certaines se tournent vers les neoclouds, un nouveau type de fournisseur de services de calcul centré sur des offres GPU-centriques.

Ces nouveaux fournisseurs gagnent en intérêt en raison d'un changement dans le calcul ; un caractérisé par une dépendance croissante aux GPU pour l'IA. Bien que les GPU soient bien adaptés pour gérer les besoins de traitement parallèle de l'entraînement et de l'inférence IA, ils sont notoirement chers et en pénurie. Un GPU haut de gamme peut coûter des dizaines de milliers de dollars, et seulement si une entreprise peut en trouver un. Les cycles d'approvisionnement sont longs, les délais imprévisibles, et les équipes IT d'entreprise luttent fréquemment pour acquérir une capacité suffisante pour répondre à la demande.

Les fournisseurs cloud hyperscale, tels qu'AWS, Google Cloud et Azure, ont cherché à combler le vide en offrant des instances GPU et des GPU en tant que service. Pour de nombreuses organisations, ce modèle fonctionne, mais seulement jusqu'à un certain point.

Les instances GPU basées sur le cloud offrent flexibilité, évolutivité et déploiement rapide. Mais à mesure que l'usage grandit, la facture aussi. Le modèle pay-as-you-go devient rapidement prohibitif en coût à grande échelle, particulièrement pour les charges de travail soutenues comme l'entraînement de grands modèles de langage (LLM), le fine-tuning ou l'inférence en temps réel à travers les applications d'entreprise.

En résultat, de nombreuses organisations se retrouvent coincées entre un rocher (infrastructure sur site rare et chère) et un endroit dur (coûts élevés du GPU cloud public).

Entrent les Neoclouds

Dans cet environnement, une nouvelle catégorie de fournisseur de calcul émerge : le fournisseur neocloud. Les fournisseurs d'infrastructure neocloud offrent du calcul haute performance, fortement centré sur les GPU, à des tarifs plus abordables (du moins selon eux). Ils y parviennent en exploitant des origines non conventionnelles, de nouveaux modèles économiques et différentes stratégies d'infrastructure.

Par exemple, certains neoclouds retracent leurs racines jusqu'au minage de cryptomonnaie. Pendant le boom de la cryptomonnaie de la dernière décennie, des milliers de mineurs dans le monde ont construit des centres de données équipés de serveurs GPU optimisés pour les opérations de minage. Alors que le marché de la cryptomonnaie refroidissait et que le minage devenait moins rentable, ces opérateurs se sont retrouvés avec de grandes quantités de capacité GPU inutilisée. Plutôt que de laisser ce matériel se déprécier dans un entrepôt, certains ont réutilisé leur équipement pour des charges de travail IA, et ainsi le neocloud est né.

D'autres dans l'espace sont des startups purpose-built qui ont vu une opportunité d'offrir une alternative plus rentable aux hyperscalers en optimisant pour le prix-performance et en contournant l'overhead des opérations cloud legacy. Certains construisent sur des stacks logicielles open source et colocalisent dans des centres de données à faible coût ; d'autres agrègent la capacité GPU excédentaire à travers des réseaux décentralisés, formant une sorte de « spot market GPU » que les entreprises peuvent exploiter à coûts inférieurs.

Bénéfices du modèle Neoclouds

Pour les entreprises cherchant de la puissance de calcul IA sans les coûts exorbitants, les fournisseurs neocloud affirment pouvoir délivrer plusieurs bénéfices, incluant :

Coût inférieur par heure GPU : Les neoclouds facturent souvent une fraction de ce que les hyperscalers facturent pour des instances GPU comparables. Ils affirment que leurs modèles opérationnels lean et stratégies de réutilisation matériel se traduisent en vraies économies.

Accès dédié : Dans de nombreux cas, les fournisseurs neocloud offrent un accès bare metal dédié aux GPU, réduisant la contention et assurant une performance prévisible.

Disponibilité rapide : Avec des processus d'approvisionnement et de provisioning flexibles, les fournisseurs neocloud affirment pouvoir souvent délivrer la capacité bien plus vite que les vendeurs traditionnels, aidant les équipes à itérer et déployer des modèles IA sans délai.

Décentralisation et résilience : Certains neoclouds opèrent sur des modèles distribués, sourçant le calcul depuis des centres de données géographiquement divers ou réseaux d'opérateurs indépendants.

Durabilité : La réutilisation de matériel existant, particulièrement de l'industrie de la cryptomonnaie, réduit les déchets électroniques et promeut des pratiques IT plus durables. Certains neo clouds colocalisent aussi dans des installations alimentées par énergie renouvelable, réduisant davantage l'empreinte carbone.

Voir aussi : Changement de marché GPU : exploiter la chute du minage crypto

GPUs-as-a-Service, réimaginé

À leur cœur, les neoclouds représentent une nouvelle prise sur le modèle GPU-as-a-Service. Les entreprises considérées comme fournisseurs neocloud incluent CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai et d'autres.

Ils sont moins focalisés sur le bundling de GPU avec des services propriétaires et plus intéressés à délivrer du calcul brute haute performance à un prix qui rend l'IA à grande échelle viable pour plus d'entreprises.

En démocratisant l'accès aux GPU abordables, les fournisseurs neocloud croient pouvoir abaisser la barrière à l'entrée pour les entreprises cherchant à construire ou mettre à l'échelle des applications IA. Les petites startups peuvent entraîner des modèles personnalisés sans brûler leur seed funding. Les entreprises peuvent fine-tuner des LLM sur leurs données propriétaires sans céder le contrôle ni surdépenser. Et les institutions de recherche peuvent exécuter des simulations et expériences sans être limitées par les contraintes budgétaires.

Malgré ces avantages, les fournisseurs neocloud sont susceptibles de compétitionner pour le futur proche avec les hyperscalers dans le marché GPU-as-a-Service. Ce marché était évalué à 3,23 milliards $ en 2023 et est projeté à croître à 49,84 milliards $ d'ici 2032, représentant un taux de croissance de 36 %, selon Fortune Business Insights. (Cette estimation inclut à la fois hyperscalers et neoclouds.)

Réflexions finales

Les exigences de calcul pour l'IA continuent de croître. Les fournisseurs neocloud sont une nouvelle génération de fournisseurs d'infrastructure cloud axés sur l'IA qui visent à répondre à ces besoins. Ils se différencient des hyperscalers traditionnels (tels qu'AWS, Azure et GCP) en se concentrant sur la disponibilité GPU optimisée, le pricing flexible et la performance spécialisée pour les charges de travail IA/ML, parmi d'autres fonctionnalités clés.