Les ingénieurs de Facebook ouvrent un appliance de temps de précision pour centres de données

L'équipe d'ingénierie de Facebook a conçu et publié un appliance de temps de haute précision, un élément clé de l'infrastructure de temporisation moderne des centres de données. En créant la time card – une carte PCIe qui transforme n'importe quel serveur standard en source de temps Stratum-1 – et en s'associant à l'Open Compute Project (OCP), nous avons mis chaque composant de l'Open Time Server à disposition sous licence open source.

En mars 2020, Facebook a annoncé la migration de ses serveurs de centres de données et de produits grand public vers un nouveau service NTP (Network Time Protocol) interne. La mise à niveau a amélioré la précision de la synchronisation temporelle de 10 ms à 100 µs, permettant un contrôle d'infrastructure plus fin et de meilleures performances pour les bases de données distribuées.

La nouvelle architecture NTP repose sur une source Stratum-1 – directement liée à une horloge de référence telle qu'un système de navigation par satellite global (GNSS) ou une horloge au césium :

Les pools NTP publics (ex. time.facebook.com) sont pratiques mais introduisent des dépendances à la connectivité Internet et exposent les systèmes à d'éventuelles pannes ou dérives. Pour éliminer ces risques, nous avons construit un appliance matériel dédié intégrant un récepteur GNSS avec une horloge atomique miniaturisée (MAC). La time card encapsule cette fonctionnalité sur une carte PCIe, permettant à tout serveur x86 équipé d'une carte réseau supportant l'horodatage matériel de devenir une source Stratum-1.

Pourquoi un nouveau dispositif de temps ?

Les appliances de temps commerciales sont éprouvées et souvent stables, mais elles présentent des inconvénients significatifs :

• Elles peuvent être obsolètes et vulnérables aux failles de sécurité, avec des cycles de correctifs s'étalant sur des mois ou des années.
• Le firmware fermé limite la configuration et la surveillance ; les interfaces CLI ou Web propriétaires entravent l'automatisation.
• Le matériel propriétaire n'est pas réparable – une défaillance de composant nécessite une réparation par le vendeur ou un nouvel appareil.
• La production à faible volume entraîne des marges élevées, rendant l'exploitation à long terme coûteuse.

Ces limitations forçaient de nombreuses organisations à accepter des compromis. Nous avons décidé d'explorer une alternative : un appliance de temps open-source, construit sur du matériel x86.

Prototypage de l'appliance de temps

Notre concept initial combinait un récepteur GNSS, un oscillateur à haute stabilité, et un traitement basé sur FPGA en une seule carte PCIe – voir le diagramme de blocs ci-dessous :

Le module GNSS fournit à la fois l'heure du jour (ToD) et un signal d'une impulsion par seconde (PPS). Associé à un oscillateur à haute stabilité – comme un oscillateur à rubidium ou un oscillateur à quartz à fourneau – le système peut atteindre une précision au niveau de la nanoseconde. Le PPS et le ToD sont envoyés à une carte réseau haute performance (ex. NVIDIA Mellanox ConnectX-6 Dx) supportant l'horodatage matériel et le PPS entrée/sortie.

En utilisant l'outil ts2phc, nous avons synchronisé l'horloge physique de la carte réseau au PPS GNSS à quelques dizaines de nanosecondes près, validant notre approche :

Pour améliorer la fiabilité, nous avons divisé le design en deux blocs logiques : la payload (moteur de temps de précision) et la delivery (la carte réseau). La payload interpole le temps entre deux impulsions PPS consécutives en utilisant un moteur basé sur FPGA et un oscillateur local. En cas de perte du GNSS, le moteur s'appuie sur la stabilité inhérente de l'horloge atomique.

Le moteur de temps implémente le filtrage, la synchronisation, la vérification d'erreurs, et les sous-systèmes PCIe. Il calibre continuellement la MAC en comparant son compteur au PPS GNSS, atteignant une précision sous-nanoseconde sur de longues périodes.

En tirant parti d'une référence 10 MHz (d'une horloge au rubidium ou d'une entrée SMA externe), nous convertissons vers 125 MHz (périodes de 8 ns) et associons des incréments de sous-seconde à des pas de 250 ps. Une boucle proportionnelle-intégrale affine la fréquence via un PLL 12,5× et, si nécessaire, des ajustements directs de l'oscillateur.

Le holdover – perte de précision temporelle quand le GNSS est indisponible – est une métrique critique. Notre prototype a atteint moins de 300 ns de dérive sur 24 heures, bien dans les spécifications de la MAC SA.53s.

L'appliance de temps en action

Une fois installée, la time card transforme tout serveur x86 compatible en source de temps Stratum-1, indépendante de NTP, PTP, SyncE ou autres protocoles. La précision du système suffit pour la plupart des besoins de synchronisation temporelle d'entreprise.

La configuration est simple : installer le noyau Linux 5.15+ (ou compiler le driver depuis le dépôt GitHub OCP sur noyau 5.12+). Le driver expose les périphériques PHC, GNSS, PPS, et MAC sous /sys/class/timecard/ocp0/ :

$ ls -l /sys/class/timecard/ocp0/
lrwxrwxrwx. 1 root 0 Aug 3 19:49 device -> ../../../0000:04:00.0/
-r--r--r--. 1 root 4096 Aug 3 19:49 gnss_sync
lrwxrwxrwx. 1 root 0 Aug 3 19:49 i2c -> ../../xiic-i2c.1024/i2c-2/
lrwxrwxrwx. 1 root 0 Aug 3 19:49 pps -> ../../../../../virtual/pps/pps1/
lrwxrwxrwx. 1 root 0 Aug 3 19:49 ptp -> ../../ptp/ptp2/
lrwxrwxrwx. 1 root 0 Aug 3 19:49 ttyGNSS -> ../../tty/ttyS7/
lrwxrwxrwx. 1 root 0 Aug 3 19:49 ttyMAC -> ../../tty/ttyS8/

Configurer chrony ou un démon PTP pour utiliser le PHC comme horloge de référence :

# chrony refclock PHC /dev/ptp2 tai poll 0 trust

La validation avec un Calnex Sentinel montre une stabilité NTP de ±40 µs sur 48 heures et des décalages PTP sous-nanoseconde. L'erreur PPS combinée entre la time card et le Sentinel reste dans ±200 ns.

Le design modulaire permet aussi d'échanger la MAC contre un OCXO ou TCXO plus économique, échangeant la performance de holdover contre le budget.

Open-sourcing du design

Pour élargir l'impact, nous nous sommes associés à l'Open Compute Project pour lancer le Time Appliance Project (TAP). Toutes les spécifications, schémas, nomenclatures, plans mécaniques et code source sont disponibles publiquement sur le dépôt GitHub TAP. Des vendeurs comme Orolia et NVIDIA produisent déjà la time card et les cartes réseau de précision temporelle, respectivement.

Notre spécification Open Time Server détaille comment assembler la pile matérielle et logicielle pour créer un appliance de temps robuste et entièrement contrôlé. En possédant l'ensemble du système, les ingénieurs gagnent en visibilité, sécurité renforcée et maintenance simplifiée.

Bien que l'appliance actuelle représente un bond en avant majeur, nous continuerons à affiner la précision, à étendre la synchronisation à l'infrastructure mondiale de Facebook, et à partager les avancées avec la communauté open-compute.