OpenAI muscle Git pour encaisser le code produit par son IA

Résumé

OpenAI a conçu Pando, un backend compatible avec Git, pour absorber l’essor du développement parallèle permis par Codex et accélérer les dépôts.

Les faits

La hausse rapide de la taille et des exigences du monorepo d’OpenAI, amplifiée par le développement parallèle rendu possible par Codex, a conduit l’entreprise à revoir son système de gestion du code source. OpenAI a construit Pando, un nouveau backend pour les dépôts Git, sans interrompre le travail d’ingénierie ni modifier les usages de Git de ses équipes. Pando alimente désormais l’ensemble du développement du monorepo d’OpenAI. Le système poursuit deux objectifs : permettre une écriture évolutive horizontalement, adaptée aux envois simultanés vers plusieurs branches, et maximiser le débit de lecture afin que les clients puissent télécharger les données assez rapidement pour saturer leur bande passante disponible. Pando reste compatible avec le protocole et le client Git, ce qui permet à ses ingénieurs et à ses agents de l’intégrer à leurs flux de travail existants. En production, Pando a réduit de près de cinq fois la latence médiane des envois. Le backend distribue désormais près d’un pétaoctet de données Git par jour. OpenAI explique que les systèmes qui soutenaient son monorepo rencontraient auparavant des récupérations et des envois lents, ainsi que des fusions échouées, avec une fiabilité parfois inférieure à 90 %. Pando coordonne séparément les mises à jour de chaque branche : les modifications concernant des branches distinctes peuvent progresser en parallèle. Pour les lectures, il réutilise les fichiers pack — le format de Git destiné à compresser plusieurs objets — entre les récupérations, au lieu de générer un fichier pack individuel pour chaque client.

Pourquoi c’est important

L’enjeu dépasse l’accélération d’un dépôt interne. L’augmentation du nombre de branches, d’envois, de fusions et de récupérations impose à l’infrastructure de gestion du code de supporter davantage d’opérations concurrentes, notamment lorsque plusieurs tâches de CI récupèrent simultanément le même commit. Le choix de conserver la compatibilité avec Git permet à OpenAI d’augmenter les capacités de son infrastructure sans imposer un nouvel outil à ses ingénieurs et à ses agents. L’entreprise indique également vouloir contribuer à Git en partageant les améliorations issues de son propre développement, afin de soutenir le travail à l’échelle des agents.

Questions fréquentes

Qu’est-ce que Pando ?

Pando est un backend pour les dépôts Git conçu par OpenAI pour gérer le volume et le parallélisme du développement dans son monorepo.

Pando est-il compatible avec Git ?

Oui. Pando conserve la compatibilité avec le protocole et le client Git, sans modifier les flux de travail existants.

Quel gain de latence Pando apporte-t-il ?

En production, Pando a réduit de près de cinq fois la latence médiane des envois.

Quel volume de données Pando distribue-t-il ?

Pando distribue désormais près d’un pétaoctet de données Git par jour.

Pourquoi OpenAI a-t-elle construit Pando ?

L’essor du développement parallèle permis par Codex a accru le nombre de branches, d’envois, de fusions et de récupérations à gérer.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.