Dimensionner la charge, puis choisir le GPU.

Pour l’inférence, précisez la révision du modèle, la précision, la longueur des entrées et sorties et les requêtes simultanées. Mesurez débit et latence ensemble à cette charge.

Pour l’entraînement, consignez taille des lots, longueur des séquences, optimiseur et intervalle des points de contrôle. Ces entrées déterminent la mémoire de travail et les communications ; le choix du GPU en découle.

Un modèle de 70 milliards de paramètres à deux octets par paramètre exige 140 Go pour les poids. À un octet : 70 Go ; à quatre bits : 35 Go. Ces estimations décimales précèdent métadonnées de quantification, cache KV, activations et tampons d’exécution.

Mesurez le pic mémoire au contexte et à la concurrence prévus. L’entraînement ajoute gradients et états de l’optimiseur selon la méthode.

ILION exploite des clusters GB300 au Canada. La référence GB300 NVL72 de NVIDIA est une plateforme à l’échelle du rack comprenant 72 GPU et 36 CPU Grace Arm. Il s’agit de chiffres d’architecture du fabricant, pas de l’inventaire ILION.

Le Supermicro SYS-822GS-NB3RT utilise une plateforme HGX B300 à huit GPU. Qualifiez architecture hôte, logiciels et topologie GPU-NIC pour le système choisi.

H200 fournit une référence de 141 Go de HBM3e ; RTX PRO 6000 Blackwell Server Edition, 96 Go de GDDR7 ECC. Bande passante, interconnexion, graphisme et licences diffèrent. Le cahier des charges de Tokyo identifie la configuration exacte des cartes RTX PRO 6000.

Plusieurs GPU exigent une stratégie compatible de partitionnement ou de parallélisme ; la somme des capacités mémoire ne suffit pas à établir la compatibilité applicative.

Conservez les mêmes révision de modèle, précision, longueurs d’entrée, concurrence et versions logicielles entre plateformes. Enregistrez délai du premier token, latence entre tokens, débit total et pic mémoire d’un même essai.

Pour l’entraînement, retenez durée des étapes et résultats de sauvegarde/reprise. Le choix final documente configuration, résultats observés et limites de recette convenues.