1 500 microprocesseurs dédiés à l’IA
C’est l’infrastructure, assez modeste, mise à la disposition des chercheurs de Kyutai. À titre de comparaison, Meta aura déployé, d’ici la fin 2024, 500 000 processeurs Nvidia H100, les plus puissants pour effectuer les calculs ; et Microsoft en aura installé 1,8 million.
50 fois plus de données chez l’enfant
C’est le différentiel entre le volume de données assimilées par un enfant au cours des quatre premières années de sa vie (1,1 x 1015 octets) et un LLM (2 x 1013 octets). Pour les sceptiques des LLM, ce décalage démontre le chemin à parcourir avant de parvenir à une intelligence même rudimentaire.
6 mois d’entraînement
C’est la durée moyenne avant qu’un LLM soit opérationnel. Mais certains nécessitent deux à trois fois plus de temps ; le record est de 3,55 années. Ce délai ne comprend pas les opérations de sécurisation et d’alignement du modèle.
100 000 milliards de mots dans 166 langues
C’est la taille de la version 2024 du jeu de données publiques Common Crawl – principale base linguistique des LLM. La distribution est très concentrée : 46 % est en anglais ; l’allemand, le russe, le japonais, le français, l’espagnol et le chinois comptent chacun pour moins de 6 %.
85 à 134 térawattheures
Selon un scénario moyen, en 2027, les serveurs dédiés à l’IA consommeront 0,5 % de l’électricité mondiale, soit l’équivalent de la demande de pays comme l’Argentine ou les Pays-Bas.
