NVIDIA, Intel et ARM parient leur avenir en IA sur le FP8, publication d’un livre blanc sur le FP 8 bits

NVIDIA, Intel et ARM parient leur avenir en IA sur le FP8, publication d'un livre blanc sur le FP 8 bits


Trois grandes sociétés de technologie et d’IA, Arm, Intel et NVIDIA se sont associées pour normaliser la toute nouvelle norme FP8 ou 8-Bit Floating Point. Les sociétés ont publié un nouveau livre blanc décrivant le concept d’une spécification à virgule flottante 8 bits et les variantes correspondantes, appelée FP8 avec les variantes E5M2 et E4M3, pour fournir un arrangement interchangeable standard qui peut fonctionner à la fois pour l’inférence et la formation de l’intelligence artificielle (IA). .

NVIDIA, ARM et Intel se tournent vers le FP8 “8-Bit Floating Point” pour leurs futurs projets d’IA

En théorie, ce nouvel alignement des spécifications intersectorielles entre ces trois géants de la technologie permettra aux modèles d’IA de fonctionner et de fonctionner sur toutes les plates-formes matérielles, accélérant le développement de logiciels d’IA.

L’innovation en matière d’intelligence artificielle est devenue de plus en plus une nécessité dans les logiciels et le matériel pour produire un débit de calcul suffisant pour que la technologie puisse progresser. Les exigences en matière de calculs d’IA ont augmenté au cours des dernières années, mais davantage au cours de l’année précédente. L’un de ces domaines de recherche sur l’IA qui gagne en importance pour combler le fossé informatique est la réduction des exigences de précision numérique dans l’apprentissage en profondeur, améliorant à la fois la mémoire et l’efficacité de calcul.

Source de l’image : “Formats FP8 pour l’apprentissage en profondeur”, via NVIDIA, Arm et Intel.

Intel a l’intention de soutenir la spécification du format AI dans sa feuille de route qui couvre les processeurs, les cartes graphiques et de nombreux accélérateurs AI. L’entreprise travaille sur un accélérateur, l’accélérateur d’apprentissage en profondeur Habana Gaudi. La promesse de méthodes de précision réduite permet de découvrir les propriétés inhérentes de résistance au bruit dans les réseaux de neurones d’apprentissage en profondeur axés sur l’amélioration de l’efficacité des calculs.

Source de l’image : “Formats FP8 pour l’apprentissage en profondeur”, via NVIDIA, Arm et Intel.

La nouvelle spécification FP8 réduira les écarts par rapport aux formats à virgule flottante IEEE 754 actuels avec un niveau confortable entre le logiciel et le matériel, tirant parti des implémentations actuelles de l’IA, accélérant l’adoption et améliorant la productivité des développeurs.

language-model-ai-training-1
langage-modèle-ai-inférence-1

Le document financera le principe de tirer parti de tous les algorithmes, concepts ou conventions construits sur la normalisation IEEE entre Intel, Arm et NVIDIA. Avoir une norme plus cohérente entre toutes les entreprises accordera la latitude la plus considérable pour l’avenir de l’innovation en IA tout en maintenant les conventions actuelles dans l’industrie.

Sources d’actualités : Arm, spécification FP8

Leave a Comment