Intel, Arm et Nvidia proposent une nouvelle norme pour rendre le traitement de l’IA plus efficace • TechCrunch

Intel, Arm et Nvidia proposent une nouvelle norme pour rendre le traitement de l'IA plus efficace • TechCrunch


Dans la poursuite d’un développement de systèmes d’IA plus rapide et plus efficace, Intel, Arm et Nvidia ont publié aujourd’hui un projet de spécification pour ce qu’ils appellent un format d’échange commun pour l’IA. Bien que volontaire, la norme proposée de «virgule flottante 8 bits (FP8)», disent-ils, a le potentiel d’accélérer le développement de l’IA en optimisant l’utilisation de la mémoire matérielle et de fonctionner à la fois pour la formation à l’IA (c’est-à-dire l’ingénierie des systèmes d’IA) et l’inférence (l’exécution du systèmes).

Lors du développement d’un système d’IA, les scientifiques des données sont confrontés à des choix d’ingénierie clés au-delà de la simple collecte de données pour entraîner le système. L’une consiste à sélectionner un format pour représenter les pondérations du système – les pondérations étant les facteurs tirés des données d’apprentissage qui influencent les prédictions du système. Les poids sont ce qui permet à un système comme GPT-3 de générer des paragraphes entiers à partir d’une invite d’une phrase, par exemple, ou DALL-E 2 pour créer des portraits photoréalistes à partir d’une légende.

Les formats courants incluent la virgule flottante demi-précision, ou FP16, qui utilise 16 bits pour représenter les poids du système, et la simple précision (FP32), qui utilise 32 bits. La demi-précision et moins réduisent la quantité de mémoire nécessaire pour former et exécuter un système d’IA tout en accélérant les calculs et même en réduisant la bande passante et la consommation d’énergie. Mais ils sacrifient une certaine précision pour réaliser ces gains ; après tout, 16 bits c’est moins pour travailler que 32.

Cependant, de nombreux acteurs de l’industrie, notamment Intel, Arm et Nvidia, se regroupent autour du FP8 (8 bits). Dans un article de blog, le directeur du marketing produit de Nvidia, Shar Narasimhan, note que le format proposé susmentionné, qui est FP8, montre une “précision comparable” aux précisions de 16 bits dans les cas d’utilisation, y compris la vision par ordinateur et les systèmes de génération d’images, tout en offrant des accélérations “significatives”. .

Nvidia, Arm et Intel disent qu’ils rendent leur format FP8 sans licence, dans un format ouvert. Un livre blanc le décrit plus en détail ; Narasimhan indique que les spécifications seront soumises à l’IEEE, l’organisation professionnelle qui maintient les normes dans un certain nombre de domaines techniques, pour examen à une date ultérieure.

“Nous pensons que le fait d’avoir un format d’échange commun permettra des progrès rapides et l’interopérabilité des plates-formes matérielles et logicielles pour faire progresser l’informatique”, a déclaré Narasimhan.

Le trio ne pousse pas nécessairement à la parité par bonté de cœur. L’architecture GH100 Hopper de Nvidia implémente nativement FP8, tout comme le chipset de formation Gaudi2 AI d’Intel.

Mais un format FP8 commun profiterait également à des rivaux comme SambaNova, AMD, Groq, IBM, Graphcore et Cerebras – qui ont tous expérimenté ou adopté une forme de FP8 pour le développement de systèmes. Dans un article de blog en juillet, le co-fondateur et CTO de Graphcore, Simon Knowles, a écrit que “l’avènement de la virgule flottante 8 bits offre d’énormes avantages en termes de performances et d’efficacité pour le calcul de l’IA”, affirmant que c’est aussi “une opportunité” pour l’industrie de s’installer sur une « norme ouverte unique » plutôt que d’introduire un mélange de formats concurrents.

Leave a Comment