Nvidia veut accélérer les transferts de données en connectant les GPU des centres de données aux SSD 

Cette semaine, Microsoft a présenté DirectStorage pour les PC Windows. L’API promet des temps de chargement plus rapides et des graphismes plus détaillés, permettant aux développeurs de jeux de créer des applications qui chargent les données graphiques d’un SSD directement sur le GPU. Maintenant, Nvidia et IBM ont créé une technologie SSD/GPU similaire, mais ils visent à traiter des ensembles de données massifs dans les centres de données.

Plutôt que de se concentrer sur les jeux de console ou PC comme DirectStorage, Big Accelerator Memory (BaM) est conçu pour donner aux centres de données un accès rapide à d’énormes quantités de données dans des applications gourmandes en GPU comme la formation en apprentissage automatique, l’analyse et le calcul haute performance. à un document de recherche découvert par The Register cette semaine. L’article intitulé « BaM : The case for provide fine-grained, high-bandwidth, GPU-driven storage access » ( PDF ), des chercheurs de Nvidia, d’IBM et de plusieurs universités américaines, propose un moyen plus efficace d’exécuter des applications de nouvelle génération dans centres de données avec une puissance de traitement et une bande passante mémoire massives.

BaM diffère également de DirectStorage en ce que les architectes du système prévoient de le rendre open source.

L’article indique que si l’accès aux données de stockage piloté par le processeur convient aux applications GPU « classiques » telles que la formation de réseaux de neurones denses avec des modèles d’accès aux données « prédéfinis, réguliers et denses », il entraîne trop de « temps système ». à la synchronisation CPU-GPU et/ou à l’amplification du trafic d’E/S. Cela le rend moins adapté aux applications de nouvelle génération qui utilisent l’analyse de graphiques et de données, les systèmes de recommandation, les réseaux de neurones graphiques et d’autres « modèles d’accès dépendant des données à grain fin », écrivent les auteurs.

Comme DirectStorage, BaM fonctionne avec un SSD NVMe. Selon le document, BaM « réduit l’amplification du trafic d’E/S en permettant aux threads GPU de lire ou d’écrire de petites quantités de données déterminées par ordinateur à la demande ».

Plus précisément, BaM utilise la mémoire embarquée du GPU, qui est un cache contrôlé par logiciel, ainsi que la bibliothèque de threads logiciels du GPU. Les threads reçoivent des données du SSD et les déplacent à l’aide d’un pilote de noyau Linux personnalisé. Les chercheurs ont testé un système prototype avec un GPU Nvidia A100 PCIe de 40 Go, deux processeurs AMD EPYC 7702 avec 64 cœurs chacun et 1 To de mémoire DDR4-3200. Le système exécute Ubuntu 20.04 LTS.

Les auteurs ont noté que même un SSD « de qualité grand public » peut prendre en charge BaM avec des performances d’application qui sont « compétitives avec une solution DRAM uniquement beaucoup plus chère ».