Nvidia ønsker at fremskynde dataoverførsler ved at forbinde datacenter-GPU’er til SSD’er 

I denne uge introducerede Microsoft DirectStorage til Windows-pc’er. API’en lover hurtigere indlæsningstider og mere detaljeret grafik, hvilket giver spiludviklere mulighed for at skabe applikationer, der indlæser grafikdata fra en SSD direkte til GPU’en. Nu har Nvidia og IBM skabt en lignende SSD/GPU-teknologi, men de er rettet mod at håndtere massive datasæt i datacentre.

I stedet for at fokusere på konsol- eller pc-spil som DirectStorage, er Big Accelerator Memory (BaM) designet til at give datacentre hurtig adgang til enorme mængder af data i GPU-intensive applikationer som maskinlæringstræning, analyse og højtydende databehandling. til et forskningspapir opdaget af The Register i denne uge. Paper med titlen “BaM: The case for providing finkornet, high-bandwidth, GPU-driven storage access”( PDF ), forskere ved Nvidia, IBM og flere amerikanske universiteter, tilbyder en mere effektiv måde at køre næste generations applikationer i datacentre med massiv processorkraft og hukommelsesbåndbredde.

BaM adskiller sig også fra DirectStorage ved, at systemarkitekterne planlægger at gøre det til open source.

Papiret fastslår, at mens CPU-drevet lagerdataadgang er velegnet til “klassiske” GPU-applikationer såsom tæt neuralt netværkstræning med “foruddefinerede, regelmæssige, tætte” dataadgangsmønstre, medfører det for meget “overhead”. til CPU-GPU-synkronisering og/eller forstærkning af I/O-trafik.” Dette gør det mindre egnet til næste generations applikationer, der bruger graf- og dataanalyse, anbefalingssystemer, grafiske neurale netværk og andre “finkornede dataafhængige adgangsmønstre,” skriver forfatterne.

Ligesom DirectStorage fungerer BaM sammen med en NVMe SSD. Ifølge dokumentet “reducerer BaM I/O-trafikforstærkning ved at tillade GPU-tråde at læse eller skrive små mængder computerbestemt data efter behov.”

Specifikt bruger BaM GPU’ens indbyggede hukommelse, som er en softwarestyret cache, samt GPU’ens softwaretrådsbibliotek. Tråde modtager data fra SSD’en og flytter dem rundt ved hjælp af en brugerdefineret Linux-kernedriver. Forskerne testede et prototypesystem med en 40 GB Nvidia A100 PCIe GPU, to AMD EPYC 7702-processorer med hver 64 kerner og 1 TB DDR4-3200-hukommelse. Systemet kører Ubuntu 20.04 LTS.

Forfatterne bemærkede, at selv en “forbruger-klasse” SSD kan understøtte BaM med applikationsydelse, der er “konkurrencedygtig med en meget dyrere DRAM-only-løsning.”