Nvidia chce przyspieszyć transfer danych, łącząc procesory graficzne w centrach danych z dyskami SSD 

W tym tygodniu Microsoft wprowadził DirectStorage dla komputerów z systemem Windows. Interfejs API obiecuje szybsze ładowanie i bardziej szczegółową grafikę, umożliwiając twórcom gier tworzenie aplikacji, które ładują dane graficzne z dysku SSD bezpośrednio do GPU. Teraz Nvidia i IBM stworzyły podobną technologię SSD/GPU, ale mają na celu radzenie sobie z ogromnymi zbiorami danych w centrach danych.

Zamiast koncentrować się na grach konsolowych lub komputerowych, takich jak DirectStorage, pamięć Big Accelerator Memory (BaM) została zaprojektowana w celu zapewnienia centrom danych szybkiego dostępu do ogromnych ilości danych w aplikacjach intensywnie korzystających z procesora graficznego, takich jak szkolenia w zakresie uczenia maszynowego, analizy i obliczenia o wysokiej wydajności. do artykułu badawczego odkrytego przez The Register w tym tygodniu. Artykuł zatytułowany „BaM: Sprawa zapewnienia drobnoziarnistego dostępu do pamięci masowej o wysokiej przepustowości opartej na procesorach graficznych” ( PDF ), autorstwa naukowców z firm Nvidia, IBM i kilku amerykańskich uniwersytetów, oferuje wydajniejszy sposób uruchamiania aplikacji nowej generacji w centrów danych o ogromnej mocy obliczeniowej i przepustowości pamięci.

BaM różni się od DirectStorage również tym, że architekci systemu planują uczynić go open source.

W artykule stwierdzono, że chociaż dostęp do danych w pamięci masowej oparty na procesorze jest odpowiedni dla „klasycznych” aplikacji GPU, takich jak uczenie gęstej sieci neuronowej z „predefiniowanymi, regularnymi, gęstymi” wzorcami dostępu do danych, wiąże się to ze zbyt dużymi „narzutami”. do synchronizacji CPU-GPU i/lub wzmocnienia ruchu I/O.” To sprawia, że ​​jest mniej odpowiedni dla aplikacji nowej generacji, które korzystają z analizy wykresów i danych, systemów rekomendacji, grafowych sieci neuronowych i innych „drobnoziarnistych wzorców dostępu zależnych od danych”, piszą autorzy.

Podobnie jak DirectStorage, BaM współpracuje z dyskiem SSD NVMe. Zgodnie z dokumentem BaM „zmniejsza wzmocnienie ruchu I/O, umożliwiając wątkom GPU odczytywanie lub zapisywanie niewielkich ilości danych określanych przez komputer na żądanie”.

W szczególności BaM wykorzystuje wbudowaną pamięć GPU, która jest kontrolowaną programowo pamięcią podręczną, a także bibliotekę wątków oprogramowania GPU. Wątki odbierają dane z dysku SSD i przenoszą je za pomocą niestandardowego sterownika jądra systemu Linux. Naukowcy przetestowali prototypowy system z 40 GB procesorem graficznym Nvidia A100 PCIe, dwoma procesorami AMD EPYC 7702 z 64 rdzeniami każdy i 1 TB pamięci DDR4-3200. System działa pod kontrolą Ubuntu 20.04 LTS.

Autorzy zauważyli, że nawet dysk SSD „klasy konsumenckiej” może obsługiwać BaM z wydajnością aplikacji, która „jest konkurencyjna w stosunku do znacznie droższego rozwiązania zawierającego wyłącznie DRAM”.