Skip to main content

SONY, NVIDIA V100 Tensor Core GPU’ları ile ResNet-50 Eğitim Rekorunu Kırdı

Kasım 13, 2018

SONY araştırmacıları ImageNet/ResNet-50 eğitimini 2100 tane NVIDIA Tesla V100 Tensor Core GPU’ları ile sadece 224 saniyede (3 dakika 44 saniye) %75 doğruluk tamamladıklarını duyurdu. Bu başarım, yayınlanmış en hızlı ResNet-50 eğitim süresi anlamına geliyor.

Takım, aynı zamanda 1088 adet NVIDIA Tesla V100 Tensor Core GPU’ları ile %90’ın üzerinde GPU ölçekleme verimi elde etmeyi başardı.

ImageNet/ResNet-50 eğitiminde GPU ölçekleme verimi

İşlemci Ara Bağlantı GPU ölçekleme verimi
Goyal ve diğ. [1] Tesla P100 x256 50Gbit Ethernet ∼90%
Akiba ve diğ. [5] Tesla P100 x1024 Infiniband FDR 80%
Jia ve diğ. [6] Tesla P40 x2048 100Gbit Ethernet 87.90%
Bu çalışma Tesla V100 x1088 Infiniband EDR x2 91.62%

ImageNet/ResNet-50 ile eğitim süresi ve en iyi doğrulama doğruluğu SONY takımı makalesinde “Derin öğrenmede artış için veri seti boyutu ve derin sinir ağı (DNN) modeliyle birlikte, modeli eğitmek için gereken zaman da artıyor.” yazdı.

Paket büyüklüğü İşlemci DL Kütüphanesi Süre Doğruluk
He ve diğ. 256 Tesla P100 x8 Caffe 29 saat 75.30%
Goyal ve diğ. 8K Tesla P100 x256 Caffe2 1 saat 76.30%
Smith ve diğ. 8K→16K full TPU Pod TensorFlow 30 dk 76.10%
Akiba ve diğ. 32K Tesla P100 x1024 Chainer 15 dk 74.90%
Jia ve diğ. 64K Tesla P40 x2048 TensorFlow 6.6 dk 75.80%
Bu çalışma 34K→68K Tesla V100 x2176 NNL 224 sn 75.03%

Takım bu rekoru kırmak için, araştırmacılar iki öncelikli konu olan: geniş mini-paket eğitimi kararsızlığı ve takım içi iletişim uyumluluğu ile büyük ölçekli dağıtımlı eğitimine önem verdiklerini ifade etti.

Araştırmacılar, “Biz geniş mini-paket kararsızlığını göstermek için bir paket boyu kontrol tekniğini benimsedik.” dedi. “Aynı zamanda, GPU’lar arasında verimli bir gradient değişimi için 2D-Torus şeması geliştirdik.”

2D-Torus, verimli bir haberleşme topolojisi gibi hizmet veriyor ve bu da iletişimde takıma uyum sağlama süresini azaltıyor.

Yazılım: Takım “Derin Sinir Ağı eğitim kütüphanesi (DNN) olarak Yapay Sinir Ağı Kütüphaneleri (NNL) ve bunların CUDA eklentilerini kullandık.” dedi. “NNL 1.0.0 CUDA 9.0 verisonları tabanlı geliştirme kolları ile GPU’larda DNN eğitimi için de cuDNN 7.3.1’i kullandık.”

Takım, makalelerinde “Haberleşme kütüphanesi olarak NCCL versiyon 2.3.5 ve OpenMPI versiyon 2.1.3’ü kullandık. 2D-Torus all-reduce ise NCCL2 ile uygulandı. Yukarıdaki yazılım da bir Singularity konteyner içinde paketlendi. Dağılmış DNN eğitimini koşturmak için Singularity versiyon 2.5.2’yi kullandık.” yazdı.

Bu çalışma geliştirme kütüphanesini güçlendirdi “Çekirdek Kütüphanesi: Sinir Ağı Kütüphaneleri Sony tarafından geliştirildi ve AI Bridging Cloud Infrastructure (ABCI) süper bilgisayarı, birinci sınıf hesaplama altyapısı Japan’s National Institute of Advanced Industrial Science and Technology (AIST) tarafından kuruldu ve işletildi. Bu sistem 4300 adet NVIDIA Volta Tensor Core GPU’ları tarafından çalıştırılıyor.

Kaynak: Nvidia Developer News Center

Bir Cevap Yazın

Bu site, istenmeyenleri azaltmak için Akismet kullanıyor. Yorum verilerinizin nasıl işlendiği hakkında daha fazla bilgi edinin.

%d