Skip to main content

SONY, NVIDIA V100 Tensor Core GPU’ları ile ResNet-50 Eğitim Rekorunu Kırdı

Kasım 13, 2018

SONY araştırmacıları ImageNet/ResNet-50 eğitimini 2100 tane NVIDIA Tesla V100 Tensor Core GPU’ları ile sadece 224 saniyede (3 dakika 44 saniye) %75 doğruluk tamamladıklarını duyurdu. Bu başarım, yayınlanmış en hızlı ResNet-50 eğitim süresi anlamına geliyor.

Takım, aynı zamanda 1088 adet NVIDIA Tesla V100 Tensor Core GPU’ları ile %90’ın üzerinde GPU ölçekleme verimi elde etmeyi başardı.

ImageNet/ResNet-50 eğitiminde GPU ölçekleme verimi

İşlemci Ara Bağlantı GPU ölçekleme verimi
Goyal ve diğ. [1] Tesla P100 x256 50Gbit Ethernet ∼90%
Akiba ve diğ. [5] Tesla P100 x1024 Infiniband FDR 80%
Jia ve diğ. [6] Tesla P40 x2048 100Gbit Ethernet 87.90%
Bu çalışma Tesla V100 x1088 Infiniband EDR x2 91.62%

ImageNet/ResNet-50 ile eğitim süresi ve en iyi doğrulama doğruluğu SONY takımı makalesinde “Derin öğrenmede artış için veri seti boyutu ve derin sinir ağı (DNN) modeliyle birlikte, modeli eğitmek için gereken zaman da artıyor.” yazdı.

Paket büyüklüğü İşlemci DL Kütüphanesi Süre Doğruluk
He ve diğ. 256 Tesla P100 x8 Caffe 29 saat 75.30%
Goyal ve diğ. 8K Tesla P100 x256 Caffe2 1 saat 76.30%
Smith ve diğ. 8K→16K full TPU Pod TensorFlow 30 dk 76.10%
Akiba ve diğ. 32K Tesla P100 x1024 Chainer 15 dk 74.90%
Jia ve diğ. 64K Tesla P40 x2048 TensorFlow 6.6 dk 75.80%
Bu çalışma 34K→68K Tesla V100 x2176 NNL 224 sn 75.03%

Takım bu rekoru kırmak için, araştırmacılar iki öncelikli konu olan: geniş mini-paket eğitimi kararsızlığı ve takım içi iletişim uyumluluğu ile büyük ölçekli dağıtımlı eğitimine önem verdiklerini ifade etti.

Araştırmacılar, “Biz geniş mini-paket kararsızlığını göstermek için bir paket boyu kontrol tekniğini benimsedik.” dedi. “Aynı zamanda, GPU’lar arasında verimli bir gradient değişimi için 2D-Torus şeması geliştirdik.”

2D-Torus, verimli bir haberleşme topolojisi gibi hizmet veriyor ve bu da iletişimde takıma uyum sağlama süresini azaltıyor.

Yazılım: Takım “Derin Sinir Ağı eğitim kütüphanesi (DNN) olarak Yapay Sinir Ağı Kütüphaneleri (NNL) ve bunların CUDA eklentilerini kullandık.” dedi. “NNL 1.0.0 CUDA 9.0 verisonları tabanlı geliştirme kolları ile GPU’larda DNN eğitimi için de cuDNN 7.3.1’i kullandık.”

Takım, makalelerinde “Haberleşme kütüphanesi olarak NCCL versiyon 2.3.5 ve OpenMPI versiyon 2.1.3’ü kullandık. 2D-Torus all-reduce ise NCCL2 ile uygulandı. Yukarıdaki yazılım da bir Singularity konteyner içinde paketlendi. Dağılmış DNN eğitimini koşturmak için Singularity versiyon 2.5.2’yi kullandık.” yazdı.

Bu çalışma geliştirme kütüphanesini güçlendirdi “Çekirdek Kütüphanesi: Sinir Ağı Kütüphaneleri Sony tarafından geliştirildi ve AI Bridging Cloud Infrastructure (ABCI) süper bilgisayarı, birinci sınıf hesaplama altyapısı Japan’s National Institute of Advanced Industrial Science and Technology (AIST) tarafından kuruldu ve işletildi. Bu sistem 4300 adet NVIDIA Volta Tensor Core GPU’ları tarafından çalıştırılıyor.

Kaynak: Nvidia Developer News Center

Görüntü İşleme İçin Derin Öğrenmenin Temelleri Eğitimi

Open Zeka, NVIDIA ve BTK Akademi işbirliği ile Üniversite Öğrencileri ve Akademik Personele Yönelik “Görüntü İşleme İçin Derin Öğrenmenin Temelleri Eğitimi26 Eylül 2018 günü BTK Merkez Bina yerleşkesinde gerçekleştirilecektir.

Kayıt: http://etkinlik.btk.gov.tr/etkinlik/detay/goruntu_isleme_icin_derin_ogrenmenin_temelleri_egitimi

NVIDIA DLI Sertifikalı

Katılım sayısı sınırlı olup, online ortamda yapılacak başvuru sırasına göre katılımcılar belirlenecektir. Başvurunuz onaylandığında size e-posta ile bildirim yapılacaktır.

Eğitim ücretsizdir ve sertifikalıdır. Gün sonunda online olarak yapılacak uygulama sınavını başarıyla tamamlayanlar NVIDIA DLI Sertifikası alacaklardır.

Eğitim uygulamalı olduğu için katılımcılar eğitime kendi dizüstü bilgisayarı ile katılmalıdır.

Üniversite öğrencilerinin Öğrenci Kimlik Kartlarını, akademisyenlerin ise Kurum Kimlik Kartlarını eğitim boyunca yanlarında bulundurması zorunludur

  • Son Kayıt Tarihi: 21/09/2018
  • Etkinlik Tarihi: 26/09/2018
  • Başlama Saati: 09:00
  • Bitiş Saati: 18:00
  • Adres: Eskişehir Yolu 10.Km No:276
    Çankaya
    06530
  • Şehir: Ankara

Derin Öğrenme Atölyesi – HacknBreak 2017

Derin öğrenmeyle zorlu sorunları çözmek isteyenler için NVIDIA Derin Öğrenme Kurumu (DLI) ve Open Zeka tarafından ücretsiz uygulamalı Derin Öğrenme Atölyesi yapılacaktır. Eğitimi tamamlayan katılımcılara NVIDIA DLI tarafından sertifika gönderilecektir.

Eğitim tarihi: 20 Ağustos 2017
Eğitim yeri: İzmir / HacknBreak 2017
Kontenjan: 100 kişi

Eğitim kaydı: 19-20 Ağustos 2017 günleri Open Zeka standından alınacaktır.

Program:

3 saatlik atölye eğitiminde aşağıdaki başlıklarda çalışma yapılacaktır.

  • Giriş: Derin öğrenme algoritmalarının çalışma mantığı, gelişimi ve neden popüler olduğu farklı sektörlerden örneklerle anlatılacaktır.
  • Uygulamalı eğitim: Derin öğrenme ile yüksek doğrulukta resim sınıflandırma nasıl yapılır? Resim sınıflandırma probleminde başarıyı artırma konusunda neler yapılmalıdır?
  • OpenZeka MARC (Mini Otonom Araç Yarışması) Tanıtımı: Yarışma kapsamı ve katılımcılara verilecek yapay zeka eğitimi konusunda bilgilendirme yapılacaktır..

İçerik düzeyi: Başlangıç ​​

Eğitim dili: Türkçe

DLI Atölyesi Katılımcı Talimatları

Kendi dizüstü bilgisayarınızı bu atölyeye getirmelisiniz.

Dizüstü bilgisayarınızın atölyeden önce aşağıdaki adımları takip edin ve bir problem olmadığına emin olun.

Etkinlik kaydında kullandığınız katılımcı e-posta adresinin aynısını kullanarak https://nvlabs.qwiklab.com/ adresinden qwikLABS hesabı oluşturun.

http://websocketstest.com/ adresine giderek dizüstü bilgisayarınızda qwikLABS’ın sorunsuz çalışıp çalışmadığını kontrol ediniz.

Websockets’in çalışırlık kontrolü için Enviroment altında WebsSockets supported alanının ve WebSockets (Port 80) altında Data Receive, Data Send ve Echo Test alanlarının hepsinin Yes olarak işaretlendiğini kontrol ediniz.

WebSockets ile ilgili sorunlar varsa, tarayıcınızı güncellemeyi deneyebilirsiniz. QwikLABS için en iyi tarayıcılar Chrome, FireFox ve Safari’dir. Laboratuarlar IE’de çalışabilir, ancak optimum bir deneyim değildir.

Bu atölye kimler için?

Veri bilimcileri, geliştiriciler, araştırmacılar ve meraklılar.

Önkoşul bilgisi

Veri bilimi ve makine öğrenimi ile ilgili temel bilgilere sahip olunması anlamayı kolaylaştırmaktadır. Sadece bilgisayar kullanmayı biliyorum diyorsanız yine katılabilirsiniz. Bu eğitimde bir görüntü işleme uzmanı kadar başarılı resim sınıflandırma yapabileceksiniz.

Konuşmacı

Ferhat Kurt, NVIDIA Derin Öğrenme Kurumu sertifikalı eğitmeni ve Open Zeka firmasının kurucusudur.

 

 

 


Eğitim Sponsorları