Skip to main content

Kategori: Genel

NVIDIA DGX-2 Hava Tahminini Hızlandırıyor

Kerem Bayar Yorum yapın

Günümüzde hava durumu ajansları ve rüzgar çiftlikleri, hava alanları, lojistik merkezleri, denizcilik operasyonları ve diğer birçok kuruluş, çoklu düğümlerde karmaşık bilgi işlem kümeleri üzerinde özelleştirilmiş hava durumu tahminleri yürütmektedir.

Bu yaklaşımdaki sorun, kümelenmelerin çoklu işletim sistemleri, paylaşılan dosya sistemleri ve karmaşık yönetim işlemleri gibi bir dizi zorlukla karşılaşmasıdır.

Meteoroloji ve İklimtoloji, İsviçre Meteoroloji ve İklimbilim Dairesi’nden araştırmacılar ve MeteoSwiss, hava tahminlerini daha erişilebilir hale getirmeye yardımcı olmak için, tek bir NVIDIA DGX-2 süper bilgisayarı üzerinde çalışabilecek ve bir kümeyle aynı performansı elde edebilecek bir hava durumu tahmin modeli geliştirdiler.

COSMO adlı algoritma, bir DGX-2 üzerinde 287 milyon şebeke hücresiyle MeteoSwiss’ten 1000 etki alanı veri kümesi çalıştırıyor.

Yukarıdaki görselleştirme, en son Turing GPU’larından yararlanmak için OptiX kullanan ışın izleme yetenekleriyle yakın zamanda geliştirilmiş olan ParaView adlı açık kaynaklı görselleştirme aracını kullanmaktır. Akış görselleştirme, yüksek basınç ve düşük basınç alanları arasındaki rüzgarı gösterir.

Supercomputing 18‘e katılanlar, NVIDIA standında simülasyonun canlı interaktif bir tanıtımını görebilirler.

Kaynak: Nvidia Developer News Center

SONY, NVIDIA V100 Tensor Core GPU’ları ile ResNet-50 Eğitim Rekorunu Kırdı

Kerem Bayar Yorum yapın

Kasım 13, 2018

SONY araştırmacıları ImageNet/ResNet-50 eğitimini 2100 tane NVIDIA Tesla V100 Tensor Core GPU’ları ile sadece 224 saniyede (3 dakika 44 saniye) %75 doğruluk tamamladıklarını duyurdu. Bu başarım, yayınlanmış en hızlı ResNet-50 eğitim süresi anlamına geliyor.

Takım, aynı zamanda 1088 adet NVIDIA Tesla V100 Tensor Core GPU’ları ile %90’ın üzerinde GPU ölçekleme verimi elde etmeyi başardı.

ImageNet/ResNet-50 eğitiminde GPU ölçekleme verimi

İşlemci Ara Bağlantı GPU ölçekleme verimi
Goyal ve diğ. [1] Tesla P100 x256 50Gbit Ethernet ∼90%
Akiba ve diğ. [5] Tesla P100 x1024 Infiniband FDR 80%
Jia ve diğ. [6] Tesla P40 x2048 100Gbit Ethernet 87.90%
Bu çalışma Tesla V100 x1088 Infiniband EDR x2 91.62%

ImageNet/ResNet-50 ile eğitim süresi ve en iyi doğrulama doğruluğu SONY takımı makalesinde “Derin öğrenmede artış için veri seti boyutu ve derin sinir ağı (DNN) modeliyle birlikte, modeli eğitmek için gereken zaman da artıyor.” yazdı.

Paket büyüklüğü İşlemci DL Kütüphanesi Süre Doğruluk
He ve diğ. 256 Tesla P100 x8 Caffe 29 saat 75.30%
Goyal ve diğ. 8K Tesla P100 x256 Caffe2 1 saat 76.30%
Smith ve diğ. 8K→16K full TPU Pod TensorFlow 30 dk 76.10%
Akiba ve diğ. 32K Tesla P100 x1024 Chainer 15 dk 74.90%
Jia ve diğ. 64K Tesla P40 x2048 TensorFlow 6.6 dk 75.80%
Bu çalışma 34K→68K Tesla V100 x2176 NNL 224 sn 75.03%

Takım bu rekoru kırmak için, araştırmacılar iki öncelikli konu olan: geniş mini-paket eğitimi kararsızlığı ve takım içi iletişim uyumluluğu ile büyük ölçekli dağıtımlı eğitimine önem verdiklerini ifade etti.

Araştırmacılar, “Biz geniş mini-paket kararsızlığını göstermek için bir paket boyu kontrol tekniğini benimsedik.” dedi. “Aynı zamanda, GPU’lar arasında verimli bir gradient değişimi için 2D-Torus şeması geliştirdik.”

2D-Torus, verimli bir haberleşme topolojisi gibi hizmet veriyor ve bu da iletişimde takıma uyum sağlama süresini azaltıyor.

Yazılım: Takım “Derin Sinir Ağı eğitim kütüphanesi (DNN) olarak Yapay Sinir Ağı Kütüphaneleri (NNL) ve bunların CUDA eklentilerini kullandık.” dedi. “NNL 1.0.0 CUDA 9.0 verisonları tabanlı geliştirme kolları ile GPU’larda DNN eğitimi için de cuDNN 7.3.1’i kullandık.”

Takım, makalelerinde “Haberleşme kütüphanesi olarak NCCL versiyon 2.3.5 ve OpenMPI versiyon 2.1.3’ü kullandık. 2D-Torus all-reduce ise NCCL2 ile uygulandı. Yukarıdaki yazılım da bir Singularity konteyner içinde paketlendi. Dağılmış DNN eğitimini koşturmak için Singularity versiyon 2.5.2’yi kullandık.” yazdı.

Bu çalışma geliştirme kütüphanesini güçlendirdi “Çekirdek Kütüphanesi: Sinir Ağı Kütüphaneleri Sony tarafından geliştirildi ve AI Bridging Cloud Infrastructure (ABCI) süper bilgisayarı, birinci sınıf hesaplama altyapısı Japan’s National Institute of Advanced Industrial Science and Technology (AIST) tarafından kuruldu ve işletildi. Bu sistem 4300 adet NVIDIA Volta Tensor Core GPU’ları tarafından çalıştırılıyor.

Kaynak: Nvidia Developer News Center

Geri Yayılım Algoritması’na Matematiksel Yaklaşım

Doruk Sönmez Yorum yapın

Geri Yayılım Algoritması

Bir yapay sinir ağı, her birinde özel hesaplamaların yapıldığı nöronlardan oluşmaktadır ve bu nöronların özelleştiği 3 tür katmandan bahsedilmektedir. Bunlar; girdi katmanı, gizli katman ve çıktı katmanıdır. Girdi katmanı, göreve özel olarak türü değişen verilerin sinir ağına sunulduğu katmandır. Veriler, bir ses kaydı (Doğal Dil İşleme), bir görüntü (Görüntü İşleme) veya bir metin (Duygu Analizi) gibi farklı türlerde olabilir.

i = \begin{bmatrix}i_1&i_2&i_3\end{bmatrix}

Verinin türüne göre, yapay sinir ağının gerçekleştireceği işlemler farklılık gösterecektir. Örneğin bir görüntü verisinde, öncelikle renk ayrıştırma veya nesnelerin kenarlarını ayırt etme işlemleri yapılırken; metinsel bir veride öncelikle kelimeleri köklerine ayrıştırma işlemi gerçekleştirilir.

Bir sinir ağındaki katmanlar arasında, her bir katmandaki nöronu bir sonraki katmandaki nöronlara bağlayan bağlantılar ve her bir bağlantının sayısal olarak bir değeri vardır. Bu değerlere ağırlık denir.

 

W_{ig}=\begin{bmatrix}w_{i1g1}&w_{i1g2}&w_{i1g3}&w_{i1g4}\\w_{i2g1}&w_{i2g2}&w_{i2g3}&w_{i2g4}\\w_{i3g1}&w_{i3g2}&w_{i3g3}&w_{i3g4}\end{bmatrix}

W_{gk}=\begin{bmatrix}w_{g1k1}&w_{g1k2}&w_{g1k3}&w_{g1k4}\\w_{g2k1}&w_{g2k2}&w_{g2k3}&w_{g2k4}\\w_{g3k1}&w_{g3k2}&w_{g3k3}&w_{g3k4}\\w_{g3k1}&w_{g3k2}&w_{g3k3}&w_{g3k4}\end{bmatrix}

W_{ko}=\begin{bmatrix}w_{k1o1}&w_{k1o2}\\w_{k2o1}&w_{k2o2}\\w_{k3o1}&w_{k3o2}\\w_{k4o1}&w_{k4o2}\end{bmatrix}

 

Ağırlık değerleri, bağlı oldukları her bir nöronun, eğitimin sonucunda alınacak çıktı değeri için ne kadar öneme sahip olduğunu gösterir. Devamını Oku

Mini Otonom Araç Yarışması Başlıyor!

Ferhat Kurt Yorum yapın

Başvurmadıysanız, çok az zaman kaldı!

Mini Otonom Araç Yarışması, Bilkent Cyberpark, NVIDIA ve MIT Beawer Works ana sponsorluğunda Open Zeka tarafından düzenlenmektedir. Bilkent Cyberpark yarışma kapsamında organizasyon çalışmaları, eğitimde kullanılacak alanlar ve hizmetler konusunda destek sağlamaktadır. NVIDIA ise Derin Öğrenme Kurumu bünyesinde yapay zeka eğitimleri için gerekli altyapı ve kart bağışı ile destek sağlamaktadır. MIT Beaver Works yarışmada kullanılacak dokümanlar konusunda destek vermektedir.

Yarışma hakkında daha fazla bilgi almak için: https://openzeka.com/marc/