Nvidia, veri merkezi operatörlerine geniş yapay zeka altyapısına gerçek zamanlı görünürlük sağlamayı amaçlayan yeni bir GPU filo yönetim platformu kullanıma sundu. Sistem, küresel olarak dağıtılmış kurulumlardan gelen telemetri verilerini Nvidia'nın NGC bulut platformuna çekerek, donanım sağlığından enerji verimliliğine ve şu anda çalışan GPU'ların fiziksel konumuna kadar her şeyi ortaya çıkarıyor.
Yazılım , her ortamda kurulu, müşteri tarafından yönetilen bir aracıya dayanmaktadır. Bu aracı, ayrıntılı sistem verilerini toplar ve NGC üzerinde barındırılan merkezi bir kontrol paneline gönderir. Buradan operatörler, performansı birden fazla düzeyde inceleyebilir: dağıtılan tüm donanımın genel görünümü, bireysel şirket içi veya bulut sitelerine karşılık gelen işlem bölgeleri ve düğüm bazında ayrıntılı dökümler.
Elde edilen veriler yalnızca envanter ve kullanım özetleri sağlamakla kalmaz, aynı zamanda her bir GPU'nun fiziksel olarak nerede çalıştığını da belirleyebilir; bu işlevsellik, kısıtlı yapay zeka işlemcilerinin kaçakçılığını veya yetkisiz ihracatını caydırabilir.
Nvidia, yazılımın tamamen bir izleme katmanı olduğunu vurguluyor. GPU'ları devre dışı bırakma veya davranışlarını uzaktan değiştirme yeteneği bulunmuyor; bu tasarım tercihi, arka kapılar veya üretici tarafından kontrol edilen devre dışı bırakma mekanizmalarıyla ilgili endişeleri gidermeyi amaçlıyor. Pratik anlamda, Nvidia çiplerinin izin verilmeyen bölgelerde görünüp görünmediğini görebiliyor, ancak bunları devre dışı bırakmak için herhangi bir teknik mekanizmaya sahip değil. Şirket, platformun açık kaynaklı olduğunu, müşteriler tarafından kurulup yönetildiğini ve tamamen denetlenebilir olduğunu belirtiyor.
Sistem içindeki telemetri, performans analizini de destekler. Platform, kısa süreli yük artışları da dahil olmak üzere güç davranışını izleyerek operatörlerin enerji verimliliğini hassas bir şekilde ayarlarken güç bütçeleri dahilinde kalmalarını sağlar.
Ayrıca, çok düğümlü kümeler genelinde GPU kullanımını, bellek bant genişliği kullanımını ve ara bağlantı performansını da yakalar. Bu sinyaller birlikte ele alındığında, büyük ölçekli eğitim veya çıkarım iş yükleri sırasında performansı sessizce baltalayabilecek bant genişliği doygunluğu veya bozulmuş bağlantılar gibi ince verimsizlikleri ortaya çıkarabilir.
Termal yönetim de bir diğer odak noktasıdır. İzleme ajanı, yoğun sunucu yapılandırmalarında yetersiz soğutmaya işaret edebilecek ısı yoğunlaşmasını ve hava akışı düzensizliklerini tespit eder. Bu termal dengesizliklerin erken tespiti, donanım ömrünü kısaltabilecek ve GPU ağırlıklı raflarda verimliliği düşürebilecek performans düşüşü veya bileşen eskimesi gibi sorunlar ortaya çıkmadan önce düzeltici önlemler alınmasını sağlar.
Platform ayrıca dağıtılmış sistemler arasında tutarlılığı da kontrol eder. Sunucuların aynı yazılım yığınlarını, sürücü sürümlerini ve yapılandırma ayarlarını çalıştırdığını doğrular.
Yeni sistem Nvidia'nın veri merkezi yönetim portföyünü genişletse de mevcut araçların yerini almıyor. Veri Merkezi GPU Yöneticisi (DCGM), merkezi görselleştirme özelliği olmamasına ve genellikle özel entegrasyon gerektirmesine rağmen, yerel ve düşük seviyeli teşhisler için kullanılmaya devam ediyor.
Nvidia'nın Base Command platformu ise tamamen farklı bir katmanda çalışarak yapay zeka iş planlamasını, veri kümesi organizasyonunu ve iş akışı düzenlemesini yönetiyor. Bu üç hizmet birlikte, GPU yönetiminin her katmanını kapsayan eksiksiz bir sistem oluşturuyor: DCGM düğüm düzeyinde telemetri sağlıyor, Base Command iş yüklerini yönetiyor ve yeni filo izleme yazılımı, bunları şirket içi ve bulut dağıtımlarında filo ölçeğinde görünürlükle birleştiriyor.
Platformun isteğe bağlı katılım özelliği, operatörlerin katılmayı reddetme hakkına sahip olmaları nedeniyle, anlamlı bir kaçakçılıkla mücadele kontrolü olarak işlev görme olasılığını düşürmektedir. Gerçek etkisi düzenleyici değil, operasyoneldir ve yapay zeka uygulamalarının küresel ölçekte yaygınlaşmasıyla birlikte birleşik GPU gözlemlenebilirliğine doğru bir geçişi işaret etmektedir.
Kaynak :
https://www.techspot.com/news/110593-nv ... -gpus.html
