Investing.com — Bellek fiyatları son aylarda keskin bir yükseliş gösterdi. Yapay zeka iş yükleri, hiper ölçekleyicileri beklenenden çok daha fazla DRAM ve NAND satın almaya zorluyor.
Yapay zekaya bağlı talep, geniş bir veri merkezi yapılanmasından daha karmaşık. Yazılım değişiklikleri ve model mimarisi dönüşümleri, her GPU’nun tükettiği bellek miktarında önemli bir artış yaratıyor. Bu da her kümeye daha fazla DRAM ve NAND çekiyor.
Bu artışın bir nedeni, Nvidia’nın CUDA yazılımının yeni sürümleri. Bu yazılımlar, GPU’ların tüm sistem genelinde daha büyük bellek havuzlarına erişmesine olanak tanıyor. CUDA 12.8 ve 13.0’daki özellikler, modellerin GPU ve CPU belleğini tek bir birleşik alan olarak kullanmasını sağlıyor. Bu da aşırı tahsisi kolaylaştırıyor ve geliştiricileri çok daha büyük çalışma setleri ayırmaya teşvik ediyor.
Bu durum, yapay zeka sunucularının model verilerinin sayfalanması ve depolanması için arka planda daha fazla DRAM ve SSD kapasitesine ihtiyaç duyması anlamına geliyor.
Büyük dil modellerinde bağlam pencerelerinin hızla genişlemesi de bir başka önemli değişim. Modeller yüz binlerce belirteçten oluşan girdileri işlerken, bellek ana darboğaz haline geliyor.
Bu daha uzun diziler, ara verileri tutmak için önemli ölçüde daha fazla VRAM gerektiriyor. Bu alan aşıldığında, sistem ana RAM’e veya SSD’lere aktarma yapmalı. Hiper ölçekleyiciler bu hiyerarşiyi geniş ölçekte benimsedi ve NVMe sürücüleri sistem belleğinin bir uzantısı olarak kullanıyor.
Daha uzun bağlamlar ayrıca depolamadan daha yüksek verim gerektiriyor. Büyük komutları gerçek zamanlı okumak ve aynı anda birçok kullanıcıyı desteklemek, hızlı ve yüksek kapasiteli NAND gerektiriyor.
Modern çıkarım iş yükleri, model parametreleri ve veritabanları arasında sık rastgele okumalar içeriyor. SSD’ler bu işi sabit disklerden çok daha iyi hallediyor. Bu durum, bulut sağlayıcılarını yüksek performanslı NAND üzerine kurulu flash tabanlı depolama havuzlarını genişletmeye itiyor.
BofA analistleri, CUDA’daki iyileştirmelerin ve yeni dikkat algoritmalarının bazı bellek yükünü azalttığını ancak sonuçta daha büyük iş yüklerini mümkün kıldığını söylüyor.
GPU’lar daha uzun dizileri işledikçe, alttaki sistemlerin SSD’lerden daha fazla veri akışını desteklemesi gerekiyor. Çoklu GPU tasarımları da devasa modelleri ve bağlamları birçok hızlandırıcıya yayarak havuzlanmış bellek ihtiyaçlarını artırıyor ve daha fazla veriyi flash belleğe itiyor.
Daha geniş elektronik pazarları da yapay zeka talebinin arzı sıkılaştırdığı dönemde toparlandı. Bu durum bellek için bir “süper döngü” yarattı.
PC, telefon ve geleneksel veri merkezi harcamalarının toparlanmasıyla birlikte, yapay zekaya bağlı NAND ve DRAM’deki artış, envanterleri azalttı ve fiyatları keskin bir şekilde yükseltti.
Bu makale yapay zekanın desteğiyle oluşturulmuş, çevrilmiş ve bir editör tarafından incelenmiştir. Daha fazla bilgi için Şart ve Koşullar bölümümüze bakın.
