OpenAI yeni modelleri NVIDIA RTX GPU’larda en hızlı şekilde çalışmaya hazır
NVIDIA, yeni gpt-oss açık model ailesini tüketicilere sunmak için OpenAI ile iş birliğini duyurdu. Bu iş birliği, daha önce yalnızca bulut veri merkezlerinde kullanılabilen en ileri düzeydeki yapay zeka teknolojilerinin, RTX destekli PC’ler ve iş istasyonlarında inanılmaz bir hızla çalışmasını mümkün kılıyor…
Bu iş birliği, GeForce RTX GPU’ların ve PRO GPU’ların sunduğu yüksek işlem gücüyle desteklenen, daha hızlı ve daha akıllı yeni bir yerel (on-device) yapay zeka çağını başlatıyor ve ekosistemin tamamına hizmet etmek üzere tasarlanmış iki yeni model varyantı sunuyor:
● Gpt-oss-20b modeli, en az 16 GB VRAM’e sahip NVIDIA RTX AI PC’lerde en yüksek performansta çalışmak üzere optimize edilmiştir ve bir RTX 5090 GPU üzerinde saniyede 250 token’a kadar üretim gerçekleştirebilmektedir.
● Gpt-oss-120b modeli ise, NVIDIA RTX PRO GPU’lar ile hızlandırılmış profesyonel iş istasyonları için desteklenmektedir.
Bu modeller, NVIDIA H100 GPU’ları üzerinde eğitildi ve NVIDIA RTX’te MXFP4 hassasiyetini destekleyen ilk modellerdir. MXFP4, daha eski yöntemlerle karşılaştırıldığında performans kaybı olmadan model kalitesini ve doğruluğunu artıran bir tekniktir. Her iki model de yerel çıkarımda (local inference) mevcut olan en uzun bağlam uzunluklarından biri olan 131.072 bağlam uzunluğunu desteklemektedir. Modeller, esnek bir mixture-of-experts (MoE) mimarisi üzerine kurulmuştur ve düşünce zinciri (chain-of-thought) yeteneklerinin yanı sıra talimat takibi (instruction-following) ve araç kullanımı desteği sunmaktadır.
RTX AI Garage, yapay zeka meraklılarının ve geliştiricilerin NVIDIA RTX GPU’lar üzerinde OpenAI’nin yeni modelleriyle nasıl başlayabileceklerini öne çıkarıyor:
● Ollama Uygulaması: Bu modelleri test etmenin en kolay yollarından biri, yeni Ollama uygulamasıdır. Kullanıcı arayüzü, RTX GPU’lar için tam optimize edilmiş gpt-oss modellerini ek kurulum gerektirmeden anında desteklemektedir.
● Llama.cpp: NVIDIA, RTX GPU’larda performansı optimize etmek amacıyla açık kaynak topluluğuyla iş birliği yapmaktadır. Bu doğrultudaki son katkılar arasında yükü azaltmaya yardımcı olan CUDA Graphs da yer almaktadır. Geliştiriciler, Llama.cpp GitHub deposu üzerinden çalışmaya başlayabilir.
● Microsoft AI Foundry: Windows geliştiricileri, modelleri Microsoft AI Foundry Local (halka açık önizleme aşamasında) üzerinden erişebilir. Başlamak için terminalde şu komutun çalıştırılması yeterlidir: Foundry model run gpt-oss-20b.
NVIDIA’nın kurucusu ve CEO’su Jensen Huang, bu lansmanın önemini şu sözlerle vurguladı: “OpenAI, NVIDIA AI üzerinde neler inşa edilebileceğini dünyaya gösterdi ve şimdi açık kaynak yazılımlar alanında inovasyonu ileri taşıyor. Gpt-oss modelleri, geliştiricilere bu son teknoloji açık kaynak temeli üzerinde inşa etme fırsatı sunarak ABD’nin yapay zeka alanındaki teknoloji liderliğini güçlendiriyor, hem de dünyanın en büyük yapay zeka işlem altyapısı üzerinde.”
Son Yorumlar