Meta, yapay zeka konusunda adından sıkça söz ettiren Llama 3.2 modelinin yeni ve çok daha verimli bir sürümünü tanıttı. Ekim ayında duyurulan sürüm, düşük güç tüketimi ve mobil cihazlara uyumlu yapısıyla karşımıza çıkıyor. İşte detaylar…
Meta, Llama 3.2 modelinin 1B ve 3B sayısal versiyonlarıyla karşımızda!
Öncelikle Meta’nın, yeni versiyonları geliştirmek için model quantization (model küçültme) yöntemine başvurduğunu belirtelim. Böylece 1B ve 3B versiyonlar, performans açısından gözle görülür bir artış sunarken, enerji tüketiminde de büyük bir düşüş sağladı.
Öyle ki, bu yeni modeller RAM kullanımını %41 oranında azaltırken, model boyutlarını da ortalama %56 küçülttü. Yani, daha hızlı çalışan ve daha az enerji tüketen yapay zeka modelleri karşımıza çıkmış oldu. Peki Meta bunu nasıl başardı?
İşin sırrı, iki farklı teknikten geçiyor: Quantization-Aware Training (QAT) ve SpinQuant. QAT, modelin doğruluğunu koruyarak küçültme işlemi yaparken, SpinQuant ise modelin daha taşınabilir hale gelmesini sağlıyor. QAT, modelin eğitim sürecinde devreye giriyor ve küçültme işlemi sırasında bile doğruluğun yüksek kalmasını sağlıyor.
SpinQuant ise, modeli daha hafif platformlarda çalıştırmak için ideal hale getiriyor. Bu sayede, Meta’nın yapay zekâ modelleri yalnızca büyük sunucularda değil, mobil cihazlar gibi daha hafif sistemlerde de etkili bir şekilde çalışabiliyor.
Bu arada Meta, yeni ve daha hafif modellerini OnePlus 12, Samsung S24+, S22 ve bazı Apple iOS cihazlarında test etti. Testlerin sonuçları oldukça umut verici. Yeni modellerin, orijinal Llama BF16 versiyonu ile kıyaslandığında, performans farkının çok az olduğu belirtiliyor.
Ancak bu yeni modellerin 8000 Token’lık bir bağlam kapasitesi bulunuyor, yani orijinal Llama’nın 128,000 Token’lık kapasitesine göre daha düşük. Biraz sınırlayıcı gibi görünebilir ama Meta’nın test sonuçlarına göre, bu yeni modeller özellikle mobil cihazlar için ideal bir çözüm sunuyor. Ayrıca, gelecekte bu modellerin performansını daha da artırmak için NPU (Neural Processing Unit) desteği ile geliştirmeler planlanıyor.
