Yerel yapay zekanın temel motorlarından llama.cpp 1.0 sürümünü yayımladı, kararlı arayüz sözü verdi

Üç buçuk yılın ardından

llama.cpp ekibi cuma günü Hugging Face blogunda, proje başladıktan üç buçuk yıl sonra kütüphanelerinin 1.0.0 sürümünü yayımladığını duyurdu. llama.cpp, metnin yanı sıra görselleri de işleyebilen büyük dil modellerini tüketici bilgisayarlarından kurumsal sunuculara kadar geniş bir donanım yelpazesinde çalıştırmayı mümkün kılıyor.

Bunu, modelleri küçülterek daha az bellek gerektirmesini sağlayan nicemleme (quantization), farklı çiplere göre optimize edilmiş arka uçlar ve C ile C++ ile yazılmış taşınabilir bir uygulama sayesinde yapıyor. Ekip, böylece yapay zeka çıkarımını yazılım yığınının her katmanında erişilebilir kıldıklarını söylüyor.

“Bunun, platformlar arası ve gizliliği koruyan yapay zeka ürünleri geliştirmek için en hafif, en çok yönlü ve en makul platform olduğuna inanıyoruz.”

llama.cpp ekibi, Hugging Face Blog(çeviri)

1.0 sürümüyle ne değişiyor

Ekibe göre pek çok uygulama şimdiden llama.cpp’ye dayanıyor ve yerel yapay zeka ile gizlilik günlük hayatta önem kazandıkça bu sayının artması bekleniyor. Her yeni entegrasyon, kütüphanenin arayüzlerine güvenen geliştirici sayısını artırıyor; bu yüzden esnek ama kararlı bir API her zamankinden önemli.

Bundan sonra llama.cpp ve altındaki makine öğrenimi motoru ggml, API ya da ikili arayüzdeki uyumsuz her değişikliği yeni bir ana sürüm numarasıyla gösterecek; tüm ggml-org projelerinde anlamsal sürümleme kuralları geçerli olacak. Ekip, bu sınırları kendi kodunu kullanan geliştiricilere daha görünür kılma konusunda daha katı olacağını ve yazılımın geliştiricilere ve kullanıcılara ulaşma yollarını çoğaltmak istediğini belirtiyor.

Donanım, modeller ve yapay zeka kullanımı

ggml, ayrı kütüphaneler olarak derlenip program çalışırken yüklenebilen özel arka uçlar sayesinde neredeyse her donanımda çalışacak şekilde tasarlandı. llama.cpp şu anda 150’den fazla model mimarisi varyantını ve metin üretimini hızlandıran yaygın spekülatif kod çözme yöntemlerinin tamamını destekliyor.

Ekip, artan geliştirme hızına ayak uydurmak için Hugging Face’in Buckets ve Jobs hizmetleriyle test altyapısına daha fazla kaynak ayırıyor; kendi test makineleri için Nvidia, AMD, Qualcomm, Arm, IBM ve Intel’den donanım desteği alıyor. Ekip, geliştirme sürecinde yapay zeka modellerini düşünülmüş bir biçimde kullandığını söylüyor.

“Yüksek kaliteli bir kod tabanını korumak, mimarinin kontrolünü elde tutmak ve uygulama ayrıntılarını anlamak en önemli önceliklerimiz olmaya devam edecek.”

llama.cpp ekibi, Hugging Face Blog(çeviri)