Bir sonraki önemli yapay zekâ dağıtımı devasa bir bulut kümesinde çalışmayabilir. Bant genişliği, güç, gecikme, gizlilik ve işletme maliyetinin mümkün olan en büyük modele sahip olmaktan daha önemli olduğu bir kameranın, fabrika robotunun, aracın, tıbbi cihazın veya perakende terminalinin içinde çalışabilir.
Bu değişim, farklı türde bir yapay zekâ çalışması yaratıyor. Ekiplerin hâlâ model geliştiricilerine ihtiyacı var; ancak modelleri gerçek donanıma sığdırabilen, kısıtlar altında kaliteyi ölçebilen, yerel çıkarım çalışma zamanlarını entegre edebilen ve bir iş için daha küçük bir modelin ne zaman yeterince iyi olduğuna karar verebilen kişilere de ihtiyaçları var.
Bu, model yarışının daha az gösterişli yarısı: yalnızca zekâyı geliştirmek değil, zekâyı dağıtılabilir hâle getirmek.
Daha küçük modeller dağıtım sorusunu neden değiştiriyor
Bir bulut modeli, bir isteği yanıtlamak için çoğu zaman daha fazla hesaplama gücü kullanabilir. Gömülü bir sistem ise güvenilir bir ağ bağlantısını, sınırsız bataryayı veya her çağrı için cömert bir bütçeyi varsayamaz. Her algılama ya da kontrol kararı için birkaç yüz milisaniye bekleyen bir robot güvensiz veya etkisiz olabilir. Her görüntüyü ya da ses örneğini bir API’ye gönderen bir ürün, kabul edilemez gizlilik ve veri aktarımı maliyetleri yaratabilir.
Bu kısıtlar mühendislik hedefini değiştirir. Soru şu hâle gelir: Gerçek cihaz üzerinde gerekli doğruluk, gecikme, bellek, enerji ve güvenilirlik hedeflerini karşılayan en küçük model hangisidir?
Bu soru, tüketici cihazlarının çok ötesinde geçerlidir. Üretim hattındaki parçaları inceleyen üreticiler, ekipmanları takip eden lojistik şirketleri, hassas sinyalleri işleyen hastaneler ve çıkarım faturalarını en büyük değişken maliyetlerine dönüştürmeden yapay zekâ özellikleri sunmaya çalışan yazılım sağlayıcıları için önemlidir.
Değişimin ardındaki üç teknik
Niceleme, model ağırlıklarını ve bazen aktivasyonları daha düşük hassasiyetli sayılarla temsil eder. BF16 veya FP16 gibi biçimlerden 8 bitlik ya da 4 bitlik temsillere geçmek bellek gereksinimlerini azaltabilir ve donanıma ve uygulamaya bağlı olarak işlem hacmini artırabilir. Bunun karşılığında, daha düşük hassasiyet kaliteyi azaltabilir veya sayısal sorunlar yaratabilir; bu nedenle zararsız olduğu varsayılmak yerine test edilmelidir.
Damıtma, daha büyük bir öğretmen modelden yararlı davranışları taklit etmesi için daha küçük bir öğrenci modeli eğitir. Öğrenci, öğretmenin çıktılarını, ara sinyallerini veya göreve özgü örnekleri kullanarak öğrenebilir. Daha büyük modelin her yeteneğini yeniden oluşturması gerekmez; hedef işi yeterince iyi yapması gerekir.
Optimize edilmiş çıkarım, yürütmeyi belirli bir çalışma zamanına ve işlemciye uyarlar. Buna çekirdek seçimi, grafik derleme, toplu işleme, bellek planlaması, önbelleğe alma ve donanıma özgü hızlandırma dâhil olabilir. Kamuya açık önizlemede duyurulan NVIDIA TensorRT Model Connect, desteklenen Hugging Face veya yerel kontrol noktalarını ara bir ONNX dışa aktarma adımı olmadan uçtan uca TensorRT çıkarımına dönüştürmeyi amaçlayan araçlara bir örnektir. Belirtilen hedefleri arasında robotik, cihaz ve platform iş yükleri bulunur.
Bu teknikler birbirini güçlendirir. Damıtma, kompakt bir model üretebilir; niceleme, modelin kapladığı alanı daha da azaltabilir; optimize edilmiş bir çalışma zamanı ise ortaya çıkan modelin hedef çip üzerinde gerçekten hızlı olup olmadığını belirleyebilir.
Yararlı bir sonuç, daha küçük bir dosyayla aynı şey değildir
Model sıkıştırma, bir liderlik tablosu hilesi olarak değil, ürün ve sistem çalışması olarak ele alınmalıdır. Yüzde 40 daha küçük olan ancak kötü aydınlatmada kritik nesneleri kaçıran bir model, depo robotu için daha kötü olabilir. Token başına ucuz olan ancak hatalı biçimlendirilmiş yapılandırılmış çıktılar üreten bir dil modeli, sonraki onarım işlerini artırabilir. Bir kıyaslamada iyi performans gösteren model, termal kısma, kamera gürültüsü, kesintili bağlantı veya alışılmadık kullanıcı girdileri devreye girdiğinde başarısız olabilir.
Liquid AI’ın küçük LFM2.5 modelleri için niceleme farkındalıklı damıtma raporu, hedefin yararlı bir örneğidir. Şirket, Q4_0 bellek kullanımını ve işlem hacmini korurken BF16 performansının %96,5 ila %97,4’ünü koruduğunu bildirdi. Bu rakamlar şirket tarafından bildirilmiştir ve modele özgüdür; her mimariye genellenmemelidir. Ancak uygulayıcıların araması gereken karşılaştırma türünü gösterir: yalnızca sıkıştırma oranı yerine, bellek ve hızla birlikte ölçülen kalite korunumu.
Bir dağıtım için kabul testi en azından şunları içermelidir:
- temsilî ve zor örneklerde görev kalitesi;
- tepe bellek ve depolama gereksinimleri;
- ilk yanıt ve kararlı durum gecikmesi;
- gerçekçi eşzamanlılık altında işlem hacmi;
- ilgili olduğunda enerji kullanımı veya termal davranış;
- girdilerin eksik, gürültülü veya dağılım dışı olduğu durumlarda hata davranışı;
- modeli güncellemenin maliyeti ve operasyonel yükü.
Kesin metrikler ürüne göre değişir. Bir kamera saniyedeki kare sayısını ve yanlış negatifleri önemseyebilir. Bir sesli arayüz uçtan uca yanıt süresini önemseyebilir. Bir robot, kontrol döngüsü süre sınırlarını ve güvenli geri dönüş davranışını önemseyebilir. Önemli olan, model değerlendirmesini başarısızlığın fiziksel veya finansal sonuçlarıyla ilişkilendirmektir.
Yeni iş alanları nerede ortaya çıkıyor
Genişleyen fırsat, yalnızca mimariler icat eden kişilerle sınırlı değil. Birkaç pratik rolü de kapsıyor:
- Çıkarım mühendisleri modellerin hedef hızlandırıcılardaki performansını profiller, çalışma zamanlarını seçer, grafikleri optimize eder ve gecikme ya da bellek darboğazlarını teşhis eder.
- Model sıkıştırma mühendisleri niceleme ve damıtma işlem hatları tasarlar, kalibrasyon verilerini seçer ve görev ile segmente göre kalite kaybını ölçer.
- Uç ML mühendisleri modelleri mobil, gömülü, endüstriyel veya otomotiv ortamları için paketler ve sınırlı bağlantı koşullarında güncellemeleri yönetir.
- Robotik yazılım mühendisleri zamanlamanın önem taşıdığı durumlarda algı modellerini sensörlere, planlama sistemlerine ve güvenlik kısıtlarına bağlar.
- Donanım farkındalıklı ürün mühendisleri bir iş yükünün cihazda mı, uçta mı yoksa bulutta mı çalışması gerektiğine karar verir ve bunlar arasında sorunsuz geçişler tasarlar.
- Dağıtım ve doğrulama uzmanları termal, güç, ağ ve gerçek dünya çevre koşullarını içeren test paketleri oluşturur.
Uygulama geliştiricileri için de iş var. Bir ürün ekibi bir model eğitmiyor olabilir, ancak yine de bir model biçimi seçmesi, bir çıkarım kütüphanesini entegre etmesi, desteklenmeyen operatörleri ele alması, güven düzeyini veya çekimser kalma davranışını kullanıma sunması ve yükseltmeleri geri alınabilir hâle getirmesi gerekir.
Bulut-uç ayrımı bir tasarım becerisine dönüşüyor
Küçük modeller bulut modellerini ortadan kaldırmıyor. Hibrit sistemleri daha cazip hâle getiriyor. Bir cihaz anında tespit için kompakt bir model kullanıp seçili olayları açıklama veya daha derin analiz için daha büyük bir modele gönderebilir. Bir robot, güvenlik açısından kritik algılamayı yerel olarak tutarken filo düzeyinde öğrenme için bulutu kullanabilir. Bir müşteri destek ürünü, rutin sınıflandırmayı küçük bir modele yönlendirip belirsiz durumları daha yetenekli bir modele aktarabilir.
Bu mimari bant genişliğini ve gecikmeyi azaltabilir, ancak açıkça sahiplenilmesi gereken kararları da beraberinde getirir. Cihaz dışına hangi bilgiler gönderiliyor? Bağlantı olmadığında ne oluyor? Bir eylemi hangi model sürümü üretti? Cihaz güvenli bir şekilde geri dönebiliyor mu? Her donanım yapılandırması farklı davrandığında performans nasıl izleniyor?
Bunlar yalnızca model soruları değil, dağıtım sorularıdır. Makine öğrenmesi, gömülü sistemler, ağ iletişimi, ürün gereksinimleri ve operasyonlar arasındaki arayüzleri anlayan profesyoneller için avantaj sağlarlar.
Pratik bir öğrenme yolu
Bu alana yönelmek istiyorsanız yalnızca model sertifikaları biriktirmek yerine küçük ama ölçülebilir bir dağıtım oluşturun. Görüntü sınıflandırma, anahtar kelime algılama, belge kategorilendirme veya kompakt bir yerel asistan gibi hedefi net olan bir görevle başlayın.
- Bir temel ölçüm oluşturun. Kaliteyi, model boyutunu, bellek kullanımını, gecikmeyi ve aktarım hızını tekrarlanabilir bir test kümesi kullanarak kaydedin.
- Niceleyin. En az bir düşük hassasiyetli sürümü temel ölçümle karşılaştırın. Hangi örneklerin değiştiğini ve hataların önemli bir kategoride yoğunlaşıp yoğunlaşmadığını belgeleyin.
- Damıtmayı veya göreve özgü ince ayarı deneyin. Daha küçük bir modelin ürünün gerçekten ihtiyaç duyduğu davranışı koruyup koruyamayacağını ölçün.
- Hedef donanımda çalıştırın. Bir masaüstü kıyaslaması; telefon, mikrobilgisayar, GPU, hızlandırıcı veya robot bilgisayarı hakkında kanıt değildir.
- Dağıtımı paketleyin. Ön işleme, son işleme, sürüm meta verileri, sağlık kontrolleri ve bir geri dönüş yolu ekleyin.
- Ödünleşim raporunu yazın. Seçilen modelin yalnızca en yüksek skora neden sahip olduğunu değil, kalite, gecikme, bellek, enerji, gizlilik ve maliyet açısından neden üstün olduğunu açıklayın.
Kullanışlı araçlar hedef yığına bağlıdır, ancak aktarılabilir beceriler aynıdır: profilleme, sayısal akıl yürütme, veri seçimi, test tasarımı, hata ayıklama ve ödünleşimleri açıkça iletişim kurma. Bir model grafiğini okumayı, operatör desteğini incelemeyi, bellek hareketini bir darboğaz olarak belirlemeyi ve teorik hesaplama gücünü ölçülmüş uçtan uca gecikmeden ayırt etmeyi öğrenin.
Kariyer göstergesi
Önemli kariyer değişimi, “Hangi model daha akıllı?” diye sormaktan “Gerçek kısıtlar altında hangi sistem gerekli sonucu sunuyor?” diye sormaya geçmektir. Büyük modeller, özellikle açık uçlu akıl yürütme ve karmaşık üretim için değerli olmaya devam edecek. Ancak ticari ve fiziksel dünya görevlerinin çoğu, kompakt, hızlı ve gizliliği koruyan bir modelin daha iyi ürün olabileceği kadar dar kapsamlıdır.
Bu durum, araştırma ile dağıtım arasında köprü kurabilen uygulayıcılara alan açıyor. Kazananlar her zaman en büyük modele sahip ekipler olmayacak. İş yükünü anlayan, akıllıca sıkıştırma yapan, dürüst kıyaslamalar gerçekleştiren ve mevcut donanım üzerinde güvenilir bir sistem kullanıma sunan ekipler olabilir.
Bir yapay zekâ kariyeri için bu kalıcı bir derstir: zekâ, sunulan şeyin yalnızca bir parçasıdır. Diğer parça ise onu uyumlu hâle getirmektir.
