“Hangi modeli çağırmalıyız?” sorusu eskiden bir API sorusu gibi duyulurdu. Giderek daha fazla kuruluşta bu soru, tedarik, performans mühendisliği ve mimari sorusuna daha yakın bir anlam taşıyor.
Bu değişimin arkasında basit bir gelişme yatıyor: artık çok sayıda sağlayıcı tarafından sunulan, yetkinlikleri, fiyatları, gecikme profilleri, dağıtım seçenekleri ve sözleşme koşulları bakımından önemli ölçüde farklılık gösteren çok sayıda model var. Stripe’ın OpenRouter’ı satın almak üzere yaptığı duyurulan anlaşma bunun için yararlı bir gösterge. OpenRouter’ın tek API’si, 80’den fazla sağlayıcıdaki 400’den fazla modeli kapsıyor; yönlendirme ölçütleri arasında görev karmaşıklığı, fiyat, hız, güvenilirlik, gecikme, işlem hacmi ve sağlayıcıya özgü maliyetler bulunuyor.
Ortaya çıkan iş mutlaka yeni bir unvan gerektirmiyor. Bu rol; yapay zekâ platform mühendisliği, mimari, tedarik, çıkarım operasyonları veya ürün mühendisliği arasında konumlanabilir. Ancak sorumluluğu giderek belirginleşiyor: hangi işin hangi model tarafından, hangi kısıtlar altında, hangi geri dönüş seçeneğiyle ve hangi kanıtlara dayanarak ele alınacağına karar vermek.
Yönlendirme, altyapı kılığına bürünmüş bir politika kararıdır
Safdil bir yönlendirici şunu sorar: “En ucuz model hangisi?” Yararlı bir yönlendirici ise daha belirli bir soru sorar: “Bu isteğin kalite, gecikme, güvenilirlik, gizlilik ve operasyon gereksinimlerini karşılayan en ucuz model hangisi?”
Bu gereksinimler göreve göre değişir. Bir müşteri destek sınıflandırıcısının öngörülebilir yapılandırılmış çıktıya ve düşük gecikmeye ihtiyacı olabilir. Zor bir kodlama görevi, daha yavaş ama daha yetkin bir modeli haklı çıkarabilir. Yüksek hacimli bir özetleme işlem hattı, özellikle testlerden sonra kalitesi yeterliyse daha küçük bir modeli tercih edebilir. Düzenlemeye tabi bir iş akışı, token fiyatından bağımsız olarak belirli bir bölgeyi, saklama politikasını veya sağlayıcı anlaşmasını zorunlu kılabilir.
Yönlendirmenin yalnızca uygulama kodunda değil, mimari incelemelerinde de ele alınmasının nedeni budur. Seçilen rota yalnızca faturayı belirlemez. Veri yerleşimini, kesintilere maruz kalmayı, gözlemlenebilirliği, yanıt tutarlılığını, araç kullanım davranışını ve sonraki aşamalarda gereken insan incelemesi miktarını etkileyebilir.
Ciddi bir yönlendirme işlevinin ardındaki dört disiplin
1. Tedarik: yalnızca öne çıkarılan token fiyatını değil, hizmetin tamamını karşılaştırın
Model fiyatlarını kötü biçimde karşılaştırmak kolaydır. Girdi ve çıktı token’larının ücretleri farklı olabilir. Önbelleğe alınmış girdi, toplu işleme, öncelikli hizmet ve uzun bağlamlı istekler hesabı değiştirebilir. Bir sağlayıcının nominal fiyatı; yeniden denemeler, hız sınırları, destek, asgari taahhütler, çıkış maliyetleri veya sağlayıcı değiştirmenin mühendislik maliyeti hakkında da çok az şey söyler.
Yönlendirme sorumlusu, aşağıdaki gibi alanları içeren bir model ve sağlayıcı envanteri tutmalıdır:
- girdi, çıktı, önbelleğe alınmış ve toplu işleme fiyatlandırması;
- bağlam ve çıktı sınırları;
- belgelenmiş hız sınırları ve gözlemlenen işlem hacmi;
- yalnızca ortalama gecikme değil, gecikme dağılımları;
- kullanılabilirlik ve zaman aşımı davranışı;
- veri kullanımı, saklama, yerleşim ve sözleşme koşulları;
- araç çağrıları, yapılandırılmış çıktı, görme ve akış dahil desteklenen yetenekler;
- geri dönüş ve geçiş seçenekleri.
Sonuç, model adları listesinden çok bir teknoloji malzeme listesine benzer. Fiyatlar, politikalar, model sürümleri veya iş hacimleri değiştiğinde gözden geçirilmelidir.
2. Performans mühendisliği: liderlik tablosunu değil, görevi ölçün
Genel karşılaştırmalı testler yön bulmaya yardımcı olabilir, ancak yönlendirme kararları iş yüküne özgü testler gerektirir. Herkese açık bir kodlama karşılaştırmalı testinde iyi performans gösteren bir model; bir kuruluşun dahili depoları, adlandırma kuralları, araç şemaları veya güvenlik kontrolleri için en iyi seçenek olmayabilir.
Hassas materyalleri çıkararak veya kontrollü biçimde kullanarak gerçek isteklerden temsili bir değerlendirme kümesi oluşturun. Önem taşıyan sonuçları etiketleyin: olgusal doğruluk, geçerli JSON, başarılı araç seçimi, kod testinin başarısı, reddetme davranışı, eskalasyon gereksinimi ve kabul edilebilir üslup. Ardından maliyeti, ilk token’a kadar geçen süreyi, toplam gecikmeyi, zaman aşımı oranını, yeniden deneme oranını ve tamamlanma uzunluğunu kaydedin.
Sonucu çok erken tek bir puana indirgemeyin. Ağırlıklı bir puan ciddi bir arıza türünü gizleyebilir. Örneğin ortalama kalitesi mükemmel olan ancak sık sık hatalı araç çağrıları üreten bir model, otomatik bir iş akışı için uygun olmayabilir. Yanıtları maliyetli insan incelemesini azaltıyorsa daha yavaş bir model ekonomik açıdan tercih edilebilir.
Öncü ve rakip süreci kullanın: hâlihazırda onaylanmış bir rotayı koruyun, alternatifleri aynı külliyat üzerinde test edin ve bir rakibi yalnızca açık kalite ve operasyon eşiklerini aştığında devreye alın. Sağlayıcıların bildirdiği iddialar, bir modelin sizin ortamınızda benzer performans göstereceğinin kanıtı olarak değil, test planının girdileri olarak değerlendirilmelidir.
3. Mimari: model seçimini değiştirilebilir kılın
Modellemeye özgü varsayımlar bir uygulamanın geneline yayıldığında yönlendirme maliyetli hâle gelir. Dayanıklı bir tasarım, iş görevini sağlayıcı çağrısından ayırır.
Dahili bir yetenek sözleşmesi tanımlayın. Bu sözleşme, bir “sınıflandırma” işleminin sabit bir şema, güven düzeyi veya çekimserlik alanları, model tanımlayıcısı ve iz tanımlayıcısı döndürmesini belirtebilir. Bir “taslak yanıt” işlemi ise ton kısıtlarını, alıntı gerekliliklerini ve azami gecikme bütçesini belirtebilir. Sağlayıcı adaptörleri daha sonra bu sözleşmeyi tek tek API’lere dönüştürür.
İstemleri, şemaları, araç tanımlarını, güvenlik kurallarını ve yönlendirme politikalarını sürümlendirin. Her isteğe hangi model anlık görüntüsünün ve sağlayıcının hizmet verdiğini kaydedin. Hassas kullanıcı içeriğini gereksiz yere saklamadan bir kararı yeniden üretmeye yetecek bilgiyi koruyun.
Geri dönüşleri bilinçli şekilde tasarlayın. Geri dönüş, başka bir sağlayıcı, daha küçük bir model, kuyruğa alınmış bir iş akışı veya insan incelemesi yolu olabilir. Görevin anlamını sessizce değiştirmemelidir. Yapılandırılmış çıktı zorunluysa geri dönüş seçeneği aynı sözleşmeyi desteklemeli veya kontrollü bir üst kademeye aktarımı tetiklemelidir.
4. Yönetişim: ne zaman otomatik olarak yönlendirme yapılmamasına karar verin
Bazı istekler mevcut en ucuz modele veya herhangi bir harici modele gönderilmemelidir. Yönlendirme politikasında gizli veriler, yüksek etkili kararlar, desteklenmeyen diller, olağan dışı uzun bağlamlar veya insan onayı adımı gerektiren eylemler için hariç tutma kuralları bulunmalıdır.
Ekipler ayrıca bir modelin teknik olarak kullanılabilir olmasıyla belirli bir kullanım için onaylanmış olması arasındaki farkı gözetmelidir. Tedarik ve hukuk gereklilikleri iş birimine göre değişebilir. Bir model değerlendirmede mükemmel olabilir, ancak veri işleme koşulları kuruluşun gereksinimlerine uymayan bir iş akışında yine de kullanılamaz.
Uygulanabilir bir yönlendirme tablosu
Başlangıç politikası basit ve açık olabilir:
| Görev sınıfı | Birincil hedef | Olası yönlendirme | Üst kademeye aktarma tetikleyicisi |
|---|---|---|---|
| Yüksek hacimli veri çıkarma | Geçerli şema ve düşük birim maliyeti | Katı çıktı doğrulamasına sahip küçük veya orta ölçekli model | Şema hatası veya düşük güven |
| Karmaşık analiz | Kalite ve kanıt işleme | Daha geniş gecikme bütçesine sahip daha yetenekli model | Eksik kanıt, belirsizlik veya politika uyarısı |
| Etkileşimli yardım | Algılanan hızlı yanıt | Düşük gecikmeli model; muhtemelen ardından iyileştirme | Düşük güven veya kullanıcının derinlik talebi |
| Hassas iş akışı | Onaylanmış veri işleme ve denetlenebilirlik | Sözleşmeyle onaylanmış sağlayıcı veya kontrollü dağıtım | Onaylanmamış veri, eylem veya yetki alanı |
Kesin tablo kuruluşa göre değişecektir. Önemli olan, yönlendirme kurallarının koşullu bir ifadenin içine gömülmek yerine ürün, güvenlik, finans ve mühendislik paydaşları tarafından okunabilir olmasıdır.
Kariyer inşa edenler için bunun anlamı
Bu iş için en güçlü adaylar, çeşitli türlerde yetkinliği bir araya getirecek. Yetenek ve performans düşüşü hakkında akıl yürütecek kadar makine öğrenmesini; gecikme, yeniden denemeler, hız sınırları ve hata modlarını yönetebilecek kadar sistem mühendisliğini; toplam maliyeti modelleyebilecek kadar finansı; ayrıca sağlayıcı taahhütlerini ve kısıtlamalarını değerlendirebilecek kadar tedarik ve yönetişimi anlayacaklar.
Ayrıca karar kayıtları yazma konusunda da rahat olacaklar. Kullanışlı bir kayıt, bir yönlendirmenin neden seçildiğini, hangi kanıtların bunu desteklediğini, hangi risklerin devam ettiğini ve hangi olayın yeniden değerlendirmeyi tetiklemesi gerektiğini açıklar. Model adları ve fiyatlar değişmeye devam edeceği için bu, en güncel model adlarını ezberlemekten daha değerlidir.
Kompakt bir portföy projesi, büyük bir üretim sistemi gerektirmeden bu beceriyi gösterebilir. Bir iş yükü seçin, kimlik bilgileri ayıklanmış bir değerlendirme kümesi oluşturun, ortak bir arayüz arkasına üç model sağlayıcısı veya yerel model bağlayın ve çeşitli hacimlerde kaliteyi, şema geçerliliğini, gecikme yüzdeliklerini, hata oranlarını ve tahmini aylık maliyeti karşılaştırın. Hassas girdiler için politika kuralları ve bir geri dönüş yolu ekleyin. Test metodolojisini ve sınırlılıklarını yayımlayın.
Projenin neyi kanıtladığı konusunda kesin olun. Bu, bir modelin evrensel olarak en iyi olduğunu kanıtlamaz. Belirsiz bir model seçimi problemini ölçülebilir bir işletim politikasına dönüştürebildiğinizi kanıtlar.
Kariyer göstergesi
Model yönlendirme stratejik açıdan önem kazanıyor, çünkü zekâ artık tek ve sabit bir bağımlılık değil. Farklı ödünleşimlere ve değişen ekonomik koşullara sahip hizmetlerden oluşan bir portföy. Bu portföyü birbirinin yerine kullanılabilir bir altyapı olarak gören ekipler maliyetleri azaltabilir, ancak aynı zamanda gizli kalite, uyumluluk ve güvenilirlik sorunları da yaratabilir. Bunu kalıcı bir tek model taahhüdü olarak gören ekipler ise daha iyi seçenekleri kaçırabilir.
Ortaya çıkan disiplin bu iki uç arasında yer alıyor: sağlayıcıları değiştirecek kadar soyut, görev kalitesini koruyacak kadar özgül ve seçimi gerekçelendirecek kadar kanıta dayalı. Model yönlendirme kariyer fırsatı da budur—bir API'yi bir kez seçmek değil, doğru seçimleri yapmaya devam eden karar sistemini kurmak.
Tom Whitfield, yapay zekâ çağında çalışmak için gereken becerileri, rolleri ve akıllıca hamleleri ele alan AI Career Brief'in sorumlu insan editörüdür.
