Alan Uzmanı Model mi, Genel Model mi?

Karşınızda iki tablo var. Birincisi bir alan modelinin kendi alanındaki testlerde genel modelleri geride bıraktığını gösteriyor. İkincisi genel bir modelin aynı testlerde daha düşük kaldığını. Tablolar doğru, ölçümler dürüst, sonuç açık görünüyor.

Sonucun açık görünmesi, karşılaştırmanın eksik olmasından. İki model aynı testte yarıştırıldı ama aynı yılın modeli değillerdi, aynı işleri yapmayacaklardı ve aynı hızda yenilenmeyecekler. Tabloda görünmeyen bu üç fark, kararı çoğu zaman tersine çeviriyor.

Bu yazı karşılaştırmayı düzeltiyor. İki ölçüm yordamı ve alan modelinin gerçekten kazandığı yer.

“Alan uzmanı model” ne satın alıyor

Alan uzmanı model, bir genel modelin belirli bir alanın metinleriyle uyarlanmış hâlidir: hukuk, sağlık, finans, kod ya da tek bir kurumun kendi belgeleri. Uyarlamayı siz yapmazsınız; hazır ağırlıklar ya da hazır bir hizmet olarak gelir.

Bu, üçüncü bir seçenek gibi görünse de aslında ikinci bir kararın sonucudur. Uyarlama yapılmıştır — yalnızca sizin yerinize başkası yapmıştır. Yani uyarlamanın bütün sonuçları paketin içinde geliyor: hedef alanda kazanç, alanın dışında daralma. Farkı yaratan tek şey, daralmayı siz üretmediğiniz için onu ölçme alışkanlığınızın da olmaması. → İnce Ayar Modelin Genel Yeteneklerine Ne Yapar?

Aynı ihtiyacın üçüncü bir karşılığı daha var ve tartışmada sık atlanıyor: alan bilgisinin ağırlıklarda olması gerekmez. Genel bir model, alanın belgelerini cevap anında getiren bir katmanla da o alanda çalışır ve o katman istediğiniz gün güncellenir. → RAG Nedir ve Hangi Problemi Çözer?

Sezgi: özel tezgâh ve çok amaçlı torna

Bir atölyede iki makine var. Biri tek bir parçayı seri üretmek için yapılmış özel tezgâh: o parçada hızlı, hassas ve ucuz. Diğeri çok amaçlı torna: her parçayı yapar, hiçbirini özel tezgâh kadar iyi yapmaz.

Seçim, atölyeye gelen işlerin dağılımına bağlı. Gelen işlerin tamamı o tek parçaysa özel tezgâh açık ara kazanır. İşlerin yarısı başka parçaysa, özel tezgâh yarım gün boşta durur ve o yarım günün işini yine tornaya yaptırırsınız.

Benzetme şurada bozuluyor: tezgâhlar durdukları yerde eskimez. Modeller eskir, ve daha önemlisi çok amaçlı olan kendiliğinden iyileşir. Genel model birkaç ayda bir yenilenir ve yenilenmenin faydası size bedava gelir; özel tezgâh o trene binmez. Atölye benzetmesinde iki makine de yerinde durur, burada biri her sürümde büyür.

Karşılaştırma yanlış eksende yapılıyor

Alan modelleri kendi alan testlerinde karşılaştırılır ve orada kazanırlar. Üretimde kararı belirleyen şey ise o testlerin ölçtüğü bilgi değil, iş akışınızın sessizce dayandığı genel beceriler.

Bunlar listeye yazılmadıkları için görünmez: verilen biçimde çıktı üretmek, uzun bir girdiyi bozmadan özetlemek, talimatın istisnasını fark etmek, bir aracı doğru argümanlarla çağırmak, Türkçe yazmak, bilmediğinde bilmediğini söylemek. Hiçbiri alanın konusu değil; hepsi olmadan sistem çalışmıyor.

Alan modeli bu becerileri kaybetmiş olmak zorunda değil, ama iki sebeple zayıf olma eğiliminde. Birincisi, uyarlama dar bir veriyle yapıldı ve daralma paketin içinde geldi. İkincisi, uyarlamanın oturduğu taban model genellikle bugünün en yeni genel modeli değil. İkisi birleşince alan testinde kazanan model, iş akışında kaybedebiliyor.

Pratik sonuç: karşılaştırmayı alan testleriyle değil, kendi iş akışınızın isteklerinden oluşan bir setle yapın. Set zaten uyarlama kararı için kurulmuş olabilir. → Promptları Test Etme: "Bana İyi Göründü"yü Bırakmak

Nesil eşleştirme: karşılaştırmanın tek dürüst biçimi

Bir alan modeli her zaman bir taban modelin üzerine kurulur ve o taban, modelin yayınlandığı tarihteki genel sürümdür. Aradan geçen sürede genel taraf bir ya da iki kez yenilenmiştir; alan modeli yenilenmemiştir.

Buradan tek bir kural çıkıyor: alan modelini, üzerine kurulduğu taban modelin genel hâliyle karşılaştırın; bugünün en yeni genel modeliyle değil. Aksi hâlde ölçtüğünüz şey alan uzmanlığı değil, iki nesil arasındaki fark olur ve o fark alan modelinin lehine de aleyhine de çıkabilir. İki durumda da yanlış soruyu cevaplamış olursunuz.

Bu kuralın ikinci bir işlevi var ve karar için birincisinden değerli. Taban modeli öğrenemiyorsanız karşılaştırma yapılamaz demektir — ve bu, tek başına bir karar ölçütüdür. Hangi tabanın üstünde durduğunu söylemeyen bir alan modeli, bir sonraki taban değişiminde ne olacağını da söylemiyor.

Karşılaştırmanın tarihi de tek değil. Bugünkü sonuç bir sayı verir; asıl soru, genel modelin bir sonraki sürümü geldiğinde aynı farkın kalıp kalmayacağıdır. Alan modelini seçmek, o sürümün faydasından vazgeçmeyi de seçmektir.

Kapsam örtüşmesi: yirmi isteği saymak

İkinci yordam ilkinden basit ve çoğu kararı tek başına veriyor. İş akışınızdan yirmi gerçek istek alın ve her birine tek soru sorun: bu istek alanın içinde mi?

Alanın içinde olmak, konunun alanla ilgili olması değil. İstek, alan modelinin uyarlandığı metin türünden bir cevap istiyorsa içindedir. Belgeyi özetlemek, bir tabloyu biçimlendirmek, kullanıcıya kibarca hayır demek, bir isteği doğru ekibe yönlendirmek — bunlar hukuk sisteminde de sağlık sisteminde de geçer ve hiçbiri alanın içinde değildir.

Sayımın sonucu doğrudan karara bağlanıyor:

Üçüncü satır tartışmanın en sık atlanan sonucu. Az sayıda istek alanın içindeyse mesele modelin ne bildiği değil, doğru belgenin cevap anında bulunup bulunmadığıdır ve bunun ayrı bir çözümü var.

Alan modelinin gerçekten kazandığı yer

Alan modelinin savunulabilir olduğu durumlar var ve hiçbiri “alan testinde daha yüksek puan alıyor” değil. Üçü de ölçülebilir ve üçü de performanstan bağımsız.

Verinin nerede işlendiği. Kendi donanımınızda çalıştırılabilen bir ağırlık dosyası, isteklerin dışarı çıkmaması gereken işlerde tek seçenek olabilir. Burada karşılaştırma bir kalite karşılaştırması değil, bir uygunluk şartı.

Denetlenebilirlik. Sürümü sizin belirlediğiniz bir model, davranışını dün nasıl açıkladıysanız bugün de aynı biçimde açıklamanızı sağlar. Sağlayıcının sessizce güncellediği bir model bunu vermez.

Öngörülebilir maliyet ve gecikme. Küçük bir alan modeli çoğu zaman daha ucuz ve daha hızlıdır. Bu kazanç gerçektir, ama kendi bakım yükünü de beraberinde getirir. → İnce Ayarın Gizli Maliyetleri: Fatura Neden Tek Seferlik Değil?

Üçünün ortak yanı şu: hepsi işin koşullarından geliyor, modelin becerisinden değil. Bir alan modeli tercih ediliyorsa gerekçe bu üç başlıktan birinde yazılı olmalı; yazılamıyorsa karar büyük olasılıkla bir tablodan çıkmıştır.

Sınırlar ve yanlış anlamalar

Bu yazı hiçbir modeli önermiyor ve ad saymıyor. Alan modelleri hızlı değişiyor; bugün yazılan bir liste birkaç ay içinde eskir. Sayılan şey ölçütler.

Genel model seçmenin kendi ölçütleri ayrı. Fiyat, gecikme, bağlam kapasitesi ve kıyaslama sonuçları bu yazının konusu değil; burada yalnızca alan ile genel arasındaki eksen var.

Kapsam örtüşmesi sabit değil. Bir sistem yayına girdikten sonra kullanıcılar onu tasarımcısının beklemediği işlerde kullanır. Sayımı altı ay sonra tekrarlamak, ilk sonucun hâlâ geçerli olup olmadığını gösteriyor.

İki seçenek birbirini dışlamıyor. Aynı sistemde işleri türüne göre iki modele dağıtmak mümkündür ve kapsam örtüşmesi yarıya yakınsa çoğu zaman doğru cevap budur. Bedeli, iki modeli birden bakmak zorunda kalmak.

Alan modeli almak uyarlamanın maliyetinden kurtarmıyor. Eğitim işi sizde değil, ama ölçme, sürüm takibi ve taban değişimini izleme yükü yerinde duruyor. → İnce Ayarın Gizli Maliyetleri: Fatura Neden Tek Seferlik Değil?

Bu konuda anlaşmazlık: Genel modeller alan modellerini yakalıyor mu?

Görüş A → Her yeni genel sürüm aradaki farkı kapatıyor. Ayrı bir alan modeli tutmak, genel modellerin henüz yeterli olmadığı bir dönemin geçici çözümü. (Savunanlar: yakınsama tarafı) Görüş B → Mesele hiçbir zaman yalnızca başarı değildi. Verinin nerede işlendiği, sürümün kim tarafından belirlendiği ve davranışın denetlenebilirliği belirleyici; bunlar puanla kapanmıyor. (Savunanlar: denetlenebilirlik tarafı) Durum → 2026 ortası itibarıyla uzlaşma yok. Ayrım işin düzenlemeye tabi olup olmadığına göre keskinleşiyor.

Özet

Alan uzmanı model, uyarlamayı başkasının yaptığı bir modeldir. Hedef alandaki kazanç da alanın dışındaki daralma da paketin içinde gelir; farkı yaratan tek şey, daralmayı siz üretmediğiniz için ölçmeyi de düşünmemenizdir.

Karşılaştırma iki yerde düzeltilmeli. Nesil eşleştirme: alan modeli, üzerine kurulduğu taban modelin genel hâliyle karşılaştırılır. Taban öğrenilemiyorsa karşılaştırma yapılamaz ve bu tek başına bir karar ölçütüdür.

İkinci yordam kapsam örtüşmesi sayımı. İş akışınızdan yirmi gerçek istek alın ve kaçının alanın içinde olduğunu sayın. Alanın dışındaki her istek, alan modelinde kendi neslinin genel modeli tarafından karşılanır.

Alan modelinin savunulabilir olduğu üç yer var ve hiçbiri puan değil: verinin nerede işlendiği, sürümün kimin elinde olduğu ve maliyetin öngörülebilirliği. Gerekçe bu üçünden birine yazılamıyorsa karar tablodan çıkmıştır.

Sık sorulanlar

İlgili yazılar