İnce Ayar Modelin Genel Yeteneklerine Ne Yapar?

Uyarlama başarılı. Hedef görevde doğruluk yükseldi, biçim oturdu, ekip memnun. Üç hafta sonra destek kanalına tuhaf bir şikâyet düşüyor: model, sözleşme özeti dışında bir şey sorulduğunda garip cevaplar veriyor.

Kimse bunu ölçmedi çünkü kimsenin ölçecek bir şeyi yoktu. Değerlendirme seti sözleşme özeti için yazılmıştı ve o sette her şey yolundaydı.

Bu yazı o boşluğun mekanizmasını anlatıyor: uyarlamanın hedefin dışında ne yaptığını, neden fark edilmediğini ve fark edilebilir hâle getirmek için ölçümün ne zaman başlaması gerektiğini.

Ağırlıklar yeteneklere bölünmüş değil

Zararın kaynağı tek bir yapısal gerçekte: bir dil modelinin ağırlıkları yeteneklere göre bölmelenmiş değildir. Türkçe yazmayı sağlayan parametreler ile talimat takip etmeyi sağlayan parametreler ayrı raflarda durmaz; aynı sayılar her ikisine birden hizmet eder.

İnce ayar bu paylaşımlı sayıları sizin örneklerinize göre günceller. Güncelleme hedef görevi iyileştirir ve aynı hamlede, o örneklerde hiç geçmeyen davranışları da kaydırır. Kayma kötü niyetli ya da hatalı bir şey değil; paylaşımlı bir yapıyı dar bir veriyle güncellemenin doğal sonucu.

Bu olgunun alandaki adı katastrofik unutma (catastrophic forgetting): bir sistemin yeni bir görevi öğrenirken eskisini kaybetmesi. Ad biraz yanıltıcı, çünkü kaybolan şey çoğu zaman bilgi değil eğilim. Model bir olguyu unutmuyor; o olguyu kullanma alışkanlığını kaybediyor.

Kaymanın yönü de rastgele değil. Model, eğitim örneklerinizin taşıdığı biçime, uzunluğa ve tona doğru çekilir; o örneklerde hiç görünmeyen davranışlar ise seyrekleşir. Veri kümesi ne kadar dar ve ne kadar tek tipse çekim o kadar güçlü olur. Bu yüzden en temiz görünen veri kümeleri — hepsi aynı kalıpta, hepsi aynı uzunlukta — hedef görevde en iyi sonucu verirken dışarıda en çok daralmayı üretir.

Buradaki hiçbir kalem faturada görünmez, çünkü hiçbiri sizin tarafınızda değil. Sizin tarafınızdaki kalemler ayrı bir hesap. → İnce Ayarın Gizli Maliyetleri: Fatura Neden Tek Seferlik Değil?

Sezgi: bir yıl boyunca yalnızca sözleşme çeviren çevirmen

İyi bir çevirmen düşünün. Bir yıl boyunca yalnızca sözleşme çeviriyor: aynı kalıplar, aynı ağırbaşlı ton, aynı uzun cümleler. Sözleşme çevirisinde artık ustalaşmış durumda.

Aynı kişiden bir çocuk kitabı çevirmesini isteyin. Metin çıkacaktır ve doğru olacaktır, ama tuhaf bir ağırlığı olacaktır. Kaybolan şey kelime bilgisi değil, hangi kaydı ne zaman kullanacağı hissi.

Benzetme şurada bozuluyor: çevirmene “daha hafif yaz” dersiniz ve kaydı değiştirir; içindeki iki ayrı üslup yan yana durmaya devam eder. Modelde ikinci bir kayıt yok. Aynı ağırlıklar kaydırıldı ve “eski hâline dön” diye bir talimat, dönülecek bir yer bulamaz. Ayrıca çevirmen zorlandığını size söyler; model söylemez.

Zarar nerede görünür: dört belirti

Kayma rastgele değil; dört tanıdık biçimde ortaya çıkıyor. Dördü de hedef görevin dışında yaşanır, o yüzden hedef görevi ölçen hiçbir sayı bunları göstermez.

Kapsam daralması. Eğitim verisinin konusundan uzaklaştıkça cevap kalitesi düşer. Model susmaz; aynı özgüvenle daha zayıf cevaplar verir.

Talimat uyumunun kayması. Eğitim örneklerinde çıktı hep aynı biçimdeyse model o biçimi bir varsayılan gibi benimser. Başka bir biçim istediğinizde direnir ya da yarı yolda eski kalıba döner.

Çeşitliliğin daralması. Açık uçlu isteklerde üretilen çıktılar birbirine benzemeye başlar. Tek bir kalıba oturmak, bir görevde erdemdir ve komşu görevde kusurdur.

Kaçınma davranışının aşınması. Eğitim verisindeki her girdinin bir cevabı vardı ve modele bunun böyle olduğu gösterildi. Cevabı olmayan bir soru geldiğinde susmak yerine üretmesi bu yüzden kolaylaşır.

Dördünün ortak özelliği şu: hiçbiri hata mesajı üretmiyor. Sistem çalışıyor, çıktı geliyor, biçim doğru. Değişen şey görünürlüğü olmayan bir kalite kayması.

Kendi değerlendirme setiniz bunu göremez

Bu, yazının en pratik iddiası: uyarlamayı ölçmek için kurduğunuz set, bu zararı yapısal olarak ölçemez. Sebep basit ve kaçınılmaz — o seti hedef görev için yazdınız. Zarar tam olarak setin dışında oturuyor.

Ölçüm kurulurken kimse bunu yanlış yapmadı. Bir değerlendirme setinin işi, iyileştirmek istediğiniz şeyi ölçmektir; iyileştirmediğiniz her şeyi ölçmesi beklenemez. Sorun setin kalitesinde değil, kapsamında.

Sonuç, ekiplerin çoğunun yaşadığı hâl: uyarlamadan sonra bütün göstergeler yeşil, kullanıcı deneyimi ise açıklanamaz biçimde tuhaf. Gösterge yalan söylemiyor, yalnızca farklı bir soruyu cevaplıyor.

Bunun tek çaresi ikinci bir set. Ve ikinci setin bir zamanlama şartı var.

Koruma seti: ölçüm ince ayardan önce başlar

Koruma seti, hedef görevle ilgisi olmayan ama iş akışınızın sessizce dayandığı davranışları içeren küçük bir istek koleksiyonudur. Yirmi ile otuz istek yeter ve bunlar üretimden değil, iş akışının kenarlarından toplanır.

Neler girer: verilen biçimde çıktı üretmek, uzun bir girdiyi özetlemek, dilden dile geçmek, kendi ürettiği bir metni düzeltmek, bilmediği bir şey sorulduğunda bilmediğini söylemek. Hiçbiri uyarlamanın hedefi değil; her biri, bozulduğunda haftalarca fark edilmeyecek şeyler.

Kritik olan şu: koruma seti taban modelle, ince ayardan önce çalıştırılır ve çıktıları saklanır. Bu, sonradan yapılamayacak tek adım. Uyarlama bittikten sonra elinizde karşılaştıracak bir taban kalmaz; taban modeli yeniden çalıştırsanız bile o günkü promptlar, o günkü ayarlar ve o günkü sürüm çoktan değişmiş olur. Taban ölçümü ertelenmez, çünkü ertelenirse alınamaz.

Karşılaştırmanın kendisi bir öğleden sonra sürüyor. Aynı otuz istek uyarlanmış modelde de çalıştırılır; iki çıktı yan yana konur ve hangisinin hangi modelden geldiği okuyan kişiden gizlenir. Gizlemek süs değil: uyarlamayı yapan ekip, kendi ürettiği modelin çıktısını sistematik olarak daha iyi buluyor. Karşılaştırma körlenmediğinde ölçüm, ölçmeye çalıştığı şeyin kendisini üretiyor.

Karşılaştırma eşiksiz yapılır. Sayıya bir kesme noktası koymak yerine kural şu: her düşüş yazılı gerekçe ister. Bir davranış zayıfladıysa ya kabul edildiği yazılır ya da düzeltilir. Yazılmayan düşüş, altı ay sonra kimsenin nereden geldiğini bilemeyeceği bir kusurdur.

Bu yordam ikinci bir işe daha yarıyor: taban model değiştiğinde aynı set aynı soruyu cevaplıyor. Ölçüm bir kez kurulduğunda uyarlamanın ötesinde de kullanılıyor. → Model Güncellenince Promptlar Neden Bozulur?

Bir kademe derine: muhasebe asimetrisi

İnce ayar kararlarının kâğıt üzerinde neredeyse her zaman kârlı görünmesinin sebebi teknik değil, muhasebe. Kazanç ölçülüyor, kayıp ölçülmüyor.

Kazanç tarafı hazır: hedef görev tanımlı, seti yazılmış, öncesi ve sonrası karşılaştırılabiliyor. Bir sayı çıkıyor ve o sayı toplantıda gösteriliyor. Kayıp tarafında ise ne set var ne taban ölçüm; kayıp yalnızca zamanla, dolaylı şikâyetler olarak beliriyor ve o noktada uyarlamayla ilişkilendirilmiyor.

İki taraf da gerçek. Görünürlükleri farklı olduğu için karar, gerçeklerin karşılaştırılmasıyla değil, ölçülmüş olanla ölçülmemiş olanın karşılaştırılmasıyla veriliyor. Bu karşılaştırmanın sonucu her seferinde aynı yöne çıkar.

Koruma setinin asıl işlevi burada. Zararı önlemiyor; onu tabloya sokuyor. Karar aynı kalabilir, ama artık iki sayıya bakarak veriliyor.

Sınırlar ve yanlış anlamalar

Kayma her zaman kötü değildir. Dar bir görevde çalışan bir model için çeşitliliğin daralması bir kazançtır. Kusur olup olmadığını belirleyen şey, o modelin başka nerelerde kullanıldığı.

Bu yazı yöntem karşılaştırması yapmıyor. Hangi uyarlama yönteminin ne kadar kaydırdığı ölçülmüş bir karşılaştırma ister ve burada hiçbir yöntem hakkında büyüklük iddiası kurulmadı.

Belirtiler bir teşhis listesi değil. Dördü de başka sebeplerden de olabilir: prompt değişmiş olabilir, sağlayıcı modeli güncellemiş olabilir, girdiler farklılaşmış olabilir. Koruma seti bu ayrımı yapabilmek için var.

Küçük veri kümesi güvence değildir. Az örnekle yapılan uyarlamalarda kayma daha küçük olabilir, ama yönü değişmez ve ölçülmediği sürece büyüklüğü bilinmez.

Hazır alan modellerinde bu daralma zaten olmuş hâlde gelir. Onu siz yapmazsınız, satın alırsınız; ölçme sorumluluğu yine sizde kalır. → Alan Uzmanı Model mi, Genel Model mi?

Bu konuda anlaşmazlık: Parametre verimli yöntemler unutma sorununu çözdü mü?

Görüş A → Taban ağırlıklara dokunulmuyor; üstüne küçük bir katman ekleniyor ve o katman kapatıldığında model eski hâline dönüyor. Kaybolan bir şey yok. (Savunanlar: parametre verimli yöntem tarafı) Görüş B → Dokunulmayan ağırlık, değişmeyen davranış demek değil. Çıktıyı üreten yol değişiyor ve daralma açık uçlu görevlerde ölçülmeye devam ediyor. (Savunanlar: ölçme tarafı) Durum → 2026 ortası itibarıyla uzlaşma yok. Ayrım büyük ölçüde hangi görevlerin ölçüldüğüne bağlı; dar ölçen taraf sorunu görmüyor.

Özet

Bir dil modelinin ağırlıkları yeteneklere göre bölünmüş değildir. Dar bir veriyle yapılan güncelleme hedef görevi iyileştirirken, o veride hiç geçmeyen davranışları da kaydırır.

Kayma dört biçimde görünür: kapsam daralması, talimat uyumunun gevşemesi, çeşitliliğin azalması ve bilmediğini söyleme davranışının aşınması. Dördü de hata mesajı üretmez.

Uyarlamayı ölçmek için kurulan set bu zararı göremez, çünkü hedef görev için yazılmıştır ve zarar setin dışında oturur. Gerekli olan ikinci bir set: iş akışının sessizce dayandığı davranışlardan oluşan bir koruma seti.

Koruma setinin tek katı şartı zamanlama. Taban ölçümü ince ayardan önce alınır; ertelenirse alınamaz, çünkü karşılaştırılacak taban ortadan kalkar.

Sık sorulanlar

İlgili yazılar