İnce Ayarın Gizli Maliyetleri: Fatura Neden Tek Seferlik Değil?

Eğitim koşusu bitti, ekran yeşil, model beklendiği gibi davranıyor. Harcanan tutar tahmin edilenin altında kaldı ve toplantıda kimse itiraz etmiyor. Karar doğru göründü.

Doğru olmayan şey kararın kendisi değil, faturanın okunma biçimiydi. Ekranda görünen rakam, ödemenin tamamı değil ilk taksitiydi ve sonraki taksitlerin tarihini yazan kişi o odada oturmuyordu.

Bu yazı o taksitleri sayıyor. Ne bir yöntem anlatıyor ne de ince ayarı önermiyor; yalnızca kararın altına imza atmadan önce bilinmesi gereken kalemleri açık ediyor.

Görünen kalem, en küçük kalem

İnce ayarın maliyeti üç yerde birikiyor ve yalnızca birincisi faturada görünüyor. Görünen kalem eğitim koşusudur: hesaplama süresi, birkaç saat, tek bir satır. Görünmeyen ikinci kalem hazırlık ve ölçme işidir; üçüncüsü ise sistemin ömrü boyunca tekrarlanan bakımdır.

Oranların şaşırtıcı olmasının bir sebebi var: birincisi tek seferlik ve ölçülebilir, diğer ikisi süregelen ve kimsenin bütçe satırında durmuyor. Bir işin maliyetini sormak genellikle “kaça mal olur” demektir; burada doğru soru “kaç kere mal olur”.

Bu yazı sizin neye katlanacağınızı anlatıyor. Uyarlamanın modelin kendisine ne yaptığı ayrı bir konudur ve ayrı ölçülür. → İnce Ayar Modelin Genel Yeteneklerine Ne Yapar?

Sezgi: satın almak değil, abone olmak

İnce ayar bir satın alma gibi sunulur, oysa bir aboneliktir. Satın aldığınız şeyi rafa koyup unutabilirsiniz; abone olduğunuz şey her dönem yeniden ödeme ister ve ödeme takvimini siz yazmazsınız.

Farkı somutlaştıran şey iptal koşulu. Bir aboneliği bırakmak kolaydır ama bıraktığınızda hizmet de biter. Burada da öyle: uyarlamayı bırakmak taban modele dönmek demektir ve o gün, aradan geçen sürede uyarlanmış modele göre yazılmış her şey yeniden ele alınır.

Benzetme şurada bozuluyor: aboneliğin fiyatı ve tarihi sözleşmede yazılıdır, burada ikisi de yazılı değildir. Yenileme tarihini sağlayıcının ürün kararları, iş biriminin politika değişiklikleri ve karşınıza çıkan hatalar belirler. Yani abonelik değişken tarihli ve değişken tutarlı; sözleşmesi de yok.

Görünmeyen beş kalem

Veriyi toplamak değil, tutarlı hâle getirmek. Elinizde binlerce geçmiş örnek olabilir ve bu bir avantaj gibi görünür. Bu örnekler farklı kişilerce, farklı dönemlerde, farklı ölçütlerle üretildiyse birbiriyle çelişir. Çelişkili örnek kümesi modele ne öğreteceğini kendi seçtirir ve sonucu kimse öngöremez. İş, veriyi bulmak değil, aynı kuralın uygulandığından emin olmaktır.

Değerlendirme borcu. İnce ayardan önce “iyi mi” sorusunu gözle cevaplıyordunuz. Sonrasında cevaplayamazsınız, çünkü karşılaştırılacak iki model var ve hangisinin daha iyi olduğu bakışla ayırt edilmiyor. Bir değerlendirme seti kurmak zorunlu hâle gelir ve bu set uyarlamanın kendisinden uzun sürebilir. → Promptları Test Etme: "Bana İyi Göründü"yü Bırakmak

Üçlü sürümleme. Artık üç şey birlikte değişiyor: model ağırlıkları, eğitim veri seti ve promptlar. Üçünün hangi hâlinin hangisiyle eşleştiği yazılı olmazsa bir hata geldiğinde nereye bakılacağı bilinmez. Prompt tarafında tek bir dosyayı sürümlemek yetiyordu. → Prompt Sürümleme: Çalışan Promptu Kaybetmemek

Çalıştırma tarafı. Uyarlanmış model ayrı bir ağırlık setidir; bir yerde durması, ölçeklenmesi ve gecikmesinin izlenmesi gerekir. Sağlayıcının hazır modelinde bu iş sizin tarafınızda yoktu.

Geri dönüş yolu. Taban modelin ve uyarlama öncesi promptların saklanması, geri dönüşü bir karar olarak açık tutar. Saklanmazsa geri dönüş bir karar olmaktan çıkıp bir projeye dönüşür ve o noktada kimse dönmez.

Yenileme tarihini siz yazmıyorsunuz

Yukarıdaki kalemler bir kez ödenip bitseydi çoğu ekip için sorun olmazdı. Sorun, dört olayın her birinin aynı kalemleri yeniden açması ve dördünün de takvimini başka birinin belirlemesi.

Taban model değişir. Sağlayıcı yeni sürüm çıkarır ya da eskisini kullanımdan kaldırır. Uyarlamanız belirli bir modelin üstüne kurulmuştur; taban gidince uyarlama da gider. Prompt tarafında bu olay bir gözden geçirme gerektiriyordu, burada bir yeniden eğitim gerektiriyor. → Model Güncellenince Promptlar Neden Bozulur?

İş kuralı değişir. Şirket biçimi, tonu ya da politikayı değiştirir. Modelin öğrendiği davranış artık yanlıştır ve düzeltmenin adresi prompt değil veri setidir.

Bir hata gelir. Tek bir kusurlu davranış bile veri setine dokunmayı, yeniden eğitmeyi ve yeniden ölçmeyi gerektirir. Promptta beş dakikada yapılan düzeltme burada bir döngüdür.

Sahiplik el değiştirir. Uyarlamayı yapan kişi ayrılır. Geriye kalan şey bir dosya değil bir yordamdır: hangi veri, hangi ayıklama, hangi ölçüt. Yazılı değilse bir sonraki tur sıfırdan kurulur.

Dördü de sizin takviminizde durmuyor. Karar anında sorulması gereken soru bu yüzden “bunu yapabilir miyim” değil, “bu dördü olduğunda kim ne yapacak”.

Somut örnek: bir isim ve bir tarih

Bir ekip destek yanıtlarının biçimini oturtmak için ince ayar yapmaya karar verdi. Karar doğruydu: envanterde yerleşmeyen davranış baskındı ve elde promptun içine sığmayacak kadar örnek vardı. → Prompt mu, RAG mi, İnce Ayar mı? Ölçülebilir Bir Karar Ağacı

Kararın altına tek sayfalık bir defter yazıldı. Dört olayın her biri için bir satır: kim bakacak, ne zaman ya da hangi koşulda, geri dönüş nasıl. Üçüncü satırda tıkanıldı — bir hata geldiğinde veri setine kimin dokunacağı belli değildi. Bu tıkanma kararı değiştirmedi ama işi değiştirdi: önce sahip atandı, sonra eğitim başladı.

Dört ay sonra sağlayıcı taban modeli kullanımdan kaldırdı. Defterdeki birinci satır çalıştı, kimse tartışmadı ve uyarlama iki gün içinde yeni tabanla yeniden kuruldu. Aynı olay defteri olmayan bir ekipte bir aylık bir tartışma olarak yaşandı.

Blueprint: Bakım defteri

Kim kurar: Ürün ekibi, platform ekibi, teknik yönetici Yapı taşları: Dört yenileme olayının satırları → Her satır için bir sahip adı → Her satır için bir tarih ya da tetikleyici koşul → Taban modelin ve o günkü promptların saklandığı yer → Geri dönüş yordamının tek paragraflık tarifi Tipik ölçek: Tek sayfa, eğitim koşusundan önce yazılır Zorluk: Kolay Nerede kırılır: Defter eğitimden sonra yazılırsa hiç yazılmaz. O gün herkes sonuca bakıyordur ve bakım en geç ilk arızada hatırlanır.

Testin kendisi bir cümle: dört satırın dördüne de bir isim ve bir tarih yazabiliyorsanız bu maliyeti karşılıyorsunuz. Yazamıyorsanız karşılamıyorsunuz, ve bunu eğitim koşusundan önce öğrenmek sonra öğrenmekten ucuz.

Bir kademe derine: maliyet büyüklükle değil sayıyla ölçekleniyor

İnce ayarın bakım maliyetini şaşırtıcı yapan şey, değişikliğin büyüklüğüne duyarsız olması. Tek bir kelimeyi düzeltmek ile davranışı baştan kurmak aynı döngüyü tetikler: veri setine dokun, yeniden eğit, yeniden ölç, yeniden yayınla.

Prompt tarafında böyle değildir. Küçük bir düzeltme küçük bir iştir, büyük bir düzeltme büyük bir iş. Maliyet değişikliğin büyüklüğüyle orantılı akar ve bu orantı planlamayı mümkün kılar.

Sonucu şu: ince ayarın maliyeti kaç kez değiştiğinizle ölçeklenir, ne kadar değiştiğinizle değil. Yılda iki kez dokunulan bir uyarlama ucuzdur; ayda üç kez dokunulan bir uyarlama, tek tek bakıldığında her seferinde küçük görünse de pahalıdır.

Bu ölçüt karar anında kullanılabilir. Uyarlamayı düşündüğünüz davranışın geçen yıl kaç kez değiştiğine bakın. Sık değişen bir davranış ince ayarın en kötü eşleştiği durumdur; orada kuralı yazıp sistem talimatına koymak, her defasında yeniden eğitmekten hem ucuz hem denetlenebilirdir.

Sınırlar ve yanlış anlamalar

Bu yazı fiyat vermiyor. Kalemlerin tutarları sağlayıcıya, ölçeğe ve ekibin kendi ücretine göre değişir ve buradaki hiçbir cümle bir rakam iddia etmiyor. Sayılan şey kalemler ve tekrar sıklığı.

Maliyetli olmak yanlış olmak değildir. Dört olayın sahibi belliyse ve davranış nadiren değişiyorsa ince ayar makul bir karardır. Bu yazı bir uyarı listesi, bir yasak değil.

Parametre verimli yöntemler görünen kalemi küçültür. Eğitim koşusunun payı düşer ve giriş kolaylaşır. Dört yenileme olayına dokunmazlar: taban model yine değişir, iş kuralı yine değişir, hata yine gelir, sahiplik yine el değiştirir.

Bakım defteri bir belge değil bir karar aracıdır. Değeri doldurulmasında değil, doldurulamadığında verdiği sinyalde. Boş kalan her satır, o maliyetin bugün sahipsiz olduğunu söylüyor.

Uyarlamanın modele verdiği zarar bu hesapta yok. Buradaki kalemlerin hepsi sizin tarafınızda; modelin kendi yeteneklerinde olan değişim ayrı ölçülür ve ayrı bir yazının konusudur. → İnce Ayar Modelin Genel Yeteneklerine Ne Yapar?

Özet

İnce ayarın görünen maliyeti eğitim koşusudur ve üç kalemin en küçüğüdür. Görünmeyenler beş tane: veriyi tutarlı hâle getirmek, bir değerlendirme seti kurmak, model ile veri ile promptu birlikte sürümlemek, ayrı bir ağırlık setini çalıştırmak ve geri dönüş yolunu açık tutmak.

Bu kalemler bir kez ödenmiyor. Dört olay onları yeniden açıyor: taban model değişir, iş kuralı değişir, bir hata gelir, sahiplik el değiştirir. Dördünün de takvimini başkası yazıyor.

Karşılayıp karşılayamadığınızın testi tek cümle: dört olayın her biri için bir isim ve bir tarih yazabiliyor musunuz? Yazamıyorsanız maliyet ortadan kalkmıyor, yalnızca sahipsiz kalıyor.

Son ölçüt sıklık. Maliyet değişikliğin büyüklüğüyle değil sayısıyla ölçekleniyor; sık değişen davranışlar ince ayarın en kötü eşleştiği yerdir.

Sık sorulanlar

İlgili yazılar