Prompt mu, RAG mi, İnce Ayar mı? Ölçülebilir Bir Karar Ağacı

Bu soru genellikle bir toplantıda sorulur ve genellikle yanlış biçimde sorulur: “bizim işimiz için hangisi doğru?” Cevap veren herkes konuya bakar. Hukuk metni mi, o zaman ince ayar. Şirket belgesi mi, o zaman getirim. Basit iş mi, prompt yeter.

Bu cevapların ortak sorunu, ölçülemez olmaları. İki ekip aynı işi yapıyor olabilir ve doğru cevapları farklı olabilir, çünkü karar işin adına değil çıktıların nerede bozulduğuna bağlı. Konuya bakan bir çerçeve o bilgiyi hiç kullanmaz.

Bu yazı konuya bakmayı bırakıp hatalara bakan bir sıra öneriyor. Girdisi yirmi başarısız çıktı, çıktısı tek bir karar.

Soru “hangisi” değil, “bir sonraki katman”

Üçü birbirinin alternatifi değil, üst üste binen katmanlar. Prompt her kurulumda zaten var; getirim onun içine ne konduğunu değiştirir; ince ayar modelin kendisini değiştirir. Getirim kurduğunuzda prompt kaybolmaz, ince ayar yaptığınızda getirim gereksizleşmez.

Bu yüzden doğru soru “hangisini seçeyim” değil, “sıradaki katmanı eklemeye hakkım var mı”. Fark önemli: birincisi tek seferlik bir tercih gibi görünür ve bir kez verilip unutulur, ikincisi her seferinde gerekçe ister.

Üç katmanın ne yaptığını tek cümleyle ayıralım. Prompt modele o istekte ne yapmasını istediğinizi söyler ve etkisi o konuşmayla sınırlıdır. → Prompt Mühendisliği Ne Demek? Terimin Kapsamı ve Sınırı Getirim cevap üretilmeden önce dış bir kaynaktan ilgili metin parçalarını bulup promptun içine koyar; model değişmez, yanına konan şey değişir. → RAG Nedir ve Hangi Problemi Çözer? İnce ayar modelin ağırlıklarını sizin örneklerinizle günceller; ortaya yeni bir model çıkar ve o model sizin örneklerinize benzer davranır.

İnce ayarın nasıl yapıldığı — modelin ne kadarının değiştiği, ne kadar veriyle, hangi donanımda — ayrı bir konu kümesidir ve bu yazının kapsamı dışında. Karar için gereken tek şey şu: ince ayar, örnek göstererek davranış yerleştirmenin adıdır ve sonucu kalıcıdır.

Sezgi: ampul, sigorta, tesisat

Evde bir lamba yanmıyor. Kimse duvarı kırmakla başlamaz. Önce ampulü değiştirirsiniz — beş dakika sürer, yanlışsa hiçbir şey kaybetmezsiniz. Olmadıysa sigortaya bakarsınız — biraz daha uğraş, hâlâ geri alınabilir. En sonda tesisat vardır: pahalı, uzun ve evin geri kalanını da etkileyen bir iş.

Üç katman aynı sırayla durur. Prompt ampuldür: dakikalar içinde denenir, beğenilmezse geri alınır. Getirim sigortadır: kurulumu gün alır, ama sistemin geri kalanına dokunmaz. İnce ayar tesisattır ve tesisattan başlamak, arızayı bulmadan duvarı kırmaktır.

Benzetme şurada bozuluyor: elektrikte arıza tek bir yerdedir ve testler onu bulur. Modelde üç katman aynı anda kusurlu olabilir; hatta çoğu zaman öyledir. Sıra yine de değişmez, ama sebebi farklı: elektrikte ucuzdan başlarsınız çünkü arıza orada olabilir, burada ucuzdan başlarsınız çünkü pahalı olanı yanlış yaptığınızda geri dönmek zor.

Üç kutu: yirmi başarısızlığı ayırmak

Karar ağacının girdisi tahmin değil sayımdır. Sistemin gerçek kullanımından yirmi başarısız çıktı toplayın ve her birini üç kutudan birine koyun. Elle yazılmış test girdileri işe yaramaz; kutuların dolum oranı gerçek kullanımdan gelmezse ağaç yanlış dallanır.

A — Eksik bilgi. Doğru cevabın dayanacağı olgu modele hiçbir yerden verilmemiş. Model onu bilmiyor ve prompt içinde de yok.

B — Yerleşmeyen davranış. Olgu ortadaydı: ya modelin bildiği bir şeydi ya da promptun içindeydi. Çıktı yine de istediğiniz biçimde, tonda ya da kapsamda gelmedi.

C — Belirsiz istek. İki farklı kişi aynı promptu okusa farklı çıktı beklerdi. Yanlış olan çıktı değil, ölçüt.

İki kural sayımı denetlenebilir yapar. Birincisi: etiketlemeyi iki kişi bağımsız yapar ve uyuşmadıkları her hata C’ye gider. Uyuşmazlığın kendisi belirsizliğin kanıtıdır, tartışılacak bir şey değil. İkincisi: bir hata hem A’ya hem B’ye uyuyorsa A kazanır. Bilgi eksikken biçim ölçülemez; bu, promptla çözülemeyen problemlerin sıralama kuralıdır. → Promptla Çözülemeyen Problemler: Yedi Belirti ve Doğru Çözümleri

Karar ağacı: en kalabalık kutu bir sonraki katmanı seçer

Kural tek cümle: en kalabalık kutu bir sonraki katmanı belirler, beraberlikte A kazanır. Eşik yok, yüzde yok — üç sayıyı sıralamak yeterli. Sayılar arasında bir fark yoksa zaten envanter küçüktür ve büyütülmesi gerekir.

A baskınsa getirim katmanı kurulur. Model bilmediği için yanılıyorsa çare bilgiyi getirmektir; talimat da örnek de bilgi yaratmaz. → RAG Nedir ve Hangi Problemi Çözer?

C baskınsa iş prompt tarafındadır. Ne istediğiniz belli olana kadar hiçbir katman bir şey düzeltmez, çünkü düzeldiğini ölçecek cümleniz yok. → Belirsizlik: Promptunuzda Söylemediğiniz Her Şey Bir Karardır

B baskınsa ince ayar aday olur. Aday olmak yetmez; B kutusunun kendi kapısı var.

B kutusu tek başına ince ayar demek değil

B’deki hataları üç soruyla süzün. Üçünden biri bile hayır diyorsa ince ayar bugünün işi değildir.

Kuralı yazabiliyor musunuz? Yazabiliyorsanız bu ince ayar işi değil: kural sistem talimatına ya da koda yazılır ve orada denetlenebilir kalır. İnce ayarın alanı, istediğinizi gösterebildiğiniz ama kuralını yazamadığınız davranıştır.

Kaç örnek gösterebiliyorsunuz? Birkaç örnek promptun içine konunca davranış yerleşiyorsa iş bitmiştir; bu az örnekle istemdir ve maliyeti sıfıra yakındır. → Sıfır, Tek ve Az Örnekle İstem: Modele Örnek Vermek Ne Yapıyor? İnce ayarın eşiği burada: elinizde prompta sığmayacak kadar örnek olmalı. Bu eşik çoğu tartışmada hiç sorulmaz, oysa ince ayarı diğer iki katmandan ayıran tek somut şart budur.

Davranış her istekte mi gerekiyor? Ayda birkaç kez gereken bir davranış için kalıcı bir bakım yükü almak, kullanım sayısına bölünmeyen bir maliyettir. → İnce Ayarın Gizli Maliyetleri: Fatura Neden Tek Seferlik Değil?

Yanlış kutuya yanlış katman

Bu tablonun ilk satırı en pahalı yanlıştır ve en sık yapılanıdır. İnce ayar dili düzeltir, biçimi oturtur ve modeli daha kendinden emin yapar; eksik bilgi yerinde durur ama artık fark edilmesi zorlaşmıştır.

Somut örnek: iade politikası asistanı

Bir destek ekibi müşteri sorularını cevaplayan bir asistan kurdu ve çıktılar tatmin etmiyor. Toplantıda iki öneri var: “modeli kendi kayıtlarımızla eğitelim” ve “belgeleri bağlayalım”. Envanter bu tartışmayı bir öğleden sonrada bitiriyor.

Yirmi başarısız cevap üretimden çekiliyor. On dördü A çıkıyor: model kampanya koşullarını, iade süresini ve istisnaları bilmiyor. Dördü B: cevaplar doğru ama üç paragraf uzunluğunda, oysa destek ekibi tek paragraf ve madde işareti istiyor. İkisi C: “bu müşteriye ne yazmalıyım” sorusuna ekibin kendi içinde ortak bir cevabı yok.

Karar A tarafında. Getirim kurulur, B’deki dört hata için sistem talimatına biçim kuralı yazılır, C’deki ikisi ekibin kendi işidir. İnce ayar bu turda hiç gündeme gelmez — ve gelmemesinin sebebi bir görüş değil, on dörde dört.

Blueprint: Yirmi başarısızlık envanteri

Kim kurar: Ürün ekibi, destek ekibi, veri ekibi Yapı taşları: Üretim istek kaydı → Yirmi başarısız çıktının kopyası → İki bağımsız etiketleyici → Üç kutulu sayım tablosu → Tek sayfalık karar notu Tipik ölçek: Bir öğleden sonra, kod yazmadan Zorluk: Kolay Nerede kırılır: Envanter üretimden değil elle yazılmış test girdilerinden toplanırsa üç kutu da yanlış dolar; elle yazılan girdiler yazanın bildiklerini taşır ve A kutusunu sistematik olarak küçültür.

Envanteri altı ayda bir tekrarlamak, bir sonraki kararın da ölçüye dayanmasını sağlıyor. Kutuların dağılımı sabit değil: getirim kurulduktan sonra A küçülür ve B görünür hâle gelir. İkinci envanter, ilkinde alınamayan kararı çoğu zaman kendiliğinden verir.

Bir kademe derine: sırayı etkinlik değil geri dönüş belirler

Katmanların sırası hangisinin daha güçlü olduğuna göre kurulmadı. Bazı işlerde ince ayar açık ara en iyi sonucu verir ve yine de sıranın sonunda durur. Sebep etkinlik değil, geri dönüş maliyeti.

Bir promptu geri almak dakikalar sürer. Getirim katmanını kapatmak bir yapılandırma değişikliğidir. İnce ayarı geri almak teknik olarak da kolaydır — taban model duruyor, ona dönersiniz. Geri dönülmez olan ağırlıklar değil, etraflarında birikmiş olan şey: promptlar o modelin alışkanlıklarına göre yazıldı, değerlendirme seti onun çıktılarıyla kalibre edildi, kullanıcılar o tonu öğrendi. Altı ay sonra geri dönmek, bunların hepsini yeniden yapmak demek.

İkinci sebep zamanlama. Prompt ve getirim kararlarını istediğiniz gün değiştirebilirsiniz. İnce ayar bir bakım takvimini de beraberinde getirir ve o takvimi siz yazmazsınız: taban model değiştiğinde ya da kullanımdan kalktığında iş yeniden önünüze gelir. → Model Güncellenince Promptlar Neden Bozulur?

Bu yüzden ağacın sonundaki soru “işe yarar mı” değil, “bunu altı ay taşıyabilir miyim”. İlk sorunun cevabı çoğu zaman evettir; kararı veren ikincisidir. → İnce Ayarın Gizli Maliyetleri: Fatura Neden Tek Seferlik Değil?

Sınırlar ve yanlış anlamalar

Ağaç bir kez çalışmaz. Yirmi başarısızlık bugünkü sistemin fotoğrafıdır. Katman eklendikçe dağılım değişir; karar da değişir. Tek seferlik bir hüküm bekleyen ekip, altı ay sonra eskimiş bir kararı savunuyor olur.

Yirmi sayısı bir eşik değil, bir alt sınır sezgisi. Üç kutunun sıralaması net çıkmıyorsa envanter küçüktür. Sayıyı büyütmek, kuralı esnetmekten iyidir.

Üç katman birbirini dışlamıyor. Getirim kurulmuş bir sistemde ince ayar hâlâ anlamlı olabilir; ikisi farklı kutuları kapatır. Ağaç “hangisi” demiyor, “önce hangisi” diyor.

Kutulama insan yargısıdır. İki etiketleyici kuralı bu yargıyı ortadan kaldırmaz, görünür yapar. Uyuşmazlık oranı yüksekse sorun modelde değil, işin tanımındadır.

Bu çerçeve maliyeti fiyat olarak ölçmüyor. Hangi katmanın kaça mal olduğu ayrı bir hesap ve ince ayar tarafında büyük kısmı faturada görünmüyor. → İnce Ayarın Gizli Maliyetleri: Fatura Neden Tek Seferlik Değil?

Bu konuda anlaşmazlık: İnce ayar küçük ekipler için hâlâ erişilebilir mi?

Görüş A → Barındırılan eğitim hizmetleri ve parametre verimli yöntemler girişi ucuzlattı. Tek bir kişi bir günde çalışan bir uyarlama çıkarabiliyor; bu artık sıradan bir araç. (Savunanlar: erişilebilir diyen taraf) Görüş B → Fatura hiçbir zaman eğitim koşusu değildi. Veri hazırlama, değerlendirme ve taban model değişimlerini takip etme yükü duruyor; taban modeller hızlandıkça bu pay büyüdü. (Savunanlar: bakım maliyeti tarafı) Durum → 2026 ortası itibarıyla uzlaşma yok. Kararı ekibin taban model değişimine ne kadar dayanabildiği belirliyor.

Özet

Prompt, getirim ve ince ayar arasındaki seçim işin konusuna bakarak verilemez. Karar, sistemin nerede bozulduğuna bağlıdır ve bu ölçülebilir bir şeydir.

Yöntem şu: üretimden yirmi başarısız çıktı toplayın, iki kişi bağımsız olarak üç kutuya ayırsın, uyuşmazlıklar belirsizlik sayılsın. Eksik bilgi baskınsa getirim, belirsiz istek baskınsa prompt, yerleşmeyen davranış baskınsa ince ayar aday olur.

İnce ayarın kendi kapısı var ve üç sorudan geçer: kuralı yazamıyor olmak, prompta sığmayacak kadar örneğe sahip olmak, davranışın her istekte gerekmesi. Üçü birden sağlanmıyorsa sıra ona gelmemiştir.

Sıranın sebebi güç değil geri dönüş. Ucuz ve geri alınabilir olan önce denenir; pahalı ve etrafında bağımlılık biriktiren en sona kalır.

Sık sorulanlar

İlgili yazılar