Promptları Test Etme: "Bana İyi Göründü"yü Bırakmak

Promptunuzu değiştirdiniz, yeniden çalıştırdınız, çıktı daha iyi geldi. İyileştirdiniz mi?

Bilmiyorsunuz. Model aynı prompta her seferinde farklı cevap verir. Gördüğünüz fark değişiklikten değil, sadece bu seferki rastgele seçimden geliyor olabilir.

Bu, prompt üzerinde çalışan herkesin defalarca düştüğü tuzak: iyileşme sanılan şey çoğu zaman gürültü. Ve gürültüyü ölçmenin tek yolu var — birden fazla kez, birden fazla girdiyle, önceden belirlenmiş bir ölçütle çalıştırmak.

Gözle değerlendirme neden yanıltıyor?

Dört ayrı mekanizma aynı anda çalışıyor.

Rastgelelik. Tek bir çıktı, mümkün çıktıların dağılımından çekilmiş tek bir örnektir. İki örneğe bakıp dağılım hakkında karar veremezsiniz.

Beklenti etkisi. Hangi çıktının yeni promptan geldiğini bildiğinizde, onda iyilik ararsınız. Bu bilinçli bir hile değil, kaçınılmaz bir eğilim.

Tek girdi körlüğü. Promptunuzu favori örneğinizle test edersiniz. O örnekte iyi çalışması, zor örneklerde de çalışacağı anlamına gelmez.

Ölçütsüzlük. “Daha iyi” tanımlanmadığında, gördüğünüz her farkı iyileşme sayabilirsiniz. Uzun çıktı bazen daha zengin, bazen daha dağınıktır — hangisi olduğunu ölçüt belirler.

Değerlendirme seti kurmak

Blueprint: Değerlendirme seti

Kim kurar: Ürün ekipleri, içerik operasyonu, yazılım geliştiriciler Yapı taşları: Girdi seti → Kabul ölçütü → Puanlama formu → Sonuç kaydı Tipik ölçek: Prompt başına 20–30 girdi Zorluk: Orta Nerede kırılır: Set gerçek girdileri yansıtmıyorsa test yanlış güven verir. Kolay örnekler seçmek en sık yapılan hata.

1. Girdileri toplayın

Promptunuzun gerçekte karşılaşacağı girdilerden 20–30 tane. Uydurma değil, gerçek.

Dağılım önemli. Set yalnızca tipik örneklerden oluşursa, promptun zor durumlarda nasıl davrandığını hiç görmezsiniz.

Son satır en değerlisi. Bir promptun uydurma eğilimini yalnızca uydurmaya davet eden girdilerle ölçebilirsiniz.

2. Kabul ölçütünü önceden yazın

Bu adım testin tamamını belirler ve en çok atlanan adımdır.

Ölçüt çıktıyı görmeden yazılmalı. Sonradan yazılan ölçüt, gördüğünüz çıktıya göre şekillenir ve testi anlamsızlaştırır.

İyi ölçüt ikili cevaplanabilir:

1. İstenen üç alanın üçü de dolu mu?              (evet / hayır)
2. Kaynakta olmayan bir bilgi eklenmiş mi?        (evet / hayır)
3. Çıktı 120 kelimeyi aşıyor mu?                  (evet / hayır)
4. Format bozuk mu?                                (evet / hayır)

Kötü ölçüt yoruma açıktır: “akıcı mı”, “profesyonel mi”, “yeterince ayrıntılı mı”. Bunları kullanacaksanız üç kademeli bir ölçek tanımlayın ve her kademenin ne olduğunu yazın.

3. Çalıştırın ve puanlayın

Her girdiyi en az üç kez çalıştırın. Tek çalıştırma rastgeleliği ölçmez.

Çıktıları karıştırın. Hangi çıktının hangi promptan geldiğini bilmeden puanlayın. Bu tek önlem, beklenti etkisinin büyük kısmını ortadan kaldırır.

Ham sayıları kaydedin. “İyileşti” değil, “12/20’den 17/20’ye çıktı”. Üç ay sonra bakacağınız şey bu.

İki promptu adil karşılaştırmak

Tek bir kural var ve ihlali testi geçersiz kılar: bir seferde tek değişken.

İki prompt arasında hem kısıt eklediniz hem örnek verdiniz hem ton değiştirdiyseniz, sonuç iyileşse bile hangisinin işe yaradığını bilemezsiniz. Bir sonraki değişiklikte hangisini koruyacağınıza karar veremezsiniz.

Karşılaştırma tablosu şöyle görünmeli:

Girdi   A: mevcut    B: kısıt eklendi
------  ---------    -----------------
1       3/4          4/4
2       2/4          4/4
3       4/4          4/4
...
------  ---------    -----------------
Toplam  58/80        71/80

Fark küçükse — örneğin 58’e karşı 61 — bunu iyileşme saymayın. Rastgelelik bu büyüklükte oynamalar üretir. Aradığınız şey gürültünün üstünde durabilecek kadar büyük bir fark; eşiği kendi işinizde, aynı promptu birkaç kez çalıştırıp aradaki doğal oynamayı görerek bulursunuz.

Ne zaman otomatikleştirmeli?

Elle puanlama 20 girdi × 2 prompt × 3 tekrar = 120 çıktı demek. Bir kereliğine yapılır, her değişiklikte yapılamaz.

Elle kalın — prompt haftada birkaç kez değişiyorsa, ölçütler yoruma dayalıysa, set küçükse.

Otomatikleştirin — prompt sık değişiyorsa, ölçütler kodla kontrol edilebiliyorsa (alan dolu mu, uzunluk sınırı, format geçerli mi), ya da bir ürünün içinde çalışıyorsa.

Ölçütlerin bir kısmı kodla, bir kısmı elle kontrol edilebilir. Karma yaklaşım genellikle en pratiği: format ve uzunluk kodla, içerik doğruluğu elle.

Bir modelin çıktısını başka bir modele puanlatmak da mümkün ama kendi yanlılıklarını taşır — uzun cevapları ve kendi ürettiğine benzeyen metinleri kayırma eğilimi bilinen bir sorundur. Ayrıntısı ayrı bir yazının konusu. → 5.7.2.2^yakında

Somut örnek: bir puanlama turu

Bir müşteri yorumu sınıflandırma promptunu test edelim. Ölçüt önceden yazıldı:

1. Üç alan da dolu mu?                    (1 puan)
2. Kategori tanımlı listede mi?           (1 puan)
3. Alıntı yorumda birebir geçiyor mu?     (1 puan)
4. Format bozuk mu?                       (1 puan)
                                    Toplam: 4 puan

Beş girdi, iki prompt, üçer tekrar. Sonuç:

Girdi         A: mevcut       B: alıntı kuralı eklendi
-----------   ------------    ------------------------
1 (tipik)     4, 4, 4 = 12    4, 4, 4 = 12
2 (uzun)      4, 3, 4 = 11    4, 4, 4 = 12
3 (kısa)      4, 4, 4 = 12    4, 4, 4 = 12
4 (çelişkili) 2, 3, 2 =  7    3, 4, 3 = 10
5 (tuzaklı)   1, 2, 1 =  4    4, 3, 4 = 11
-----------   ------------    ------------------------
Toplam        46/60           57/60

Üç okuma çıkıyor bu tablodan.

Fark anlamlı. 46’dan 57’ye çıkış, gürültünün üstünde.

Fark her yerde değil. İlk üç girdide değişiklik yok. Kazanç tamamen 4 ve 5 numaralı girdilerden geliyor — yani zor ve tuzaklı olanlardan. Setiniz yalnızca tipik girdilerden oluşsaydı bu iyileştirmeyi hiç göremezdiniz.

Kalan sorun görünür. 4 numaralı girdi hâlâ tam puan almıyor. Bir sonraki turun konusu belli.

Üçüncü satır, testin asıl değerini gösteriyor: sadece “iyileşti mi” sorusunu değil, “sırada ne var” sorusunu da cevaplıyor.

Sık yapılan hatalar

Kolay örneklerle set kurmak. Promptun iyi çalıştığı örnekleri seçerseniz her test geçer. Set, promptu zorlamalı.

Ölçütü sonradan yazmak. Çıktıyı görüp “evet bu iyi” demek test değil, izlenimdir.

Tek çalıştırmayla karar vermek. En sık ve en pahalı hata.

Setin eskimesini fark etmemek. Gerçek girdiler zamanla değişir. Bir yıl önceki setle test etmek, bugün karşılaşılmayan durumları ölçmek demektir.

Küçük farkı ciddiye almak. 58’den 61’e çıkmak iyileşme değil, gürültü olabilir.

Ölçütü yazmak neden zor?

Bu adımda çoğu kişi tıkanıyor ve tıkanmanın sebebi teknik değil.

Ölçüt yazmak, ne istediğinize karar vermek demek. “İyi bir özet” cümlesini “istenen üç bilgiyi içeriyor mu, kaynakta olmayan bir şey eklenmiş mi, 120 kelimeyi aşıyor mu” hâline getirmek, o ana kadar belirsiz bıraktığınız kararları vermeyi gerektiriyor.

Bu yüzden ölçüt yazma denemesi çoğu zaman şunu ortaya çıkarıyor: sorun promptta değil, iş tanımındaydı. → Promptla Çözülemeyen Problemler: Yedi Belirti ve Doğru Çözümleri

Zorlandığınızda işe yarayan bir yöntem var: istediğiniz çıktıyı elle yazın. Bir örneği kendiniz üretin, sonra “bu örneği kabul edilebilir yapan nedir” diye sorun. Cevaplar doğrudan ölçüt maddelerine dönüşür ve genellikle üç dört madde çıkar.

İkinci bir yöntem, kötü örnekten gitmek: elinizde beğenmediğiniz bir çıktı varsa, “bunu neden beğenmedim” sorusunun her cevabı bir ölçüt maddesi.

Öznel ölçütlerle ne yapmalı?

Bazı işlerde “doğru cevap” yok. Bir tanıtım metninin iyi olup olmadığı, bir fikrin ilgi çekici olup olmadığı ikili cevaplanamıyor.

Bu durumda iki seçenek var.

Ölçeğe çevirin. Üç kademeli bir ölçek tanımlayın ve her kademenin ne olduğunu yazın: “3 = markanın diline uygun ve özgün, 2 = uygun ama genel, 1 = markanın diliyle uyumsuz.” Kademelerin tanımı önceden yazıldığında öznellik azalır.

Tercih testine geçin. Puanlamak yerine karşılaştırın: iki çıktıyı yan yana gösterip “hangisi daha iyi” diye sorun. İnsanlar mutlak puan vermekte zorlanır ama karşılaştırmada tutarlıdır. Yeterli sayıda karşılaştırma, hangi promptun daha iyi olduğunu puanlamadan gösterir.

İkinci yöntem yaratıcı işlerde belirgin biçimde daha güvenilir. Tek koşulu, karşılaştırmayı yapan kişinin hangi çıktının hangi promptan geldiğini bilmemesi.

Sınırlar

Test bir garanti değil. 20 girdide iyi çalışan prompt 21’incide bozulabilir. Test riski azaltır, sıfırlamaz.

Ölçüt yazamadığınız işlerde bu yöntem sınırlı. Yaratıcı yazı ve fikir üretiminde “doğru cevap” olmadığı için puanlama öznelleşir. Böyle işlerde tercih testi (hangisini seçerdin) daha uygun olabilir.

Maliyet gerçek. 120 çıktı üretmek zaman ve para harcar. Tek seferlik kişisel bir prompt için bu yatırım anlamsız.

Test edilen şey promptsa, sorun promptta olmalı. Bilgi eksikliği veya yetenek sınırı varsa test bunu göstermez, sadece düşük skor verir. → Promptla Çözülemeyen Problemler: Yedi Belirti ve Doğru Çözümleri

Özet

Bir promptun iyileştiğini gözle anlayamazsınız. Model aynı girdiye farklı cevaplar verdiği için, iki çıktı arasındaki fark rastgelelikten geliyor olabilir.

Doğru yöntem: 20–30 gerçek girdiden oluşan bir set kurun, kabul ölçütünü çıktıyı görmeden yazın, her girdiyi üçer kez çalıştırın ve çıktıları hangi promptan geldiğini bilmeden puanlayın.

Karşılaştırmada tek kural var: bir seferde tek değişken. İki şeyi birlikte değiştirip sonucun düzeldiğini görmek, hangisinin işe yaradığını bilmemek demektir.

Küçük farkları ciddiye almayın. Anlamlı sayılabilecek sıçrama, gürültünün üstünde durabilecek kadar büyük olmalı.

Sık sorulanlar

İlgili yazılar