Yapay Zeka Çıktısında Sistematik Hata Kalıplarını Tanıma

Doğrulamayı ucuzlatmanın en güçlü yolu, çıktıyı daha hızlı okumak değil: nereye bakacağınızı bilmek.

Ve bunu bilmenin tek yolu var. Aynı model, aynı iş türünde, aynı hataları tekrarlıyor. O tekrarları görebilirseniz baştan sona okuma zorunluluğu ortadan kalkıyor; üç yere bakmak yetiyor.

Bu yazı o kalıpların nasıl görüleceğini anlatıyor. Bir promptun ölçülmesi — değerlendirme seti kurmak, iki sürümü adil karşılaştırmak — ayrı bir konu → Promptları Test Etme: \"Bana İyi Göründü\"yü Bırakmak. Burada ölçme değil fark etme var: gerçek işin akışı içinde, ayrı bir test düzeneği kurmadan.

Hafıza kalıp göstermez

İlk engel teknik değil, insani: kalıpları hatırlayamıyorsunuz.

Bir hatayı düzelttiğinizde o hata zihninizde kapanıyor. İki hafta sonra aynı hatayı yeniden düzeltirken, bunun ikinci kez olduğunu fark etmiyorsunuz — çünkü ilkini düzeltmiştiniz ve düzeltilmiş şeyler hatırlanmıyor.

Sonuç şu paradoks: hatayı ne kadar hızlı düzeltirseniz kalıbı görmeniz o kadar zorlaşıyor. İyi çalışan biri, kalıpları en az fark eden kişi oluyor.

Tek çözüm kayıt. Ve kaydın çok basit olması gerekiyor, yoksa tutulmuyor.

Blueprint: üç sütunlu hata günlüğü

Tek dosya, üç sütun. Bir hatayı düzeltirken otuz saniyeden fazla sürmemeli, yoksa iki hafta içinde bırakırsınız.

Ne istedim	Ne geldi	Tür
Beş maddelik özet	Yedi madde	uzunluk
Kaynaktaki rakamlar	Kaynakta olmayan bir yüzde	uydurma
Resmî ton	Üçüncü paragraftan sonra samimileşti	ton kayması
“Şu terimi kullanma”	Terim iki yerde geçti	olumsuz talimat

Üçüncü sütun işin tamamı. “Tür” kolonunu doldurmak sizi hatayı sınıflandırmaya zorluyor; kalıp tam olarak orada görünür hâle geliyor.

Ne zaman bakılır: ayda bir, beş dakika. Aynı türden üç satır varsa kalıp bulmuşsunuz demektir.

Ne zaman silinir: model değiştiğinde. Eski kalıplar yeni modelde geçerli olmayabilir → Model Güncellenince Promptlar Neden Bozulur?.

Kalıpların üç kaynağı

Bulduğunuz her kalıp aynı yerden gelmiyor ve kaynağı bilmek çözümü belirliyor.

1. Modelden gelen kalıplar. Aynı model, farklı işlerde bile aynı eğilimi gösteriyor: fazla uzun yazmak, her şeye üç madde eklemek, emin olmadığı yerde daha kesin konuşmak. Çözümü prompt tarafında değil, kontrol tarafında: bu kalıba her seferinde bakacağınızı bilirsiniz.

2. İş türünden gelen kalıplar. Belirli bir iş, belirli bir yerden bozuluyor. Çeviride özel adlar, özette uç durumlar, listede son madde. Çözümü kontrol listesi: o iş türünde her zaman aynı üç yere bakın.

3. Sizden gelen kalıplar. En rahatsız edici olanı ve en sık gözden kaçanı. Belirli bir alışkanlığınız belirli bir hatayı üretiyor: bağlamı eksik veriyorsunuz, iki isteği tek cümlede birleştiriyorsunuz, kabul ölçütünü hiç yazmıyorsunuz.

Üçüncüsünü ayırt etmenin yolu şu: aynı hatayı farklı modellerde de alıyorsanız kaynak sizsiniz. Ve bu iyi haber — çünkü tek düzeltilebilir kaynak o.

Tesadüfü kalıp sanmak

Karşı yönde bir tuzak var ve kayıt tutmaya başlayan herkes bir süre içine düşüyor: her tekrar kalıp değil.

Model olasılıkla çalışıyor. Aynı hatanın iki kez üst üste gelmesi tamamen olağan ve hiçbir şey ifade etmiyor. İki gözlemden kalıp çıkarırsanız, olmayan bir düzene göre kontrol listesi kurarsınız — ve asıl kalıpları gözden kaçırırsınız.

İki şartlı bir eşik işe yarıyor:

En az üç kez, ve arada geçen turlarla. Üst üste üç değil; araya temiz turlar girmiş üç. Üst üste gelenler tek bir kötü bağlamın sonucu olabilir.

Bir mekanizma hikâyesi kurabilmeli. “Neden böyle olsun?” sorusuna makul bir cevabınız yoksa elinizde muhtemelen kalıp değil gürültü var. Uydurma bir sayıya neden geliyor sorusunun cevabı var → Promptla Çözülemeyen Problemler: Yedi Belirti ve Doğru Çözümleri; “salı günleri daha kötü yazıyor” iddiasının yok.

İkisi birden sağlanmadan kalıp ilan etmeyin. Yanlış kalıp, kalıpsızlıktan pahalıya mal oluyor: yanlış yere bakarak doğru yere bakmayı bırakıyorsunuz.

Sık görülen kalıp aileleri

Kendi kaydınız asıl kaynak, ama nereye bakacağınızı bilmek başlangıcı hızlandırıyor. Yaygın olarak bildirilen aileler:

Bu liste kapalı değil ve araca göre değişiyor. Kendi günlüğünüzdeki üç satırlık bir kalıp, buradaki altı aileden değerli.

Kalıbı bulduktan sonra: üç kullanım

Kalıp bulmak kendi başına bir kazanç değil. Üç yere dönüştüğünde kazanca dönüşüyor.

1. Kontrol listesi. O iş türünde her zaman aynı yerlere bakın. Baştan sona okumayı, üç noktaya bakmaya indiren şey bu → Doğrulama Maliyeti Üretim Tasarrufunu Aşarsa: Kazanç Nerede Kayboluyor?.

2. Kısıt cümlesi. Tekrarlayan bir hatayı önceden kapatan tek satırlık bir talimat, aynı düzeltmeyi her seferinde yapmaktan ucuz.

3. İş bölümü değişikliği. Bazı kalıplar prompt’la kapanmıyor. Kalıp bir adımın sistematik olarak bozulduğunu gösteriyorsa, çözüm o adımı bölmek ya da elde tutmak olabilir.

Sıralama önemli: önce kontrol listesi, sonra kısıt, en son iş bölümü. Tersten gitmek, henüz anlaşılmamış bir kalıp için akışı yeniden kurmak demek.

Bir uyarı da ters yönde. Kalıp bilmek kontrolü daraltıyor, kaldırmıyor. Üç yere bakmaya geçtiğinizde geri kalan her yerde kör oluyorsunuz — ve kalıplar zamanla değiştiği için o körlük sessizce büyüyebiliyor. Bu yüzden daraltılmış kontrolün yanında ara sıra tam okuma kalmalı: ayda bir çıktıyı baştan sona okumak, listenizin hâlâ doğru yerlere baktığını sınayan tek yol. Kalıp listesi bir kısayol; kısayolun kendisi de arada bir denetlenmeli → Otomasyon Yanlılığı: Makineye Fazla Güvenmek.

Kaydın ikinci faydası: model seçimi kendi işinize göre

Hata günlüğü tutmanın beklenmedik bir getirisi var ve genellikle sonradan fark ediliyor.

Araçlar karşılaştırılırken genel testlere bakılıyor. O testler ortalama bir kullanıcı için anlamlı olabilir; sizin işiniz ortalama değil. Sizin için önemli olan, aracın genel başarısı değil, sizin iş türünüzde hangi hataları yaptığı.

Bir aylık günlüğünüz varsa yeni bir aracı değerlendirmek kolaylaşıyor: aynı işleri verirsiniz, çıkan hataları aynı sütunlara yazarsınız, iki listeyi karşılaştırırsınız. Ölçüt genel bir puan değil, sizi fiilen yavaşlatan hataların azalıp azalmadığı.

Bu karşılaştırma titiz bir ölçüm değil ve öyle sunulmamalı — örneklem küçük, koşullar denetimli değil. Ama karar vermek için gereken şey çoğu zaman titiz ölçüm değil, kendi işinize ait bir gözlem. Hangi aracın daha iyi olduğu sorusunun cevabı zaten kişiden kişiye değişiyor; günlük, o cevabı sizin için verilebilir hâle getiriyor.

Titiz karşılaştırma gerekiyorsa yöntem ayrı → Promptları Test Etme: \"Bana İyi Göründü\"yü Bırakmak.

Sınırlar

Kalıplar kalıcı değil. Model güncellendiğinde eski kalıplar kaybolabilir, yenileri doğabilir. Günlük bu yüzden tarihli tutulmalı ve model değişiminde gözden geçirilmeli → Model Güncellenince Promptlar Neden Bozulur?.

Bu yazı ölçüm yöntemi anlatmıyor. “Bu kalıp gerçekten ne sıklıkta oluyor” sorusunun cevabı bir değerlendirme seti gerektiriyor; o ayrı bir iş → Promptları Test Etme: \"Bana İyi Göründü\"yü Bırakmak.

Kalıp bilmek kontrolü tamamen kaldırmıyor. Nereye bakacağınızı bilmek, bakmayı bırakmak değil — ve ikisi arasındaki mesafe sanıldığından kısa. Bir sonraki yazının konusu tam olarak bu → Otomasyon Yanlılığı: Makineye Fazla Güvenmek.

Buradaki aile listesi ölçüm değil. Yaygın gözlemlerden derlendi; sıklık iddiası içermiyor ve kendi kaydınızın yerini tutmaz.

Günlük tutmanın kendisi bir maliyet. Otuz saniyelik bir kayıt bile, düzinelerce çıktı üzerinde birikiyor. Aynı iş türünü seyrek yapıyorsanız kalıp oluşacak kadar veri toplanmadan bıkma ihtimaliniz yüksek — bu durumda günlüğü tüm işler için değil, yalnızca en sık tekrarladığınız tek iş türü için tutun.

Özet

Doğrulamayı ucuzlatmanın yolu hızlı okumak değil, nereye bakacağını bilmek. Aynı model aynı iş türünde aynı hataları tekrarlıyor.

Ama bu kalıpları hafızayla göremezsiniz: düzelttiğiniz hata zihninizde kapanıyor, dolayısıyla iyi çalışan kişi kalıpları en az fark eden kişi oluyor. Tek çözüm kayıt — üç sütunlu, otuz saniyelik bir günlük.

Kalıpların üç kaynağı var: modelden, iş türünden ve sizden. Üçüncüsünü ayırt etmenin yolu, aynı hatayı farklı modellerde de alıp almadığınız — ve o tek düzeltilebilir kaynak.

Karşı tuzak, tesadüfü kalıp sanmak. İki şart aranmalı: araya temiz turlar girmiş en az üç tekrar, ve kurulabilen bir mekanizma hikâyesi.

Bulunan kalıp üç yere dönüşüyor: kontrol listesi, kısıt cümlesi, iş bölümü değişikliği — bu sırayla.

Sık sorulanlar

İlgili yazılar