Örnek Seçimi: Verdiğiniz Örnek Farkında Olmadığınız Kuralı Öğretir

Üç örnek verdiniz. Üçünde de cevap kısaydı — çünkü elinizdeki örnekler öyleydi, bilinçli bir tercih değildi.

Model bunu bir kural olarak okudu. Şimdi uzun cevap gerektiren bir girdide de kısa cevap veriyor ve siz sebebini anlamıyorsunuz.

Bu, örnekle çalışmanın en az konuşulan tarafı: örnekler yalnızca göstermek istediğiniz kuralı öğretmez. Taşıdıkları her ortak özellik bir sinyaldir.

Örneklerin taşıdığı gizli sinyaller

Model, verdiğiniz örneklerde tekrar eden her şeyi örüntünün parçası sayar. → Sıfır, Tek ve Az Örnekle İstem: Modele Örnek Vermek Ne Yapıyor?

Sağdaki her satır bir kural. Bazılarını siz istediniz, bazılarını istemediniz — ama model ikisini ayırt edemiyor.

Pratik sonuç: örneklerinizde istemediğiniz bir ortak özellik varsa, onu kırın. İstediğiniz bir kural varsa, örneklerin hepsinde tutarlı olsun.

Dört seçim kuralı

1. Çeşitlilik: birbirine benzemeyen örnekler seçin

Üç örnek de aynı duruma benziyorsa model kuralı dar öğrenir ve farklı bir girdide şaşırır.

Çeşitlilik neye göre? Ayırt etmesini istediğiniz eksende. Duygu sınıflandırması yapıyorsanız örnekler farklı duygularda olsun. Uzunluk ayrımı yapıyorsanız farklı uzunluklarda.

Yanlış çeşitlilik de mümkün: örnekleri gereksiz bir eksende çeşitlendirirseniz model o ekseni önemli sanır.

2. Kapsam: sınır durumlarını dahil edin

En değerli örnek, en tipik olan değil en zor olandır.

Elinizde “kararsız” veya “hiçbirine uymuyor” gibi bir durum varsa, bunu mutlaka örneklerde gösterin. Göstermezseniz model o durumla karşılaştığında en yakın kategoriye zorla yerleştirir.

Yorum: Ürün fena değil ama fiyatına değmez sanki.
Sınıf: Karma | Nötr | Sınıflandırma zor — insana yönlendir

Bu tek satır, modelin emin olmadığında ne yapacağını öğretir. Çoğu örnek setinde eksiktir.

3. Tutarlılık: aynı işi aynı biçimde yapın

Örnekler arasındaki biçim farkları da bir sinyal taşıyor ve modeli bölüyor → Sıfır, Tek ve Az Örnekle İstem: Modele Örnek Vermek Ne Yapıyor?.

Tutarlı olması gerekenler: alan adları, ayraçlar, büyük-küçük harf kullanımı, alıntı biçimi, alan sırası.

Bu, örnek setindeki en sık ve en kolay düzeltilen hata.

4. Denge: bir sınıfı ağırlıklandırmayın

Beş örneğin dördü “olumsuz” ise model olumsuz cevaba meyleder — sınıflandırma kuralınız öyle demese bile.

Sınıflandırma yapıyorsanız örnekleri sınıflar arasında dengeli dağıtın. Dengesiz set, dengesiz çıktı üretir. → 10.4.1.2^yakında

Somut örnek: kötü ve iyi set

Kötü set:

Yorum: Kargo geç geldi.           → Olumsuz
Yorum: Paket ezikti.              → Olumsuz
Yorum: Ürün bozuk çıktı.          → Olumsuz

Üç sorun bir arada: hepsi olumsuz (denge yok), hepsi kısa (gizli uzunluk kuralı), hepsi lojistik/hasar konulu (dar kapsam). Bu set modele “her şeye olumsuz de, kısa yaz” öğretiyor.

İyi set:

Yorum: Kargo üç gündür hareket etmiyor, kimse dönmüyor.
Sınıf: Gecikme | Olumsuz | Yüksek

Yorum: Ürün beklediğimden iyi çıktı, teşekkürler.
Sınıf: Ürün memnuniyeti | Olumlu | Düşük

Yorum: Bedeni büyük geldi, değişim nasıl yapılıyor?
Sınıf: Değişim | Nötr | Orta

Yorum: Fena değil ama fiyatına değer mi bilmiyorum.
Sınıf: Fiyat/değer | Karma | Sınıflandırma zor

Dört örnek, dört farklı duygu, dört farklı konu, üç farklı aciliyet ve bir sınır durumu. Set artık kuralın sınırlarını gösteriyor.

Örnekleri nereden bulmalı?

En iyi örnekler uydurulmuş değil, geçmişte gerçekten karşılaştığınız durumlardır. Üç kaynak:

Geçmiş işleriniz. Aynı işi daha önce elle yaptıysanız, o girdiler ve verdiğiniz cevaplar hazır örnek setidir. Elle yapılmış iş, örneklerin en güvenilir kaynağıdır çünkü kabul kriteriniz zaten içinde.

Başarısız denemeler. Promptunuzun yanlış cevap verdiği girdileri saklayın. Bunlar örnek setine eklenecek en değerli adaylardır — modelin tökezlediği yeri gösterirler. → Prompt Yinelemesi: Beğenmediğiniz Çıktıdan Düzeltmeye Giden Yol

Sınır durumu koleksiyonu. Zamanla “buna ne diyeceğiz” dediğiniz durumlar birikir. Bunları bir kenara not edin; örnek setinizin en işe yarayan kısmı buradan çıkar.

Uydurma örnekten kaçının. Kendi kafanızdan yazdığınız örnek, gerçek girdilerin karmaşıklığını taşımaz ve model kolay bir dünya öğrenir.

Örnek seti ile değerlendirme seti farkı

İkisi karıştırılıyor ama farklı işler görüyor ve aynı örnekler ikisinde birden kullanılmamalı.

Bir örneği hem prompta koyup hem onunla test ederseniz, model o örneği zaten görmüş olur ve test yanlış güven verir. Setleri baştan ayırın. → Promptları Test Etme: \"Bana İyi Göründü\"yü Bırakmak

Kaç örnek?

Kural basit: ayırt edilmesini istediğiniz her durumu en az bir kez gösterin.

Beş kategori varsa beş örnek. Bir sınır durumu varsa artı bir. Sayının nereden geldiği ve getirinin nerede düştüğü ayrı bir konu → Sıfır, Tek ve Az Örnekle İstem: Modele Örnek Vermek Ne Yapıyor?. Buradaki soru kaç değil, hangi: seçilen örnekler ayrımları temsil ediyor mu. Sayı büyüdükçe getiri de azalır ve prompt maliyeti artar. → Prompt Ne Kadar Uzun Olmalı? Ayrıntının Ters Tepmeye Başladığı Nokta

Örnek eklemek işe yaramıyorsa sayı artırmayın. Muhtemelen ya örnekler tutarsız ya da iş baştan belirsiz. → Belirsizlik: Promptunuzda Söylemediğiniz Her Şey Bir Karardır

Örnek yerine tarif ne zaman yeter?

Her iş örnek gerektirmiyor. Örnek pahalı bir anlatım biçimi: yer kaplar, bakım ister ve fark etmediğiniz sinyaller taşır. Aynı şeyi tek cümlelik bir kuralla söyleyebiliyorsanız kuralı tercih edin.

Ayrım şu soruda: kuralı yazdığınızda istisna listesi açılıyor mu?

“Tarihleri GG.AA.YYYY biçiminde yaz” bir kuraldır ve örneğe ihtiyacı yoktur. Ama “müşteri yorumlarını şirketin üslubuna göre yanıtla” bir kural değil; onu kurala çevirmeye çalıştığınızda beş madde yazarsınız ve hâlâ eksik kalır. Üslup, tarif edilmekten çok gösterilerek aktarılır.

Pratik kural: biçimsel dönüşümler tarifle, üslup ve karar sınırı örnekle anlatılır. İkisi karışıksa ikisini birden kullanın — kuralı yazın, yalnızca kuralın yetmediği sınır durumu için örnek verin. Bu, hem seti küçük tutar hem örneklerin neden orada olduğunu belli eder. → Sıfır, Tek ve Az Örnekle İstem: Modele Örnek Vermek Ne Yapıyor?

Örnekleri nereye koymalı?

Kısa promptlarda önemsiz. Uzun girdilerle çalışıyorsanız örnekleri girdiden sonra koyun — model üretime başlarken kalıp önünde olsun.

Örnekleri girdiden ayırmak için görsel bir sınır kullanın:

[ÖRNEKLER]
...

[İŞLENECEK YORUM]
...

Girdi ile örneğin birbirinden ayrılmaması, biçim hatalarının en sık kaynağı; nasıl ayrılacağı ayrı bir yazıda → Sıfır, Tek ve Az Örnekle İstem: Modele Örnek Vermek Ne Yapıyor?.

Örnek seti nasıl bakım görür?

Bir örnek seti kurulup unutulacak bir şey değil. Zamanla üç yönde eskiyor ve her birinin ayrı belirtisi var.

Girdiler değişiyor. Bir e-ticaret sitesinin müşteri yorumları, ürün gamı değiştiğinde farklılaşır. Bir destek ekibinin talepleri, ürüne yeni özellik eklendiğinde başka konulara kayar. Setiniz eski dünyayı temsil ediyorsa, model bugün karşılaşmadığı durumlar için hazırlanmış olur. Belirti: yeni tip girdilerde tutarsız sınıflandırma.

Kategoriler değişiyor. İşin kendisi evrildikçe ayırt edilmesi gereken durumlar değişir. Başta üç kategoriniz varken beşe çıkmıştır ama örnek setiniz hâlâ üçünü gösteriyordur. Belirti: yeni kategorilerin hiç kullanılmaması — model onları görmediği için üretmiyor.

Model değişiyor. Bir güncelleme, modelin örneklerden çıkardığı örüntüyü değiştirebilir. Eskiden üç örnekle yeterince net olan bir kural, yeni sürümde daha fazla örnek gerektirebilir ya da tam tersine gereksizleşebilir. → Model Güncellenince Promptlar Neden Bozulur?

Bakım için pratik bir ritim: çeyrekte bir sete bakın. Son üç ayda karşılaşılan girdilerden birkaçını alın ve mevcut örneklerle karşılaştırın. Yeni bir tür ortaya çıkmışsa sete ekleyin, artık karşılaşılmayan bir tür varsa çıkarın.

Set büyüdükçe bir şey daha yapmak gerekiyor: ayıklamak. Sekiz örnekli bir set, beş örnekli bir setten daha iyi olmak zorunda değil. Fazla örnek maliyeti artırır, promptu uzatır ve fark yaratmadığı için de kimse silmeyi düşünmez. Yeni örnek eklerken eskilerden birini çıkarmayı da değerlendirin. → Prompt Ne Kadar Uzun Olmalı? Ayrıntının Ters Tepmeye Başladığı Nokta

Örneklerin taşıdığı sorumluluk

Sınıflandırma yapan bir sistemde örnekleriniz, sistemin kararlarını doğrudan şekillendiriyor. Bu, teknik bir ayrıntı olmanın ötesinde bir sorumluluk taşıyor.

Örnekleriniz belirli bir grup, bölge ya da ifade biçiminden geliyorsa, model o örüntüyü genelleştirir ve dışarıda kalanlar için daha zayıf çalışır. Bir destek sisteminde resmî dille yazılmış örnekler kullanırsanız, günlük dille yazan müşteriler sistematik olarak farklı muamele görebilir.

Bu, örnek setinin dengesini yalnızca performans meselesi olmaktan çıkarıyor. → 10.4.1.2^yakında

Sınırlar

Örnek bilgi yaratmaz. Örnekler nasıl sorusunu cevaplar, ne sorusunu değil. → Promptla Çözülemeyen Problemler: Yedi Belirti ve Doğru Çözümleri

Uydurma örnek kötü örnektir. Gerçek örneğiniz yoksa talimatı netleştirmek daha güvenli.

Örnekler bağlam yeri kaplar. Uzun girdilerle çalışıyorsanız her örnek yerden ve maliyetten çalar.

Set eskir. Gerçek girdiler zamanla değişir; bir yıl önceki örnekler bugünkü durumları temsil etmeyebilir.

Yanlılık taşınır. Örneklerinizdeki eğilim çıktıya geçer. Bu, sınıflandırma işlerinde adalet sorununa dönüşebilir.

Özet

Örnekler yalnızca göstermek istediğiniz kuralı öğretmez; taşıdıkları her ortak özellik bir sinyaldir. Üç örneğinizin üçü de kısaysa, model kısalığı kural sanır.

Dört seçim kuralı: ayırt etmek istediğiniz eksende çeşitlendirin, sınır durumlarını kapsayın, biçimi tutarlı tutun ve sınıflar arasında dengeli dağıtın.

En değerli örnek en tipik olan değil, modelin emin olamayacağı olandır. “Sınıflandırma zor” durumunu göstermek, çoğu setin eksik bıraktığı ve en çok işe yarayan satırdır.

Sayı için kural: ayırt edilmesi gereken her durumu bir kez gösterin. Örnek eklemek işe yaramıyorsa sorun sayıda değildir.

Sık sorulanlar

İlgili yazılar