Yapay zekâ araçlarını nasıl test ediyorum?
Her testte aynı kurallara uyuyorum: hükmü testten önce yazıyorum, iki tarafı tek bir fark dışında aynı tutuyorum, modelin "bitti" demesine güvenmeden her maddeyi tek tek deniyorum ve çıktıları kör oylatıyorum.
Hüküm kuralı testten önce yazılır
Testin sorusu, kolları, ölçümleri ve hüküm eşiği test başlamadan yazılır ve kilitlenir. Sonradan değişen her şey tarihiyle not edilir. Böylece sonucu sonradan işime gelecek şekilde yorumlayamam.
Eşikler rakamla yazılır. Fable testinde Fable, Opus'tan 1,5 kattan az fazla harcarsa yeşil, 2,5 kat ya da daha fazla harcarsa kırmızıydı. Argon testinde Argon puanda en fazla 5 geride kalırsa ve en az iki kat ucuzsa yeşildi. Bir test sonradan genişlerse yeni eşik de yeni işler koşulmadan önce yazılır.
Her iş tek deneme yapılır. Bu yüzden her videoda "tek deneme, şans payı var" diyorum.
Yeşil, kırmızı ve yarım
- Yeşil: tuttuAraç işi bitirdi, kontrolden geçti ve eşiğin doğru tarafında kaldı.
- Kırmızı: patladıİddia tutmadı, iş bitmedi ya da eşik aşıldı.
- YarımBir göz yeşil, bir göz kırmızı: çalışıyor ama bir bedeli var.
İki göz iki ayrı soruya bakabilir. Fable testinde sol göz kaliteye, sağ göz limite baktı. Argon testinde sol göz işe, sağ göz paraya baktı.
Kırmızı alan bir araç itiraz hakkıyla yeniden yargılanabilir. Stageshow'da "prompt kötüydü" itirazı için ayrıntılı bir brifle temyiz turu yaptım, sonra skill'in yazarının kendi tarifiyle bir deneme daha. Sponsor yok; kullandığım araçların parasını kendim ödüyorum.
Tek değişken
- Kollar aynı araç, aynı hesap, aynı ayar ve harfi harfine aynı promptla çalışır. Tek fark ölçtüğüm şeydir: Stageshow'da skill'in kurulu olması, Fable testinde model.
- Prompt ölçülen şeyin adını anmaz. Stageshow testinde skill'i kullanıp kullanmamaya Claude kendisi karar verdi.
- Test klasörleri kendi proje notlarımın dışında durur, böylece iki tarafa da benim talimatlarım sızmaz.
- Kollar sırayla çalışır. Her kol kendi temiz klasöründe, yeni bir oturumla başlar.
- Ölçümü bozacak ayarlar kapatılır ve not edilir. Fable testinde hızlı mod kapalıydı ve iki modelin eforu aynı seviyeye sabitlendi.
Müdahale kuralı
Oturuma yalnız iş gönderilir ve oturum "bitti" diyene kadar beklenir. Bunun dışında yazabileceğim cümleler bellidir ve her biri sayılır:
- Model soru sorarsa tek cevap: "Sen karar ver, en iyisi neyse onu yap." Bu bir müdahale sayılır.
- Aynı hatada 10 dakikadan uzun dönerse ya da iş bitmeden durursa "Devam et" yazılır. Bu da bir müdahale sayılır.
- Onay soruları müdahale sayılmaz ama ayrı bir sütunda sayılır.
- Kota biterse oturum orada durur ve o anki hâli değerlendirilir.
Kabul listesi
Her işin kabul listesi koşudan önce yazılır. Genelde beş madde var, her madde bir puan. Maddeler ölçülebilir olur. Örneğin "uygulamada abonelik silinince widget 30 saniye içinde güncelleniyor".
Test malzemesi ve cevap anahtarları, kolların göremediği bir klasörde durur. İkinci tur işlerinde ilk turun maddeleri yeniden denenir. "Çalışan hiçbir şeyi bozma" şartı da puanın parçasıdır.
Kontrol nasıl yapılıyor
Modelin "bitti" demesine güvenmiyorum. Kabul listesinin her maddesi tek tek denenir:
- Web işleri başsız Chrome'da, telefon boyutunda, gerçek dokunma, fare ve klavye hareketleriyle kontrol edilir. Göz kararı yok.
- iPhone işleri derlenir ve temiz bir simülatörde Xcode arayüz testleriyle denenir.
- Video çıktılarında biçim, süre, ses yüksekliği, donan ve siyah kareler ölçülür.
- Kontrol yönteminden ya da kurulumdan doğan bir aksaklık modele yazılmaz; deneme baştan yapılır ve sebebi not edilir.
Ölçümler
| Ölçüm | Nasıl |
|---|---|
| Süre | Prompttan "bitti"ye kadar, oturum kaydının zaman damgalarından. Onay beklemesi ayrı not edilir. |
| Maliyet | Oturum kaydındaki token'lar, test günündeki API liste fiyatıyla dolara çevrilir. Abonelikte bu para ayrıca ödenmez ama limitten giden budur. Fiyat yakında değişecekse ikinci hesap da yazılır. |
| Müdahale | Kuraldaki durumların sayısı; onaylar ayrı sütunda. |
| Gerçekten çalışıyor mu | Model bitirirken ne iddia etti ("test ettim", "telefonda çalışır") ve iddia kontrolde doğru çıktı mı. Yalan çıkan iddia hükmü etkiler. |
Test sırasında başka bir oturum çalışmaz. Çalıştıysa yazılır ve ölçüm ona göre seçilir.
Kör test
- Çıktılar aynı yöntemle, aynı ölçüde kaydedilir ve rastgele "1" ve "2" diye numaralanır. Anahtar, oylar gelene kadar açılmaz.
- Yargıçlar ben ve iki yapay zekâ modelidir. Modeller klasörleri ya da oturum kayıtlarını görmez, yalnız kayıtları ya da kareleri görür. Önceki sonucu öğrenen yargıç değiştirilir.
- Sorular önceden yazılır. Test edilen aracın kendi kontrol listesi kullanılmaz, çünkü kendi tarafını kayırırdı.
- Körlük zayıfsa açıkça yazılır. Stageshow'da oturumları izlediğim için kendi oyumu tam kör saymadım; iki model yargıç da aynı tarafı seçtiği için hüküm değişmedi.
- Kayıt bir tarafa haksızlık ederse atılır ve yeniden alınır.
Bu kurallar her yeni testte gözden geçiriliyor. Bütün kollar tam puan alırsa test kaliteyi ayırmıyor demektir; o yüzden yeni testlerde en az bir ayırt edici iş baştan konuyor.