Arka plan  Bu serinin ilk 3 yazısına verilen muhteşem tepkiyi görünce 4. bölümü yayınlamak zorunda kaldım.  Önceki 3 makalede, konuşma yapay zeka aracıları için performans ölçüm tanımlarını, araçları ve ölçeklenebilirliği tartıştık. Önceki makalelere göz atmadıysanız, işte bağlantılar:  Bölüm 1 -  Metrikler: Kırmızı Hapı Yutun  Bölüm 2 -  Metrikler Yeniden Yüklendi: Oracle  Bölüm 3 -  Metrik Devrimi: Ölçeklendirme  Bu makalede, performansı sürekli olarak artırmak için   hale getireceğimizi (en son LLM gelişmelerini kullanarak) tartışacağız. Amaç, tartışmayı bu alanda çalışan herkes için basitleştirilmiş ve oldukça yüksek düzeyde tutmak olacaktır. bu ölçümleri nasıl daha uygulanabilir  Sorun      tartıştığımız 2 üst düzey metrik sınıfıdır. Geleneksel olarak birincisi sistem düzeyinde bir metrik olarak düşünülür; bu metrikler doğrudan günlüklerden ölçülür. Sonuç olarak,   doğası gereği eyleme geçirilebilir ve dolayısıyla operasyoneldir. Kullanıcının Algıladığı Metrikler ve  Kullanıcının Bildirdiği Metrikler, Kullanıcının Algıladığı Metrikler  Operasyonel ölçümler, üretim günlüklerinden düzenli olarak izlenir ve ekip çapında OKR'ler aracılığıyla hedef belirlemek için kullanılabilir.  Bununla birlikte,   operasyonel hale getirilmesi kolay olsa da, bunların "gerçek" kullanıcı metrikleri değil, "algılanan" olduğu unutulmamalıdır. Sonuç olarak, bu ölçümlerde tepe tırmanmak, kullanıcının konuşma yapay zeka aracınıza ilişkin algısında önemli bir iyileşmeye yol açmayabilir. Bu projelerin birden fazla çeyreğe yayılması durumunda kaynakların verimsiz yönetimine yol açabilir. Kullanıcı Tarafından Algılanan Metriklerin  Tüm performans iyileştirmelerinin beklenen etkisini doğrudan   Bu  Kullanıcı Tarafından Bildirilen Metriklerle ölçmenin bir yolu olması gerekir. , “kuzey yıldızı” etkisi olarak değerlendirilmelidir. Peki sorun nedir?  Doğrudan kullanıcı geri bildiriminin, eyleme dönüştürülemeyen ve operasyonel hale getirilmesi farklı olan yapılandırılmamış olması beklenir.  Kullanıcı tarafından rapor edilen ayrıntılı geri bildirim, doğası gereği yapılandırılmamış olmalıdır. Kullanıcı tarafından bildirilen geri bildirim yapılandırılmışsa, iç ekibin halihazırda farkında olduğu alanlara odaklanılabilir.   bunların yanı sıra sezonsallık ve şirket algısı gibi faktörlerden de etkilenmektedir. Kullanıcı Raporlu Metrikler    üzerindeki etki daha doğru bir şekilde tahmin edilebilir ancak   birçok kontrol edilemeyen faktöre sahiptir. Kullanıcı Tarafından Algılanan Metrikler Kullanıcı Tarafından Bildirilen Metrikler  Çözüm  Yapılandırılmamış   işlem yapılabilir hale getirilebilecek yapılandırılmış bir formata dönüştürülmelidir. Yapılandırılmamış geri bildirimleri mevcut sistem düzeyindeki ölçümlere dönüştürmek amacıyla eğitilmiş belirli makine öğrenimi modelleri olabilir. Kullanıcı Tarafından Bildirilen Geri Bildirim,  Bu metriklerdeki doğal çarpıklığa karşı koruma sağlamak amacıyla     yönelik birincil amacını kullanmanın daha pratik olabileceği unutulmamalıdır. Daha   için bu ölçümler, sistem düzeyindeki ölçümlerin yanı sıra kullanıcı algısı üzerindeki etkiyi ölçmek için kullanılmalıdır. Kullanıcı Tarafından Bildirilen Metrikler'in "en son" kullanıcı metriği regresyonlarına yatay, uzun vadeli projeler  Yüksek Lisanslar Oyunun Kurallarını Değiştirenlerdir  Şimdi şu soru kalıyor: Aradığımız belirli ölçümler için makine öğrenimi modellerini eğitmek için gereken çaba nedir? LLM'lerin popülaritesi ve kullanılabilirliğindeki son artışla birlikte, yapılandırılmamış geri bildirimleri sistem düzeyindeki ölçümlere benzer şekilde izlenebilen ve ölçülebilen bir şeye dönüştürmek için kullanıma hazır API'leri kullanmak mümkün olabilir.  LLM'lerin işleyebileceği token sayısındaki artışla birlikte, ürüne özgü pek çok bilginin "istemin" bir parçası olarak verilebileceğini unutmamak önemlidir. Sonuç olarak, kullanıma hazır LLM API'leri  , hızlı mühendislikle birlikte eyleme geçirilebilir  Kullanıcı Tarafından Bildirilen Metrikler sağlayabilir.  Bu, sistem düzeyinde metrik iyileştirme projelerinin kullanıcı algısı üzerindeki etkisini değerlendirmek için gerçekten hızlı bir yol sağlar ve bu, performans iyileştirme projelerine öncelik verilmesinde faydalı olabilir.  Bu yapılandırılmış   beklenmeyen değişikliklere hâlâ yer vardır. Bununla birlikte, belirli bir proje (sistem düzeyinde bir ölçümü iyileştirmeyi amaçlayan)   o zaman projenin büyük olasılıkla kullanıcı algısını iyileştirdiği bir düzeyde güvenle varsayılabilir. Kullanıcı Tarafından Bildirilen Metrikler yaklaşımıyla bile, Raporlanan Metrikleri olumlu yönde etkilerse,  Ancak, gerçekte "iyi" olan tüm değişikliklerin    Kullanıcı Tarafından Bildirilen Metrikleri her zaman etkili bir şekilde iyileştireceğine dair bir garanti yoktur. Sonuç olarak, performans iyileştirme projelerini önceliklendirmek ve değerlendirmek için her ikisinin bir karışımını kullanmak önemlidir.

Read My Stories

Bu ses hikayenin orijinal dilinde üretilmiştir!

Metrics Resurrections: Aksiyon! Aksiyon! Aksiyon!

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Dijital Göçebeler Dinleyin: Tayland'ın Yeni DTV Vizesi Hakkında Bilmeniz Gerekenler

Benzersiz Bir Ekosistemi Güçlendiren Bitcoin UTXO Modeli

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Dijital Göçebeler Dinleyin: Tayland'ın Yeni DTV Vizesi Hakkında Bilmeniz Gerekenler

Benzersiz Bir Ekosistemi Güçlendiren Bitcoin UTXO Modeli

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps