Šajā rakstā Aleksandrs Karabatovs, Sociālās izpētes G projekta vadītājs roup , izpēta AI bāzes moderācijas sistēmas izstrādi un ieviešanu, kas paredzēta, lai pārvaldītu profilus un lietotāju ģenerētu saturu lielā iepazīšanās platformā. Aleksandrs Karabatovs Sociālais atklājums G Sociālais atklājums G Rūpes Deviņu mēnešu laikā mūsu komanda veiksmīgi izstrādāja pilnībā autonomu AI balstītu profilu un lietotāju radītā satura moderācijas sistēmu tiešsaistes iepazīšanās platformā ar vairāk nekā 1 miljonu ikdienas aktīvo lietotāju, nosūtot 5 miljonus ziņojumu un augšupielādējot simtiem tūkstošu fotogrāfiju. SDG SDG Šis projekts kļuva par nozīmīgu pētniecības iniciatīvu, būtībā par liela mēroga eksperimentu, kas sniedza vērtīgu ieskatu.  Šajā rakstā es vēlos dalīties ar kritiskajiem lēmumiem, kurus mēs pieņēmām, un to rezultātiem. Moderatīvās sistēmas problēmas Speed No lietotāja viedokļa moderācijas process iepazīšanās vietnes reģistrācijas laikā var šķist vienkāršs - īss pašapraksts un daži attēli. Tomēr mērogā, augstas satiksmes platformām, tas noved pie ievērojamām apstrādes rindām. Nākamais jautājums ir par SLA (pakalpojuma līmeņa līguma) un CR2 (konversijas likmes līdz reģistrācijai) līdzsvarošanu. Manuālā moderācijas sistēmā katra ietaupītā sekunde ir vienāda ar vēl vienu darbinieku. Turklāt darbinieku nogurums padara pieņemšanu darbā nepārtrauktu, dārgu ciklu. Pat ar gandrīz bezgalīgiem resursiem, manuālā moderācija prasa laiku: atvērt lietu, pieņemt lēmumu, nosūtīt atbildi. : Kļūdas ir neizbēgamas. Pat uzlabotām sistēmām vēl nav sasniegts 100% precizitāte. Rezultātu mainīgums ir atkarīgs no vairākiem faktoriem, galvenokārt no uzdevuma skaidrības. Piemēram, ja jūs aizliegsiet lietotājus ar vārdiem, kas sākas ar burtu “A”, jūs saņemsiet minimālu kļūdu līmeni. Bet vai mēs ļautu “Aleks”? vai “mr.Alex”? Quality Vēl viens izaicinājums, kas novērots manuālajā moderācijā, ir moderatori, kas šādos scenārijos pieņem spekulējošus vai subjektīvus spriedumus, piemēram, “Scammer-style e-pastu”; “Es noteikti esmu redzējis šo fotogrāfiju agrāk”; “Desmit reģistrācijas pēc kārtas no Parīzes uz Āzijas iepazīšanās vietni? Moderācijas kontrolsarakstu uzlabošana var palīdzēt ✅, bet kļūdas joprojām notiks.Papildus tam pieredzi nevar vienkārši pārsūtīt digitāli caur mākoņu; ierobežošana patērē vērtīgu laiku. Nogurums var izraisīt veiktspējas kvalitātes samazināšanos, kas prasa papildu personālu un palielinās izmaksas. : Conclusion Manuālās mērīšanas sistēmas cieš no lēnas lēmumu pieņemšanas, sarežģīta personāla un sarežģītas zināšanu nodošanas, kas padara tās lēnas, dārgas un nepastāvīgi uzticamas. Tehnoloģijas izvēle Izvēlētā tehnoloģija lielā mērā ir atkarīga no uzdevuma un pieejamā budžeta.Tā kā mums bija jāstrādā gan ar tekstu, gan ar attēliem, mums bija nepieciešami modeļi ar spēcīgām redzes spējām. We decided to add AI elements to our moderation system. Mēs pārskatījām pakalpojumus, kas specializējas automatizētajā moderācijā, kas tiek uzskatīti par smalki pielāgojamiem atvērtā koda modeļiem, bet galu galā nonāca pie ChatGPT.  Iesakot modeli skaidri - piemēram, "Jūs esat moderators iepazīšanās vietnē," - tas efektīvi identificē finanšu krāpšanu, personu fonu un citas sarežģītas problēmas ar vairāk nekā 80% precizitāti. paātrināt Izmantojot LLM modeļus mērenībai, ir nepieciešams labi izstrādāts solis. Prompt inženierija nav kaut kas, ko parasti māca universitātēs.Mūsu ML inženieri apstiprināja, ka pašlaik nav vienkāršu, gatavu risinājumu, tāpēc mēs sākām veikt savus eksperimentus. Mēs ātri noraidījām ideju par ielūgumu izveidi. ⚠️ Ir vēlams, lai būtu iekšējais izstrādātājs, kurš pat bez speciālistu pieredzes var nepārtraukti uzlabot ielūgumus. Mūsu uzdevums prasa pastāvīgus pielāgojumus, jo bieži mainās ieejas, kas ietekmē mērenības rezultātus. krāpnieciskiem lietotājiem, kas atklāj nepilnības, ir nepieciešama tūlītēja modifikācija. Kad tendences mainās, ielūgums ir jāatjaunina. Modelu atjauninājumi prasa arī tūlītēju pārskatīšanu. Piemēram, Helovīnā jūs riskējat nepatiesi noraidīt laimīgu klientu fotogrāfijas, kas pozē ar plastmasas nazi viņu galvā. 
 
 Es esmu uzsvēra dažus pamatpamatnoskaidrojumus par prompt: Es esmu uzsvēra dažus pamatpamatnoskaidrojumus par prompt: Es esmu uzsvēra dažus pamatpamatnoskaidrojumus par prompt: 
 
 
 
 
 Ievads: īsi izskaidrojiet modelim uzdevumu un mērķi; Darbības: ir nepieciešams precīzi un īsi norādīt modeļiem par to, kas veido problemātisku saturu, un precizēt atbilstošu reakciju, lai atgrieztos, ja tiek atklāts vai nav šāda satura; Piemēri: ir ārkārtīgi svarīgi sniegt vairākus piemērus katram jautājuma veidam, parādot, ko mēs uzskatām par pieņemamu un ko mēs neuzskatām par pieņemamu. ** Piezīmes: ** Konteksts ir būtisks, lai modelis varētu pieņemt precīzus lēmumus; tomēr, garāki ielūgumi palielina halucināciju iespējamību. Datu marķēšana Efektīva tūlītēja attīstība neizbēgami prasa precīzu datu marķēšanu. Marķēto datu kvalitāte tieši ietekmē modeļa veiktspēju. Kaut arī ir daudz crowd-sourcing pakalpojumu, mēs nolēmām izveidot savu marķēšanas komandu. Jūs varat atrast daudzas rokasgrāmatas tiešsaistē par to, kā izveidot datu marķēšanas cauruļvadu, un šie ir galvenie punkti, kas, manuprāt, ir vissvarīgākie: Jūs varat atrast daudzas rokasgrāmatas tiešsaistē par to, kā izveidot datu marķēšanas cauruļvadu, un šie ir galvenie punkti, kas, manuprāt, ir vissvarīgākie: 
 
 
 
 
 Skaidra taksonomija: sniedz visaptverošu visu iespējamo marķējumu sarakstu, katrs ar detalizētām definīcijām un vairākiem piemēriem. Katram datu elementam jābūt marķētam ar vismaz trim neatkarīgiem marķētājiem, lai samazinātu aizspriedumus un uzlabotu uzticamību, izmantojot konsensu. Komunikācija: Veikt onboarding sesijas, pārskatīt paraugu gadījumus kopā, un ļaut marķieriem atzīmēt kaut ko kā "neprecīzu", ja nepieciešams. Uzlabojumi: Pēc katras marķēšanas kārtas precizējiet taksonomiju un pielāgojiet komandu, ja rodas kvalitātes problēmas. Viens no svarīgākajiem kritērijiem pilnīgai datu kopai ir pietiekams skaits nejauši atlasītu pozitīvu un negatīvu notikumu visās paredzamajās satura kategorijās.  Piemēram, pieprasījums, kas optimizēts ar pieaugušajiem saistītam saturam, var nesniegt precīzus rezultātus, ja to izmanto ar bērnu saistītu saturu. Sistēmas arhitektūra Šajā posmā mums ir sākotnējais ielūgums, kas rada apmierinošus rezultātus uzticamā datu kopumā.Mēs esam pielāgojušies mūsu AI moderatoram pieņemamajiem sliekšņiem precizitātes un atsaukšanas ziņā un esam gatavi sistēmas integrācijai. Ir daži svarīgi punkti, kas jāpatur prātā. Ir daži svarīgi punkti, kas jāpatur prātā. 
 
 
 Šādām sistēmām ir nepieciešama pastāvīga validācija un rafinēšana.Ir svarīgi izveidot procesu, lai regulāri atzīmētu jaunus rezultātus un uzraudzītu precizitāti dažādos satura veidos. Cilvēkam vajadzētu pārskatīt stūra gadījumus, kur AI nav 100% pārliecināts.Tas samazina tūlītējos riskus un, vēl svarīgāk, ļauj nepārtraukti uzlabot modeli un ātri rafinēt. Uzņēmējdarbības ietekme The initial integration significantly improved user registration efficiency, reducing processing time by a factor of 60 while maintaining moderation quality. Additionally, automation helped us standardize the objectivity of decisions, enabling us to quickly identify new issues and needs and improve the process. The system is already reducing costs for the company, and further optimization lies ahead. Līdz šim mēs esam izmantojuši vispopulārākos un sarežģītākos risinājumus, kas pieejami tirgū.Tomēr, pateicoties straujai AI izaugsmei, mums tagad ir piekļuve plašam pakalpojumu sniedzēju klāstam. Mēs izstrādājām elastīgu arhitektūru, kas vienlaikus atbalsta vairākus modeļus, ļaujot precīzi pielāgot konkrētus komponentus dažādiem modeļiem un pēc vajadzības ātri nomainīt. Fāzes 0–1 kopsavilkums Dažādos projekta posmos mēs izmantojām papildu ekspertīzi no kolēģiem, bet pamata komanda palika maza. Īsā laika posmā mūsu darbs tika veiksmīgi integrēts pilnvērtīgā produktā, kas ievērojami motivēja mūsu komandu. Mūsu iekšējo startu izstrādāja veltīta komanda, kas sastāv no tikai sešiem pastāvīgajiem locekļiem. Mūsu iekšējo startu izstrādāja veltīta komanda, kas sastāv no tikai sešiem pastāvīgajiem locekļiem. ✅ Sistēma ir kļuvusi ātrāka, izmaksu ziņā efektīvāka un kvalitātes ziņā konsekventāka, kas liek man secināt, ka pirmā posma mērķi ir sasniegti.

This story contains new, firsthand information uncovered by the writer.

See how we create Social Life 3.0 👉

Social Discovery Group Earns the Great Place To Work® Certification in the USA!

Swipe Away Loneliness: 2024 Dating Trends Forecast

Šis audio ir izveidots stāsta oriģinālvalodā!

Pārāk ilgi; Lasīt

Boost your HackerNoon story @ $159.99! 🚀

Gadījumu pētījums: kā mēs izveidojām AI balstītu moderācijas sistēmu

About Author

KOMENTĀRI

PAKARINĀT TAGUS

ŠIS RAKSTS TIKS PĀRSTRĀDĀTS

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps