Forummoderatie door AI

Quote uit P&A topic:


Aangezien @utolor. er een opmerking over maakte, toch ook eens aan een neutrale derde partij gevraagd. Is dat 1 van de redenen dat je zo gekant bent tegen externe analyse? Ik heb dit keer copilot geopened in een incognito venster zonder voorafgaande discussies en mijn prompt zo neutraal mogelijk opgesteld. Hopelijk zorgt dit deze keer dus niet voor discussies

eqcXkNL.png
Je gaat dit topic niet misbruiken om zet maar eens dezelfde opera op te voeren over de stoute moderatoren.

Als afsluitend antwoord: ja, dat antwoord laat inderdaad deels zien waarom ik zo gekant ben tegen AI in moderatie: lees de regels rond stigmatiseren of haatspraak eens en je ziet meteen dat het nergens op slaat. Zo werken LLM’s nog niet, tenzij je een specifieke agent maakt, en dan nog gaat het niet. Niet.

Verder mag je altijd reporten, dan kijkt een moderator na of de post in de regels past. Verdere vervuiling sta ik niet toe hier.
 
Quote uit P&A topic:


Aangezien @utolor. er een opmerking over maakte, toch ook eens aan een neutrale derde partij gevraagd. Is dat 1 van de redenen dat je zo gekant bent tegen externe analyse? Ik heb dit keer copilot geopened in een incognito venster zonder voorafgaande discussies en mijn prompt zo neutraal mogelijk opgesteld. Hopelijk zorgt dit deze keer dus niet voor discussies

eqcXkNL.png
En dat krijg je dan wanneer je een deel van een post uit zijn context haalt en geen rekening houdt met eerdere posts van utolor. Ga in het flitsboete topic zijn posts bekijken of recent nog in de discussie over het verlagen van de snelheid op de autosnelweg. Daar haalt hij meermaals aan dat hij zich niets van die regels aantrekt en zijn zin doet op vlak van snelheid. (100 rijden op een baan van 70, 160 rijden op de autostrade, etc). En daar zullen uiteraard ook al wel enkele boetes uit gevolgd zijn.

Utolor. zegt dat die agent gestraft moet worden, ook al wijzen alle aanwijzingen naar een spijtig ongeluk. Dan is het niet op de man spelen of stigmatiseren als je aanhaalt dat die reactie (deels uit frustratie) komt door vroegere gebeurtenissen.

En FYI, LLM's zoals chatgpt of copilot kan je niet gebruiken op de manier waarop jij doet aangezien die geen weet hebben van enige context.
 
Bon, het was een beetje lastig om op een goeie plek te knippen, maar de inhoudelijke AI-discussie past veel beter hier, volgens mij!
De forumregels en implementatie daarvan vind je nog altijd hier, samen met onze argumentatie waarom we het niet doen: https://www.beyondgaming.be/threads/ban-op-ai-gegenereerde-posts.38552/#post-1550976

Maar het gaat ook over wat er binnen de mogelijkheden ligt van (betaalbare/toegankelijke) LLM's.
Jawel. Dan wel.
Zelfs als je een agent maakt, waar veel werk voor nodig zal zijn om alle forumregels duidelijk uit te schrijven zodat hij ze begrijpt, met voeding die hij ook juist verwerkt, met alle nuances die we hier nu eenmaal kennen, dan nog zul je nooit een "neutrale derde partij" vinden in die LLM die alles zonder emotie en zonder toon schrijft aan de ene kant, en aan de andere kant elke tekst te herschrijven tot "neutraal en zonder tekst die mogelijk als neerbuigend gezien kan worden". Dat gaat gewoon niet, door de eigenschappen van de LLM en vooral door de eigenschappen van taal.

Als je uitgaat van een zakelijk communicatiemodel misschien. Héél misschien. Ga je uit van realistische menselijke gesprekken, moet ik toch eerder mijn oud-professor citeren: Er bestaat geen communicatie, enkel gradaties van miscommunicatie.

Dezelfde post die de uit zo'n agent komt als zijnde neutraal, kun je opnieuw in die agent stoppen, en vragen om die "aan te passen aan de regels". En hij zal hem weer aanpassen. Omdat dat gevraagd is. Niet omdat de ene nu objectief neutraler is dan de andere, dat is op geen enkele manier te garanderen.

Het voorbeeld van REpute laat een deel van de redenen zien waarom ik tegen het gebruik van een LLM op zo'n manier zou zijn. Beide zaken lukken dan gewoon niet: het controleren of een post voldoet aan de forumregels noch het automatisch aanpassen van elke bepaalde tekst aan de forumregels.

Dat is natuurlijk nog los van de vraag of je hem gaat kunnen vragen om rekening te houden met het subforum waar hij zit, de andere bijdragen van die persoon (om te zien of bij die 10.000 goeie posts niet 1 uitschuiver iets milder mag behandeld worden dan andersom), de persoonlijke situatie, het pm-contact om iets uit te leggen, van actieve content creation en nog het allerbelangrijkste van alles: van menselijke interactie als alle posts herschreven worden door AI (of eerder geschreven, en herschreven door mensen).

Ben jij een developer? Of met welke credentials doe je deze vreemde uitspraak eigenlijk?
Wat is 'een developer'? Ik werk al 20 jaar met LM's, CAT en vertaalgeheugens, doe het nu ook al een dik jaar met LLM's, zeker? en werk mee aan het bouwen van nieuwe modellen en van agents. In de vertaalbranche, maar ook in de ondersteunende tak daarvan. Zal ik mijn KPI's ook doormailen :D
 
Laatst bewerkt:
AI gedreven content moderatie is nog veel strenger en als deze context gevoelig moet zijn maakt die zelfs een psychologisch profiel aan van alle gebruikers om elke post af te toetsen tov hun hele geschiedenis om zo betere sentiment analyse the bekomen.

Grote bedrijven investeren daar vooral in omdat een ander luik van zulke profiling ook zorgt voor betere targeted ad clickrates. Denk niet dat we daarop zitten te wachten, los van het feit dat het sowieso niet betaalbaar is.

Ben er vrij zeker van dat sommigen hier nogal snel als trolls en flamers geidentificeerd zouden worden en dat als de regels stikt gehanteerd zouden worden ze aan een veel sneller tempo strafpunten zouden opbouwen.
 
AI heeft geen forumvrienden. Dus dit zou het niveau van moderatie zeker ten goede komen. AI hoeft ook geen context te kennen om de denigrerende toon uit posts te halen...
 
AI heeft geen forumvrienden. Dus dit zou het niveau van moderatie zeker ten goede komen. AI hoeft ook geen context te kennen om de denigrerende toon uit posts te halen...
Nou:

De toon van deze opmerking is scherp, sarcastisch en enigszins cynisch. Het is duidelijk bedoeld als een kritische reactie, waarschijnlijk op het idee om AI moderatie te laten uitvoeren op een forum.


Analyse van de toon:​


  • Scherp en kritisch: De opmerking stelt dat AI moderatie beter zou doen juist omdat het geen “forumvrienden” heeft. Daarmee wordt geïnsinueerd dat menselijke moderatoren bevooroordeeld zouden zijn of niet objectief kunnen modereren.
  • Sarcastisch: Zinnen als "Dit zou het niveau van moderatie zeker ten goede komen" klinken niet oprecht positief, maar eerder spottend.
  • Cynisch: Door te stellen dat AI geen context nodig heeft om een denigrerende toon te herkennen, wordt waarschijnlijk de spot gedreven met menselijke moderatie die wél context nodig heeft, maar dat (volgens de spreker) alsnog niet goed doet.

Is het zelf denigrerend?​


Ja, enigszins.
Hoewel de opmerking niet rechtstreeks beledigend is, bevat ze wel een denigrerende ondertoon richting de menselijke moderatie of forumgebruikers die banden hebben met moderatoren. Het impliceert dat mensen bevooroordeeld of ongeschikt zijn voor objectieve beoordeling, wat een kleinerende strekking heeft.


Wil je dat ik help bij het herformuleren van deze opmerking naar iets constructievers of neutralers?

Pas altijd op met wat je wenst, zou ik zo zeggen. Met AI-moderatie had deze post je mogelijk strafpunten opgeleverd.
 
Misschien moeten de pro AI moderatie eens hun laatste tien posts of zo door AI halen en kijken hoeveel herschreven wordt.
Edit: Of wat Sir.Killalot juist heeft bewezen.
 
Zelfs als je een agent maakt, waar veel werk voor nodig zal zijn om alle forumregels duidelijk uit te schrijven zodat hij ze begrijpt, met voeding die hij ook juist verwerkt, met alle nuances die we hier nu eenmaal kennen, dan nog zul je nooit een "neutrale derde partij" vinden in die LLM die alles zonder emotie en zonder toon schrijft aan de ene kant, en aan de andere kant elke tekst te herschrijven tot "neutraal en zonder tekst die mogelijk als neerbuigend gezien kan worden". Dat gaat gewoon niet, door de eigenschappen van de LLM en vooral door de eigenschappen van taal.

Ik had het Initieel geïnterpreteerd tot een onmogelijkheid tot agentic moderatie. Wat je hier beschrijft is inderdaad anders.
 
Op mijn werk ben ik al menig maand bezig met (AI) LLM's te gebruiken als overenthousiast startende stagair die je zeker niet zelfstandig mag laten beslissingen nemen noch blindelings vertrouwen, die mag enkel voorstellen aanleveren die zeker moeten geevalueerd worden door iemand met kennis ter zake (in mijn ervaring zijn LLM's vooral heel goed in héél overtuigend de meest gebroken dingen voorstellen).

Een idee/concept dat vaag leeft in mijn (inmiddels al veel te grote) "moest ik nu es tijd hebben voor een zoveelste onafgewerkt project" lijstje, is een poging om een van men grootste ergernissen op dit forum te proberen oplossen adhv "AI" (aka een mug doodmeppen met een stevig uit de kluiten gewassen sloopkogel).
En ik zet dit hier al meteen in het begin van de post: de kans dat ik hier ooit effectief iets mee doe is zo astronomisch klein (tijd/budget/energie restrains) dat je echt geen tijd/energie moet stoppen om mij nu al tegen te houden :D

Omwille van diverse redenen (waar ik 100% achtersta) heb ik een immense hekel aan wat we intern "monster threads" heten. Eén compleet random voorbeeld van de vele tientallen die ik hier zou kunnen oplijsten is de thread De wielrenners/mountainbike thread (training, materiaal, kledij, etc.). Als nieuwkomer is het doorzoeken van (tien)duizenden posts gewoon onbegonnen werk, en als website beheerder zit hier een goudmijn aan SEO threads in verstopt.

Ons team menselijke moderatoren die dit allemaal vrijwillig doen tussen hun gezin/werk/sociaal leven (AHAHA y/r) door heeft meerdere taken met elk hun eigen prioriteit. Reports evalueren/afhandelen, threads opvolgen/bijlezen, het geroddel in de crewkanalen verslinden, ... Actief beginnen knippen in bestaande threads/discussies is echt geen sinecure.

Een tooltje dat automatisch de al reeds stevig gelinkte posts in zo een thread analyseert en tagged aan moderatoren als "potentieel nieuwe thread" wanneer er (5? 10? 15?) relevante posts elkaar opvolgen (beetje zoals Discord nu al doet wanneer 3 mensen elkaar quoten), dat lijkt mij alvast geen rocket science en zou ons op termijn mogelijks zelfs wat "geld" opleveren (lees: meer resultaten en hogere scores op search engines => meer inflow van (nieuwe) mensen => wat meer eurocenten in ad inkomsten)... De ROI hierop lijkt me echter afgrijselijk slecht :D

Een initiele "reject vs action score" toevoegen aan reports (gebaseerd op de inhoud van de gereporte content, history van de reporte user en reporter) is wrsl ook niet helemaal onmogelijk, maar zou ik wederom nooit of te nimmer als automatisch systeem laten werken.
Anderzijds lijkt mij dat vandaag de dag ook serieus overkill. We zijn niet meer zo groot als de hoogdagen van TNG dat de moderatoren hun eigen poulains niet meer van binnen en van buiten kennen om dat zelf bliksemsnel in te schatten.

Automatisch scores geven aan nieuwe users om in te schatten of ze legit zijn of spambots -> hebben we al andere zeer goed werkende tools voor. Ook daar hebben we soms false positives mee, maar ook dat wordt snel opgelost.
 
Terug
Bovenaan