Een geavanceerd taalmodel blijkt beter in staat om de stemming in berichten op sociale media te herkennen dan verschillende traditionele analysemethoden. Dat blijkt uit een onderzoek waarin 27.482 tweets werden beoordeeld als positief, negatief of neutraal.
De onderzoekers vergeleken vijf verschillende modellen. Daarbij ging het onder meer om Logistic Regression, Random Forest, Naive Bayes en Gradient Boosting. Het beste resultaat werd behaald met een zogenoemd LSTM-model. Dat is een vorm van kunstmatige intelligentie die niet alleen naar losse woorden kijkt, maar ook rekening houdt met de volgorde van woorden en de samenhang binnen een zin.
Daardoor kan het systeem beter herkennen wat iemand werkelijk bedoelt. Een traditioneel model kan bijvoorbeeld vooral letten op afzonderlijke positieve of negatieve woorden, terwijl een LSTM-model ook probeert te begrijpen hoe die woorden in de rest van de zin worden gebruikt.
Het LSTM-model behaalde op nieuwe testgegevens een nauwkeurigheid van 80 procent. Ook scoorde het model met 0,92 hoog op de ROC-AUC-meting, waarmee wordt bepaald hoe goed verschillende soorten sentiment van elkaar kunnen worden onderscheiden. De andere onderzochte modellen kwamen op dat punt duidelijk lager uit.
Toch is de techniek nog niet foutloos. Vooral negatieve berichten werden soms ten onrechte als neutraal of positief aangemerkt. Volgens de onderzoekers laat de studie desondanks zien dat systemen die rekening houden met context en woordvolgorde geschikter zijn voor het analyseren van grote hoeveelheden berichten op sociale media. Dergelijke technieken kunnen onder meer worden gebruikt om publieke opinie, klantreacties en trends rond actuele onderwerpen te volgen.
