Découvrez La Compatibilité Par Le Signe Du Zodiaque
Analyse: l'expérience de vérification des faits participative de Twitter révèle des problèmes
Analyse
Une analyse Poynter a révélé que moins de la moitié des utilisateurs de Birdwatch incluent des sources et que de nombreuses notes de vérification des faits contiennent une rhétorique partisane.
Une version du 14 février de l'algorithme Birdwatch de Twitter a amplifié certaines notes avec des informations trompeuses.
Le 5 février, Twitter a signalé un message du controversé YouTuber Tim Pool qui disait que l'élection présidentielle américaine de 2020 était truquée. La plate-forme a noté que la demande était contestée et a désactivé l'engagement 'en raison d'un risque de violence'.
Mais, sur Observation des oiseaux , la plate-forme de médias sociaux expérimenter le fact-checking participatif , les utilisateurs ont massivement déclaré que le tweet n'était pas trompeur, selon une analyse des données Twitter du 14 février. Et la plupart des utilisateurs de Birdwatch ont indiqué dans l'outil qu'ils trouvaient ces notes qui soutenaient les revendications démystifiées utiles et informatives.
'Selon la source officielle (sic) de TIME, il y avait un groupe bien organisé de participants secrets dans une organisation fantôme qui ressemble à une cabale qui a travaillé ensemble pour influencer l'élection en faveur de Joe Biden', lit-on dans une note. Pendant que l'utilisateur inclut un lien vers un article du magazine Time qui utilise en effet des mots comme «cabale» et «complot», le contexte de la pièce – que des groupes puissants travaillaient dans les coulisses pour protéger l'intégrité des élections – est perdu.
le Algorithme Birdwatch , qui vise à faire apparaître des notes utiles, a attribué à cette «vérification des faits» un score d'utilité de 0,68 – la plus élevée des notes sur le tweet, juste en dehors des 10% des notes les plus considérées par l'algorithme «évaluées comme utiles» à partir de 14 février. Les notes utiles représentaient environ 7 % des 2 695 de cette analyse et moins des deux tiers d'entre elles contiennent un lien source qui n'est pas un autre tweet.
Le 17 février, Twitter modifié son algorithme et les notes sur le tweet de la piscine ne sont plus considérées comme utiles, bien qu'elles sont toujours répertoriés sous le poste . Avant ce changement, il y avait un seuil inférieur pour être considéré comme utile - seulement 0,5 par rapport au nouveau seuil de 0,84 - et les notes n'avaient besoin que de trois notes pour être en lice pour être considérées comme utiles, classées par ordre de priorité et marquées d'une note bleue.
Maintenant, une note doit accumuler cinq notes pour pousser ce tweet dans le nouvel onglet 'évalué utile' dans Birdwatch . Et sur ces près de 2 700 notes dans la base de données de la plateforme, 126 ont atteint le nouveau seuil, soit moins de 5 %. Les trois quarts des nouvelles notes « jugées utiles » contenaient une source extérieure à Twitter.
C'est une illustration opportune de l'un des problèmes auxquels est confronté le modèle Birdwatch : un algorithme alimenté par un groupe de personnes apparemment aléatoire peut-il jamais 'évaluer' avec précision la vérité ?
Birdwatch, dans sa phase pilote avec un peu plus de 1 000 utilisateurs, permet aux participants de signaler les tweets comme trompeurs et d'ajouter une note qui cite une source et/ou explique le contexte dans lequel il peut être trompeur. Ensuite, les utilisateurs de Birdwatch peuvent classer ces notes en fonction de leur utilité (après cela, l'algorithme prend le relais).
À terme, tous les utilisateurs de Twitter pourront apparemment voir ces notes juste en dessous des tweets, mais pour l'instant, elles se limitent à une section spécifique du site . Les utilisateurs de Birdwatch finiront également par établir un score de réputation qui alimentera l'algorithme d'utilité.
'Notre objectif avec le pilote Birdwatch est de créer un système dans lequel tout le monde peut contribuer, et qui élève naturellement les informations que les gens trouvent utiles', a déclaré le vice-président du produit Twitter, Keith Coleman, dans un e-mail. 'Nous pensons qu'il est important de savoir qui peut contribuer et que, grâce à la contribution d'un groupe diversifié, les notes les plus utiles peuvent être améliorées.'
Mais, un regard sur le système tel qu'il est maintenant révèle les défis que les vérificateurs des faits ont soulevés à propos de Birdwatch : un manque d'expertise en vérification des faits parmi les utilisateurs, la difficulté de créer un algorithme qui fera apparaître d'une manière ou d'une autre les notes utiles des utilisateurs les plus réputés et questions sur les motivations partisanes des usagers.
'Je ne suis pas surpris par ces résultats étant donné la nature polarisée des plateformes de médias sociaux et l'hésitation des utilisateurs grand public à fournir des commentaires sur de telles demandes proposées par les plateformes, alors que les utilisateurs motivés des deux côtés de l'allée voient les plateformes comme des champs de bataille pour promouvoir leurs récits sur d'autres », a déclaré Baybars Örsek, directeur du Réseau international de vérification des faits.
La majorité des notes d'utilisateurs les plus prolifiques de Birdwatch marquent les tweets critiques de la droite comme 'trompeurs' et ceux qui critiquent la gauche comme 'non trompeurs'. (Par exemple, l'utilisateur a marqué un tweet qui dit ' L'équipe Biden est douce avec la Chine » du sénateur Ted Cruz et le tweet de la piscine comme « non trompeurs » ; tandis que un article de Newsweek sur les extrémistes d'extrême droite et la saga GameStop et un tweet lier le président Donald Trump à l'émeute du Capitole ont été marqués comme 'trompeurs' et 'nuisibles'.) Et moins d'un cinquième des 82 notes de l'utilisateur incluent une source, dont plusieurs sont d'autres tweets. (Cet utilisateur de Birdwatch n'a pas répondu à une demande d'interview.)
Coleman a déclaré que Birdwatch peut être incité à prendre en compte les notes provenant d'un 'ensemble diversifié de contributeurs'. De plus, le système de notation est le principal moteur de la plate-forme
'Nous pensons que cela récompensera et incitera les contributions que de nombreuses personnes trouvent précieuses, et résoudra le risque qu'un groupe ou une idéologie spécifique prenne le contrôle de Birdwatch', a déclaré Coleman. 'C'est quelque chose sur lequel nous travaillerons activement tout au long du projet pilote.'
Et en effet, les notes que l'algorithme a classées comme les plus utiles à la suite des changements du 17 février montrent un approvisionnement plus solide et une rhétorique moins partisane que l'itération d'un jour plus tôt. Mais, changer un algorithme pour un programme pilote avec 1 000 utilisateurs et moins de 2 700 notes est une chose, modifier un algorithme une fois que Birdwatch est disponible pour tous les utilisateurs en est une autre - et qui sait si l'efficacité de l'algorithme tiendra le coup alors que les utilisateurs commencent à affluer dans la plate-forme, reproduisant peut-être le comportement de certains des participants pilotes les plus prolifiques.
'Nous n'avons actuellement pas de calendrier précis pour la mise à l'échelle, car nous travaillons pour apprendre autant que possible et itérer pendant que le pilote est petit', a déclaré Coleman. 'Nous prévoyons de passer à l'échelle car nous sommes en mesure de le faire en toute sécurité et lorsque cela peut aider à améliorer l'apprentissage.'
Pourtant, comme pour les notes sous le tweet de la piscine, il y a exemples de partisanerie ou informations trompeuses encore visible sous forme de notes régulières.
Quatre des cinq utilisateurs les plus actifs, qui représentent plus de 10 % des notes globales, ont une activité similaire à celle de l'utilisateur le plus prolifique. L'un d'eux affirme que la mort de Jeffrey Epstein n'a jamais été considérée comme un suicide. Cependant, le deuxième ornithologue le plus prolifique cite une source dans chaque note, y compris des liens de l'Organisation mondiale de la santé et FactCheck.org .
Aucun des 10 principaux utilisateurs, selon leur biographie Twitter, n'est un vérificateur de faits professionnel ou un journaliste.
'La vérification des faits est en fait un travail difficile dans la mesure où elle est mentalement exigeante', a déclaré la rédactrice en chef de PolitiFact, Angie Holan, dans un e-mail. «Vous devez vraiment vous concentrer et faire preuve d'inertie mentale pour identifier les affirmations, puis réfléchir aux moyens de les démystifier ou de les vérifier. Ensuite, vous devez poursuivre la recherche, puis rédiger les résultats. Ce n'est pas une journée à la plage, pour le dire franchement. Et si un vérificateur des faits a une motivation partisane, cela rend un effort approfondi et impartial encore plus difficile.
Malgré ses problèmes, Birdwatch signale la désinformation que les vérificateurs de faits traditionnels pourraient manquer ou choisir de ne pas vérifier en raison d'un potentiel de préjudice, ce qui pourrait aider à combler certaines lacunes dans la désinformation numérique. Pendant le saga d'arrêt de jeu , la désinformation sur les actions de cette société s'est rapidement propagée sur toutes les plateformes.
Snopes et PolitiFact n'a pas évalué les réclamations concernant GameStop, tandis que Histoires principales notées un message Reddit. Mais sur Birdwatch, la note la mieux notée – avec un score d'utilité de 1,00 – a signalé un tweet trompeur à propos de Reddit, où une conversation sur le stock avait lieu. Il y avait environ 50 notes sur Reddit, GameStop et l'application d'investissement Robinhood, sur lesquelles un volume élevé de transactions s'est produit plus tôt ce mois-ci.
Et les utilisateurs de Birdwatch ont correctement signalé un compte prétendant appartenir à la sénatrice de Virginie Amanda Chase comme faux, après qu'il tweeté , '... Nous avons un problème de drogue en Virginie, et la légalisation de la marijuana ne fera qu'entraîner plus de surdoses de marijuana et de décès...'
Le crowdsourcing peut faciliter la vie des vérificateurs de faits professionnels en détectant la désinformation, a déclaré Örsek.
Coleman a déclaré que Twitter s'engage à maintenir la transparence - ce qui a rendu cette analyse possible - et à intégrer les commentaires d'experts sur l'avenir de la plate-forme.
'De travailler avec un membre de l'équipe intégrée de la Centre pour RISC de l'Université de Chicago , à l'organisation de séances de rétroaction avec des journalistes et des chercheurs, nous nous efforçons d'exploiter la vaste quantité d'expertise et de connaissances qui existe au-delà de Twitter », a-t-il déclaré.
Holan et Örsek recommandent des incitations et une formation pour les utilisateurs de Birdwatch, ainsi que l'emploi de vérificateurs de faits professionnels pour vérifier les notes de haut rang.
'Mais je suis assez sceptique quant aux entreprises technologiques qui pensent que leurs utilisateurs modéreront leur contenu gratuitement', a déclaré Holan. 'La plupart des utilisateurs ne considèrent pas qu'il est de leur devoir d'aider les plateformes à gérer leur propre entreprise.'