CREEP, un surveillant pour les réseaux sociaux

  • Recherche
Publié le 18 novembre 2020 Mis à jour le 22 novembre 2020
Date(s)

le 4 septembre 2020

Microsoft, dans son quatrième rapport sur les incivilités numériques, publié en février 2020, estime que 57% des adolescents sont ou ont été touchés par une forme d’agression dans le cyber espace. Les attaques, émanant d’inconnu(e)s ou d’ami(e)s, se livrent dans l’intimité des réseaux sociaux. Dans un monde où les interactions numériques ne cessen

Elena Cabrio et Serena Villata sattèlent à relever ce qui reste peut-être le plus grand défi de linformatique : donner des outils aux machines pour quelles « comprennent » le langage humain. Mais comment faire, alors que nous ne savons déjà pas comment s’élabore la pensée dans le cerveau ? En donnant lillusion de la compréhension. Les chercheuses dInria et di3s travaillent à ce quun logiciel puisse en fait réagir correctement aux messages échangés sur les réseaux sociaux. Elles apprennent à la machine, par exemple, à émettre des alertes lorsquelle rencontre certains mots, seuls ou assemblés ou encore des éléments dexpression plus subtiles, révélateurs de la connotation des échanges en ligne. Les chercheuses se sont ainsi engagées, entre 2017 et 2019, dans une coopération européenne baptisée CREEP (1), visant à créer une intelligence artificielle capable de signaler des actes de cyber-harcèlement en milieu scolaire. 

Pour mieux comprendre comment fonctionne CREEP, Elena Cabrio, chercheuse au sein de l’équipe Wimmics, spécialisée dans le « traitement automatique du langage naturel », lance une démonstration. Sur l’écran dordinateur, on a dabord limpression dassister à un feu dartifices. La modélisation de nos échanges sur les réseaux sociaux dessine des fines trajectoires linéaires qui convergent par endroits en bouquets de points lumineux. Le logiciel repère ainsi les comptes sociaux vers lesquels se concentrent le plus de messages et qui génèrent proportionnellement peu de réponses. « Cela peut très bien simplement désigner des personnalités populaires », souligne Elena Cabrio. Mais le même patron sapplique en réalité aux individus cyber-harcelés, autrement dit victimes de discours haineux. Il faut donc trouver un moyen de distinguer les deux types de comptes à partir de ce premier « repérage » dans le flot des données numériques. 

Or, confronter des programmes informatiques à la question du langage humain nest pas une mince affaire. Les scientifiques apprennent aux algorithmes à réaliser approximativement lanalyse grammaticale quon nous enseigne à l’école, mais les choses se compliquent à des niveaux dabstraction plus élevés. « Nous avons beaucoup de connaissances du monde et de facteurs culturels à injecter au logiciel », explique la chercheuse. « Par exemple, souvent les gens sinsultent sans utiliser de « gros mots » », révèle Elena Cabrio. Ils utilisent plutôt la pression psychologique construite sur du sarcasme, de la métaphore etc. « En plus, il sagit de formulations assez singulières et très culturelles », insiste la chercheuse.  Par exemple, un mot tout à fait banal comme « karcher » peut, dans un contexte social et politique donné, prendre tout à coup une connotation négative très marquée. « Inversement, on a découvert que les gens sinsultent « pour rire », en modulant leur discours de smileys », poursuit-elle. 

Pour essayer dintégrer cela, les chercheurs continuent donc dentraîner leurs algorithmes régulièrement. À terme, ils souhaitent aussi inclure à l’analyse le harcèlement sexuel. « Une des nouveautés 2019 était dinclure la partie image, en partenariat avec l’équipe rennoise Linkmedia (2). Car souvent, cest une image, par exemple de fille pas très bien habillée, qui déclenche le harcèlement », regrette Elena Cabrio. CREEP a déjà été testé principalement en Italie, où les partenaires du projet disposent dun Living lab pour faire des tests avec des écoles, encadrés par des sociologues et des psychologues. Mais le financeur du projet, EIT Digital, prévoit de transférer la technologie dans des versions anglaise, française, italienne, allemande et espagnole. « Lalgorithme de base est très similaire dune version à lautre et on lentraîne avec différents jeux de données, rendus publics lors de concours de technologies reposant sur lIntelligence Artificielle », explique Elena Cabrio. 

Mais pour que CREEP puisse « apprendre » en conditions réelles, il faudrait que les réseaux sociaux soient partie prenante et donnent au système tous les droits daccès aux données. Si cela devenait le cas, les particuliers pourraient alors aussi installer CREEP, en totalité ou sous forme de modules sur leur téléphone. En attendant, CREEP peut être installé sur les serveurs des établissements scolaires volontaires. C’est donc assez naturellement que les co-créatrices de CREEP rejoignent maintenant le projet OESIA, mené dans les Collèges et Lycées azuréens en partenariat avec Catherine Blaya, directrice de l’INSPE (3) Nice et chercheuse à l’URMIS (4). Au moyen de jeux de rôles entre les élèves, l’équipe espère notamment augmenter la base de données disponible pour l’apprentissage de leur algorithme. Les chercheuses ciblent en particulier les messages haineux portant sur la race, l’origine ethnique, nationale, l’appartenance religieuse, l’orientation sexuelle, la caste, le sexe, le genre, l’identité de genre et la maladie ou le handicap grave. 

Mais cette fois, le projet inclut également un volet prévention. Actuellement, une victime ou un témoin d’agression en ligne doit signaler l’auteur et son contenu aux réseaux sociaux et dans le meilleur des cas la réponse apportée sera la suppression du compte et du message. Ici, les chercheuses proposent d’apprendre au logiciel à générer automatiquement une contre-argumentation en réponse à l’agression. Elles entendent ainsi préserver le droit à la liberté d’expression tout en contrecarrant les stéréotypes et les informations erronées avec des preuves crédibles. Cette stratégie pourrait alors modifier les points de vue des harceleurs, en encourageant l'échange d'opinions et la compréhension mutuelle, et aider à désamorcer la conversation. Enfin, en développant cette recherche au coeur des établissements scolaires, l’équipe espère augmenter le niveau de connaissance et d’empathie des jeunes sur la question des agressions en ligne. 

(1) Le logiciel CREEP est co-développé par le centre français Inria et ses partenaires allemands et italiens, en particulier avec la Province autonome du Trente, devenue en 2019 un terrain expérimental danalyse du harcèlement sur le Web.

(2) Linkmedia est une équipe de recherche de lInstitut de Recherche en Informatique et Systèmes Aléatoires

(3) Institut national supérieur du professorat et de l’éducation

(4) Unité de Recherches Migrations et Société : http://univ-cotedazur.fr/laboratories/urmis#.XvTB8S1Pg_U