Les outils de génération de texte automatique, comme les modèles de langage, se développent rapidement grâce à l’apprentissage profond. Cependant, les sources d’informations utilisées pour entraîner ces systèmes posent question en termes d’éthique et d’inclusion. La qualité des données d’entraînement est un enjeu clé pour le développement d’outils respectueux de la diversité.
Les biais présents dans les grandes bases de données textuelles
Les principales bases de données textuelles utilisées pour entraîner les modèles contiennent souvent des biais. Par exemple, Wikipedia, vaste encyclopédie collaborative en ligne, reflète de façon déséquilibrée certains sujets au détriment d’autres. Des études ont montré un manque de représentation des femmes et de certaines minorités ethniques parmi les contributeurs et les sujets couverts.
A lire en complément : À la découverte des meilleures agences de communication de Cherbourg
Des corpus de textes non supervisés indexent des pages web. Ils présentent également des contenus davantage centrés sur certains groupes socio-démographiques que d’autres. Il est donc difficile de collecter des données réellement représentatives de la grande diversité des sociétés humaines. Les textes disponibles en ligne couvrent de façon inégale les expériences et les histoires de toutes les communautés. plus d’explications sont disponibles sur des sites spécialisés.
L’impact des biais des données sur le comportement des modèles
Plusieurs études ont montré que les biais contenus dans les données d’entraînement sont reproduits par les modèles qui les apprennent. Par exemple, des modèles de traduction automatique ont appris des associations trompeuses ou négatives. Ils se sont basés sur les données biaisées sur lesquelles ils ont été entraînés. De même, des modèles de génération de légendes pour des images présentaient des descriptions genrées de manière stéréotypée.
Sujet a lire : My AI : l'outil d'Intelligence Artificielle de Snapchat
Des analyses ultérieures ont démontré que ces modèles avaient simplement appris et amplifié les biais présents dans les données utilisées à l’origine pour leur entraînement. Pour atténuer ce risque, une évaluation régulière des modèles est requise. Les développeurs peuvent utiliser de métriques de détection de propos :
- haineux ;
- toxiques ;
- mensongers.
Ces analyses permettent de faire remonter les exemples problématiques afin de corriger les biais des données. Des évaluations répétées sont nécessaires. Les nouvelles applications des modèles risquent faire émerger de nouveaux biais avec le temps.
Les stratégies pour créer des données d’entraînement plus inclusives
Pour éviter de reproduire et d’amplifier les préjugés existants, les données d’entraînement collectées doivent présenter une plus grande diversité de points de vue. Plusieurs pistes sont à l’étude. Il faut sélectionner des sources de données issues de communautés traditionnellement sous-représentées. Le recrutement des contributeurs aux profils variés permettent de corriger manuellement certains biais dans de larges bases existantes.
La génération de nouvelles données synthétiques est possible à l’aide de modèles de langage entraînés de manière impartiale sur le respect de la diversité. Des formats créatifs comme des histoires de science-fiction ou des poèmes permettent d’imaginer des scénarios variés sans reproduire les partis pris du monde réel. Cette approche nécessite un contrôle éditorial pour vérifier l’absence de préjugés.
Vers une modération continue des données et des modèles
La détection et la lutte contre les biais doivent se poursuivre tout au long du cycle de vie des modèles. Des audits réguliers sont essentiels pour surveiller l’apparition éventuelle de nouveaux préjugés, non identifiés lors des évaluations initiales. Les modèles doivent pouvoir être mis à jour en permanence via l’intégration régulière de nouvelles données, issues de collectes mieux ciblées et contrôlées.
Les équipes en charge du développement se doivent d’instaurer un processus continu de vérification des biais, impliquant la contribution d’experts :
- en éthique ;
- en sociologie ;
- en sciences cognitives.
L’objectif est de détecter rapidement tout glissement problématique afin d’amorcer des corrections efficaces. Les interactions des utilisateurs avec les modèles peuvent également révéler des angles morts, qu’il convient de traiter par un suivi attentif des retours d’expérience. Une gouvernance adaptative est nécessaire pour maintenir dans la durée des systèmes d’intelligence artificielle respectueux des individus et des communautés.
En définitive, la qualité et la diversité des données d’entraînement sont donc déterminantes pour le développement responsable d’outils de génération de contenu fondés sur l’apprentissage profond. Un effort continu sur la représentation de toutes les expériences humaines est indispensable à la conception de systèmes vraiment inclusifs.
