Un nouvel avertissement concernant l'utilisation de l'IA en tant que « reconnaissance émotionnelle » arrive

De nouvelles recherches sur l’utilisation de l’intelligence artificielle pour surveiller les travailleurs ont conduit à réclamer davantage de protection pour les employés.

Le rapport Data on Our Minds, réalisé pour l’Institut pour l’avenir du travail, tire la sonnette d’alarme sur la « gestion algorithmique des effets », qui pourrait conduire à l’utilisation de la surveillance biométrique par l’IA sur le lieu de travail.

La « gestion algorithmique des effets » (AAM) est le suivi, l'évaluation et la gestion stratégiques des travailleurs au moyen d'algorithmes, prenant en charge les tâches qui étaient auparavant effectuées par des gestionnaires humains. Cette innovation en matière de gestion est particulièrement courante dans la gig economy.

Le Royaume-Uni doit protéger ses employés des technologies de suivi biométrique et de reconnaissance des émotions au travail, d'autant plus qu'il n'est plus entièrement soumis au droit européen, affirment les auteurs du rapport dirigés par le Dr Phoebe V Moore de l'Université d'Essex.

L'utilisation de la technologie AAM a commencé dans certaines entreprises au Royaume-Uni, a déclaré Moore, ce qui crée une situation intéressante, a-t-elle ajouté sur son blog, « car la loi sur l'IA (dans l'UE) exige des bacs à sable réglementaires et des environnements simulés pour tester les catégories à haut risque ». produits, étant donné que la reconnaissance des émotions est désormais dans la catégorie interdite pour les systèmes d’IA.

La technologie commençait à permettre aux entreprises de surveiller l'humeur et les sentiments des travailleurs, ainsi que des données biométriques telles que la fréquence cardiaque, le suivi du globe oculaire ou la température, selon le rapport.

Moore a écrit que l’essor du travail à distance depuis la pandémie de Covid a vu la collecte de données dirigée par la direction se généraliser. Elle a cité une étude selon laquelle l’utilisation des « bosswares » avait triplé au cours des cinq dernières années. Même en 2019, une enquête Gartner menée auprès de 239 grandes entreprises a révélé que plus de 50 % d'entre elles utilisaient une forme de surveillance non traditionnelle, notamment l'analyse du texte des e-mails des travailleurs et de leur utilisation des médias sociaux, l'examen minutieux des réunions et la collecte de données biométriques.

L’Institut a déclaré que lorsqu’il est associé à un puissant logiciel de gestion utilisant la prise de décision algorithmique, l’AAM peut croiser l’humeur et les performances physiques avec la maladie et d’autres données, « ouvrant ainsi une nouvelle frontière significative dans la surveillance du lieu de travail ». Il a fait valoir que l’AAM présentait un potentiel de préjudice mental et physique – et qu’une nouvelle réglementation et une nouvelle gouvernance étaient nécessaires de toute urgence.

En particulier, a déclaré l'Institut, il y avait un besoin urgent de réglementations traitant du potentiel de discrimination directe ou indirecte basée sur des caractéristiques protégées et des risques associés à la neurosurveillance.

Le projet de loi sur les droits de l'emploi et le projet de loi sur les données, tous deux examinés en commission au parlement britannique, ont offert l'opportunité d'établir des protections contre les pratiques d'exploitation découlant des technologies AAM, a déclaré l'Institut, ajoutant : « La mosaïque actuelle de protections est insuffisante pour protéger les travailleurs. confidentialité, intégrité physiologique et mentale lorsque les technologies AAM sont déployées.

Moore a découvert que les raisons invoquées par les entreprises pour utiliser les technologies AAM vont de la protection de la sécurité et de la santé au travail à la surveillance du bien-être et de la forme physique, en passant par la protection des secrets commerciaux, la cybersécurité et l'optimisation de la productivité.

Elle a déclaré que toute justification de leur utilisation devrait être contrebalancée par des protections proportionnelles pour les travailleurs contre les dommages psychosociaux.

Deux cas au Royaume-Uni mentionnés par les auteurs concernent Serco Leisure, qui a reçu plus tôt cette année l'ordre du Bureau du commissaire à l'information de cesser d'utiliser la technologie de reconnaissance faciale pour surveiller la fréquentation des employés des centres de loisirs. Il a également été découvert en juin de cette année que huit gares ferroviaires, dont Euston et Waterloo à Londres, testaient la reconnaissance émotionnelle des passagers à l'aide de caméras IA intégrées aux algorithmes avancés d'apprentissage automatique d'Amazon. Le système pourrait identifier les passagers agités ou en détresse ainsi que détecter leur âge et leur sexe. Le militant Big Brother Watch a déposé une plainte auprès de l'ICO concernant le procès.

Moore a déclaré que le Royaume-Uni était « en train de devenir un foyer d’essais de reconnaissance faciale et d’émotions ».

Jeni Tennison, fondatrice et directrice exécutive du groupe de campagne technologique Connected by Data, a déclaré que le rapport de l'Institut soulignait « la nécessité d'une gouvernance inclusive et équitable des données et de l'IA, et fournit des recommandations concrètes sur la manière dont les organisations peuvent impliquer les travailleurs de manière significative ».

Frank Pasquale, professeur de droit à la Cornell Tech University, a déclaré : « Les travailleurs, les syndicats et les membres concernés du public trouveront ici des informations importantes. Et les recommandations politiques judicieuses du rapport devraient guider l’action des régulateurs.»