Article body

Ma mère-grand, comme vous avez de grandes oreilles !
C’est pour mieux écouter, mon enfant !

Charles Perreault, Le petit chaperon rouge, 1697

Dans la Déclaration de Montréal pour un développement responsable de l’intelligence artificielle (Université de Montréal 2018), on trouve au « Principe de respect de l’autonomie » l’énoncé suivant : « Le développement des SIA [systèmes d’intelligence artificielle] doit éviter de créer des dépendances par les techniques de captation de l’attention. » Cette mise en garde – qui s’inscrit en tous points dans la perspective techno-optimiste de la Déclaration (cf. « Les bénéfices de l’intelligence artificielle seront d’autant plus grands que les risques liés à son déploiement seront faibles[2] ») – nous apparaît un voeu pieux lorsqu’on l’étudie à la lumière du capitalisme de surveillance (Zuboff 2015 ; 2019) et du capitalisme numérique (Durand 2020). La captation de l’attention, grâce à son arrimage aux technologies persuasives[3], n’est-elle pas précisément le véhicule principal de la marchandisation des SIA dans une économie de marché : comment maximiser votre temps passé sur une page, de quelle manière personnaliser votre expérience d’utilisateur en vous proposant des produits et services arrimés à « vos » besoins – pour ensuite vendre cette attention à des publicitaires – ou encore comment collecter des données de valeurs qui pourront être (re)vendues sur le marché ?

Dans cet article, nous explorerons une des facettes du phénomène de la captation de l’attention et de sa marchandisation en prenant comme exemple les assistantes personnelles virtuelles. Ces dernières seront présentées à la manière d’une personnification concrète, telles les dramatis personae, des mécanismes abstraits de la domination capitaliste. Elles apparaîtront alors comme exemplum d’une pratique perverse du « faire attention », d’un détournement du soin (care) à des fins prédatrices (Dorlin 2017 ; Durand 2020). Seront mobilisées, afin d’étayer ce propos, les notions de dirty care et de phénoménologie de la proie développées par Elsa Dorlin (2017) dans Se défendre, une philosophie de la violence, ainsi que l’analyse du capitalisme numérique comme capitalisme de prédation déployé dans Techno-féodalisme, critique de l’économie numérique de Cédric Durand (2020). Afin de bien comprendre le contexte dans lequel ces assistantes personnelles virtuelles se déploient, nous mobiliserons en amont le concept de « médiation algorithmique » à l’ère des données massives (Dionne et Paquette 2020) en identifiant quatre de ses modalités d’intervention dans le réel ; modalités qui s’inscrivent en tous points dans la logique du capitalisme de surveillance (Zuboff 2015 ; 2019). Au terme de notre analyse, nous verrons que ce capitalisme de surveillance – tel qu’il se présente par le biais des assistantes personnelles virtuelles – a toutes les allures d’un capitalisme numérique « de prédation » (Durand 2020) dont la captation (voire l’appropriation) de l’attention est facilitée par le visage protecteur et attentionné par lequel il se manifeste.

Première partie : La médiation algorithmique à l’heure du capitalisme de surveillance

Les systèmes d’intelligence artificielle sont notamment rendus possibles grâce à la capacité de collecter et d’entreposer une quantité phénoménale de données. Cette capacité de stockage – aussi énergivore soit-elle (Crawford 2021) – rend possible une permutation vers une quantification de soi (quantified self) (Pharabod, Nikolski et Granjon 2013 ; Ouellet et al. 2015) exacerbée par (mais aussi induite via), notamment mais pas seulement, « l’Internet des objets » (Internet of things – IoT). Pensons notamment aux montres intelligentes qui permettent de capter votre rythme cardiaque, de mesurer votre taux d’oxygène dans le sang, d’indiquer précisément votre position comme votre vitesse de déplacement, de prédire votre fenêtre de fertilité, de compter vos pas, d’analyser vos mouvements pendant la nuit, d’évaluer la durée, la qualité et le cycle de votre sommeil, de détecter l’arythmie, de vous prévenir en cas de fibrillation auriculaire, etc. Les assistantes personnelles virtuelles entrent aussi dans cette catégorie.

Ces données, que l’on dit « massives », bien qu’elles ne signifient rien en elles-mêmes, nous invitent, grâce à leur médiation par de puissants algorithmes, à une production de savoirs générés à une vélocité et un volume qui dépassent largement les capacités humaines ; c’est pourquoi on dit qu’elles sont de l’ordre de l’hyper-objet (Morton 2013). Jacques Ellul formulait déjà en 1975 que la technique était devenue la forme de médiation universelle et généralisée (Ellul 2014) et qu’il n’était plus possible de réfléchir en dehors d’une éthique dite technicienne. À cela, nous ajoutons que la médiation algorithmique est l’entreprise nécessaire (universelle et généralisée) par laquelle ce qui est capté devient signifiant (Dionne et Paquette 2020). Pour le dire autrement, la médiation par les algorithmes apparaît comme ce qui permet de produire une forme de connaissance « inédite[4] ». Mais ce savoir, aussi technique puisse-t-il être, doit être abordé avec une certaine méfiance : non seulement dans cet univers de production de connaissance on a tôt fait de prendre des corrélations pour des causalités[5], mais on oublie aussi trop souvent que ce savoir est loin d’être « objectif » et que les algorithmes ne sont parfois rien d’autre que des opinions encodées (O’Neil 2016). Au fond, ce qu’il faut retenir ici est qu’il n’y a pas d’immédiateté, que les données en elles-mêmes ne parlent pas. Seules, elles s’accumulent, elles s’entreposent. La médiation algorithmique est le fait de les traiter afin de produire du sens, de la signification, du savoir. Cette médiation n’est jamais neutre, elle est le résultat d’un choix, d’une volonté, d’une modalité de recherche donnée qui est ancrée dans un système bien particulier. La médiation algorithmique ne peut s’extraire des mécanismes de domination abstraite et impersonnelle, encore moins des formes de connaissances préexistantes, elle ne s’opère pas ex nihilo. Cela étant, il importe aussi de tenir compte que tout ce qu’elle génère est susceptible d’influencer en retour le monde qui l’a vu naître. La médiation algorithmique est, en conséquence, porteuse d’une onto-épistémologie qui est susceptible (qui a la potentialité) de transformer le réel (Yeung 2016 ; Dionne et Paquette 2020).

De l’intérieur d’une perspective néo-libérale, les différentes technologies issues de la médiation algorithmique à l’ère des données massives apparaissent comme très attrayantes en ce qu’elles permettent de capter notre attention afin de découvrir, voire de générer, de nouveaux marchés vers lesquels faire converger cette attention « captive ». Afin de bien comprendre comment la médiation algorithmique se déploie de l’intérieur même du capitalisme de surveillance, nous développerons quatre modalités d’intervention dans le réel qui permettent d’inscrire ces technologies au registre d’une économie prédatrice de l’attention : la capacité décisionnelle, la personnalisation de l’expérience, la potentialité prédictive et, finalement, la faculté persuasive et addictive. Ces quatre modalités, nous le verrons dans la seconde partie, opèrent de manière exemplaire chez les assistantes personnelles virtuelles.

La capacité décisionnelle

Les algorithmes décisionnels ne sont pas nouveaux en soi : un simple organigramme de type arbre de décision (flow chart) est un algorithme décisionnel, c’est-à-dire un processus construit à partir d’une suite finie d’opérations permettant d’identifier une option à sélectionner parmi d’autres. Imaginez un tableau Excel conçu afin d’évaluer une liste de soumissionnaires pour un contrat X. Ce tableau serait composé d’une série de dix questions, associées à un choix de réponses qualitatives. À chacune de ces réponses serait attribué un coefficient (de 1 à 10). Une formule entrée manuellement dans le tableau Excel permettrait de compiler les résultats « automatiquement » et indiquerait une note globale sur cent. Cette note serait associée à un barème qui servirait à déterminer si le soumissionnaire est admissible, s’il doit faire l’objet d’investigations complémentaires ou s’il est refusé. Un employé veillerait à compléter, à la main, chacun de ces formulaires à partir des documents qu’il aurait reçus, puis calculerait les résultats afin de créer une liste des partenaires prioritaires ; voire, une simple fonctionnalité Excel pourrait générer automatiquement cette compilation.

À cette situation correspond un algorithme décisionnel, conçu à partir de critères établis au sein de l’organisation. Le processus est relativement simple et suffisamment transparent pour qu’un fournisseur ou un audit externe puisse y avoir accès afin de comprendre de quelle manière la note a été attribuée. On pourrait aussi imaginer d’autres situations semblables où un formulaire de ce type aiderait à évaluer les compétences sur un curriculum vitae, la possibilité d’une libération conditionnelle, l’admissibilité à une compensation après un accident de travail, l’attribution d’un visa de voyage, etc.

Ce qui apparaît comme une relative nouveauté avec les algorithmes décisionnels à l’heure des données massives – qui sont notamment utilisés dans l’automatisation de processus décisionnels – n’est pas l’usage de procédés d’assistance à la prise de décision, non plus le fait d’utiliser des algorithmes simples pour ce faire ; ce qui est radicalement nouveau en revanche est le volume de données traitées et la vitesse d’exécution (vélocité). Ces deux composantes sont susceptibles de permettre d’importantes économies d’échelle en termes de temps, mais aussi en termes de ressources humaines. On assiste alors à une accélération des processus opérationnels-décisionnels déjà existants, mais dont l’implantation est susceptible d’engendrer d’importantes modifications dans le monde du travail (telles que des mises à pied massives, des « affectations à d’autres tâches », ou encore une augmentation considérable de la cadence des tâches à effectuer). Une autre dimension s’ajoute au volume et à la vélocité : la relative opacité des systèmes d’intelligence artificielle appelés algorithmes décisionnels, notamment (mais pas seulement) lorsque ceux-ci sont entraînés par apprentissage machine et que les critères de succès sont autodéfinis à partir des données injectées, ce qui n’est pas sans poser de sérieuses questions en ce qui concerne l’imputabilité de ces algorithmes, tout comme la reddition de comptes. L’accélération que permet la médiation algorithmique à l’ère des données massives implique ici une dépossession du raisonnement menant à la prise de décision et, donc, une forme d’aliénation.

On peut aussi s’interroger sur l’effet à long terme de l’usage de ce type d’algorithme décisionnel. On dira, pour se faire rassurant, que ceux-ci ne sont pas toujours à proprement parler « décisionnels » et que, lorsque la situation l’exige, ils ne feront qu’émettre une recommandation qui devra être ensuite approuvée ou rejetée par un humain. Mais il importe de nous interroger sur l’influence potentielle de ces recommandations, et ce, encore davantage si les motifs de cette recommandation demeurent relativement opaques et si la recommandation est perçue par l’agent comme « objective ». Le risque de tendre vers un dessaisissement de la capacité (voire de la volonté) décisionnelle n’est pas, ici, à sous-estimer (Sadin 2018).

La personnalisation de l’expérience – le profilage algorithmique

La multiplication des pôles de cueillette de données et la précision avec laquelle celles-ci peuvent être compilées, notamment grâce aux outils déployés dans le champ de l’analyse des sentiments (sentiment analysis– opinion mining) et de la science du comportement (behavioural science), rendent possible une personnalisation sans précédent des différentes plateformes sur lesquelles naviguent les utilisateurs : plateforme d’achats en ligne, liste d’envoi, même les sites de nouvelles peuvent désormais être agencés, ordonnés, modélisés, personnalisés selon « vos » préférences. Cela aura pour effet de rendre l’interface plus agréable, plus conviviale. Un sentiment d’appartenance, de partage, une impression d’être compris pourra se manifester (un sentiment d’être écouté, espionné, de ne plus avoir de vie privée pourrait aussi apparaître, c’est selon). On vous présentera ensuite des produits calibrés selon « vos » désirs que vous pourrez « choisir » de consommer. Au mieux, cette intervention (cette « manipulation douce et bienveillante ») sera « non coercitive ». On veillera à concevoir une « architecture décisionnelle » – un « nudge[6] » – qui sera susceptible d’altérer votre comportement « sans toutefois limiter vos options » (Thaler et Sunstein 2012). Au pire, on assistera – sous le couvert du bien nommé paternalisme libertarien (Thaler et Sunstein 2003) – à un alignement de la demande sur l’offre perfectionné grâce au déploiement d’un puissant appareillage de collecte et de traitement de données massives[7]. Bref, le « le principe de marchandisation […] s’efforce[ra] de soumettre les flux attentionnels aux besoins ou aux désirs de maximiser les revenus financiers » (Citton 2014).

Cette personnalisation est notamment visible sur les différents réseaux sociaux : Facebook, Twitter, Instagram, LinkedIn, Pinterest, etc. Les connexions que vous opérez et les données que vous partagez, que vous générez, comme celles que vous inférez – vous et l’ensemble des utilisateurs et utilisatrices – serviront à personnaliser votre fil de nouvelles, votre carrousel d’images, votre tableau thématique, afin de vous maintenir attentif et actif sur la plateforme le plus longtemps possible, ce qui permettra aussi de rentabiliser – et de faire fructifier – votre attention. En fait, c’est très simple, plus un outil vous paraît convivial, plus ce que vous y trouvez correspond à ce que vous croyez désirer au plus profond de vous-même, plus vous êtes face à un vaste réseau opaque de profilage algorithmique qui coordonne et surveille vos activités. Tout est accessible – et souvent « gratuit » – et tout cela est rendu possible grâce à des entreprises qui exercent un contrôle monopolistique ascendant sur le réseau (Taylor 2014)[8].

Cette faculté de personnalisation (mais nous préférons parler de profilage algorithmique) déploie son effectivité de connivence avec les biais de confirmation, qui consistent en cette tendance chez l’humain à ne prendre en considération que les informations qui confirment, voire confortent, ses positions. Elle est susceptible de créer une sorte de chambre d’écho dont les effets pervers sont le renforcement des habitus de classe, la polarisation des opinions, la montée des conspirationnismes, la radicalisation des discours et l’atteinte portée au pluralisme démocratique (et la liste n’est pas exhaustive). L’effet performé par ce profilage algorithmique est, en conséquence, la création d’une sorte d’« architecture de forteresse » (Paquette 2018) qui sonne le glas d’« une interaction sociale ouverte et non programmée d’avance » (Hardt et Negri 2004). Cette personnification de l’expérience (ou ce profilage) offre des possibilités inédites afin de façonner le marché comme les idées, et ce, de manière encore plus efficace lorsqu’elle est perpétrée par des organismes en situation de monopole (GAFAM : Google, Apple, Facebook, Amazon et Microsoft) qui se partagent, à la manière des seigneurs d’autrefois, le territoire du numérique (cf. l’hypothèse techno-féodale ; Durand 2020)[9].

La potentialité prédictive

S’il est possible de faire du profilage, on peut aussi prédire étonnamment de manière assez juste vos comportements futurs. Du point de vue de la captation de l’attention et de sa marchandisation, cela offre des occasions « intéressantes » pour qui veut proposer un produit à un consommateur, ou financer tel ou tel secteur de recherche et développement, ou encore développer une plateforme politique[10]. Lorsqu’il est question d’algorithmes prédictifs, on analysera d’une part ce que vous (ou votre avatar, ou votre « double statistique » [Rouvroy et Berns 2013], bref votre entité réifiée) avez fait dans le passé, mais aussi et surtout ce que d’autres, qui correspondent au même modèle (pattern) que vous, ont fait ; le désir derrière cette faculté étant de fournir, grâce à une « copie du réel[11] » en données quantitatives, une analyse prédictive à la fine pointe de la technologie.

Un des risques inhérents à la faculté prédictive des algorithmes est la boucle de rétroaction. Celle-ci apparaît de manière très claire lorsqu’on prend pour exemple la police prédictive. Imaginons qu’un système d’intelligence artificielle sélectionne tous les crimes commis[12] au cours des dix dernières années dans une mégapole donnée. Ensuite, la liste de ces crimes serait analysée afin d’établir des corrélations selon le lieu, l’heure, le jour de l’année, le profil des individus, le revenu moyen des ménages, la scolarité, la situation matrimoniale, les fréquentations (voire les achats effectués dans les jours précédant le crime commis, le type de musique écouté, la syntaxe des derniers statuts publiés sur les réseaux sociaux, etc.), en vue de créer des modèles prédictifs qui permettraient de concentrer les effectifs policiers dans certains quartiers afin de « servir et protéger » au mieux la population, tout en réalisant des économies d’échelle. Cet algorithme (qui est évidemment problématique à plusieurs niveaux que nous ne détaillerons pas ici) serait susceptible d’induire à terme une sorte de boucle de rétroaction perverse en ce que le fait de cibler certains quartiers plutôt que d’autres augmenterait le nombre de constats d’infraction en ces lieux. Ces données, une fois réinjectées dans l’algorithme, renforceraient le niveau d’alerte en ces mêmes endroits, ce qui aurait pour effet d’augmenter à nouveau le nombre de crimes « commis » (tout cela, sans parler de l’animosité pouvant être engendrée dans des quartiers ciblés et causée par un déploiement excessif de l’appareil répressif) (Eubanks 2018). C’est notamment en ce sens qu’il convient de voir les algorithmes non pas comme des outils d’analyse ou de prédiction, mais plutôt comme des outils d’intervention dans le réel (Rouvroy 2015).

Ce que nous apprend cet exemple est que la faculté prédictive est susceptible d’encourager une vision en tunnel, vision dont toutes et tous (mais plus encore le corps répressif) devraient se méfier. L’on dira que ce type de ciblage (de profilage) n’est pas nouveau, et l’on aura fort raison de le mentionner. Encore une fois ici ce qui change est la vitesse d’exécution, le volume (et le type) de données collectées et traitées, ainsi que la relative opacité[13] du fonctionnement de ces outils auxquels on accorde une valeur d’objectivité et de vérité[14]. L’accélération qui en découle, loin de modifier le paradigme dans lequel nous sommes, le solidifie.

La faculté persuasive et addictive

La dernière modalité est la faculté persuasive, voire addictive, des systèmes d’intelligence artificielle. Rappelons que la Déclaration de Montréal mentionne que « le développement de l’intelligence artificielle « doit éviter de créer » des dépendances par les techniques de captation de l’attention », le principe étant formulé de manière non impérative (« doit éviter de créer » plutôt que « ne doit pas créer »). Or, on semble oublier que la possibilité de l’arrimage des désirs à l’économie de marché – la logique de captation de l’attention afin de générer de la valeur – repose précisément sur cette faculté de persuasion et d’addiction. Le nec plus ultra du cybercommerce aujourd’hui, le piratage de croissance « growth hacking », mise d’ailleurs sur une analyse poussée des données massives afin de maximiser la croissance ultra-rapide des entreprises par des « expérimentations fonctionnelles croisées » reposant sur des technologies de persuasion et d’addiction (en développant du contenu « viral » par exemple), le tout dans le but de fidéliser la clientèle afin de « survivre à la disruption » (Ellis et Brown 2017 [notre traduction]). La recherche et le développement dans ce domaine visent tous à construire des « accélérateurs de croissance » d’entreprises. Ici, la persuasion et la potentialité addictive sont comprises comme des outils pouvant être mobilisés afin de créer un « cycle vertueux [sic] de croissance » (ibid.)[15]. Le développement d’addictions est devenu le modèle d’entreprise par excellence de l’économie de plateforme – non pas que ce modèle soit nouveau en soi encore une fois (cf. les cigarettiers) – et son déploiement grâce à la médiation algorithmique offre des possibilités prédatrices jusqu’ici inégalées.

Conclusion partielle

Aux termes de cette présentation de la médiation algorithmique, il apparaît naïf de croire que les systèmes d’intelligence artificielle sont neutres et qu’il ne suffit que de poser les bonnes balises éthiques pour en encadrer les usages et ne pas nuire. Ces technologies ne sont pas un pharmakon[16], et ne peuvent être appréhendées comme tel. Elles véhiculent une conception du monde, un désir de quantifier, de prédire, de générer une forme de certitude[17] totalisante du réel, le tout avec des visées marchandes que l’on aurait tort de dissocier de toute la recherche réalisée dans ce domaine. Le « monde numériquement administré » que tend à devenir le nôtre repose sur une forme d’objectivité marchande fondée sur l’idéal positiviste de quantification qui se traduit par une forme impersonnelle et objective de la raison (Ouellet et al. 2015). En ce sens, les débats entourant le développement de l’IA se doivent de largement dépasser le cadre de la protection de la vie privée (Véliz 2020). L’accélération du développement dans le domaine de l’intelligence artificielle, loin de produire les conditions de dépassement du capitalisme[18], vient plutôt assurer son hégémonie. Le capitalisme de surveillance qui en découle n’est pas nouveau, il n’est qu’une variation sur le thème d’une alliance entre le complexe militaro-industriel et le monopole capitalistique de la finance (Foster et McChesney 2014). Sa logique totalisante ne s’impose plus par la répression mais par l’édification d’un pouvoir « instrumentarien » qui repose sur l’utopie de la certitude, à savoir la volonté de prévoir, de refuser le doute, qui nous pousse tous et toutes dans la même direction d’obédience (Zuboff 2015 ; 2019).

Dans ce paradigme, la logique extractiviste étend son emprise. Ce n’est plus seulement le sol qui est foré afin d’en extraire le minerai (hier l’or, aujourd’hui le lithium), ce sont les humains qui deviennent à leur tour un terrain sur lequel s’effectue un extractivisme de données (le terme data mining est éloquent sur ce point) (Crawford 2021). Cette logique devient alors totale ; la dimension prédatrice de l’accumulation au sein du capitalisme numérique poursuit son déploiement selon une logique d’appropriation et d’exploitation de l’attention qui paraît sans limite (Durand 2020), et l’humain s’en trouve, à terme, presque exproprié de lui-même.

Paradoxalement, tout le déploiement de cette biopolitique d’un corps morcelé en data se fait au nom de la promotion d’un accroissement du « contrôle des individus sur leur vie et leur environnement ». Ce contrôle (si tant est que le contrôle soit une bonne chose en soi) viserait, dit-on, à améliorer les conditions de vie, de travail et de santé des individus en « accroissant le bien-être de tous les êtres sensibles » (Déclaration de Montréal, « Principe autonomie »). Comment une logique aussi prédatrice peut-elle se présenter sous un visage protecteur (Durand 2020) et bienveillant ?

Seconde partie : Ces assistantes personnelles virtuelles qui veulent votre bien

On retrouve au registre des systèmes d’intelligence artificielle devant promouvoir le bien-être des individus une multiplicité de technologies du soin allant de l’IoMT (Internet of Medical Things) aux assistantes personnelles virtuelles. C’est sur ces dernières que nous porterons notre « attention ».

Alexa, dans sa fiche descriptive sur le site de Amazon, est présentée comme « prête à aider », et on peut même lui demander de « raconter une blague » ; Siri, sur la page de son détaillant Apple, affirme « en fai[re] plus avant même que vous le demandiez » et, selon vos habitudes, elle « peut même anticiper vos besoins pour vous simplifier la journée » ; « Cortana […] [un produit de Microsoft] vous permet de gagner du temps et de concentrer votre attention sur ce qui est important ». Ces trois assistantes personnelles virtuelles (pour ne nommer que celles-ci), aussi nommées des agentes conversationnelles vocales, sont susceptibles de rehausser votre niveau de bien-être en étant à l’écoute (en étant attentives) à vos moindres requêtes. Plus vous en ferez usage, plus votre assistante vous comprendra[19], plus elle anticipera vos demandes, plus votre expérience sera personnalisée et plus elle sera « conviviale », « attentive », voire « attentionnée ». Elle pourra s’assurer du suivi de livraison d’une commande, avertir de la date de péremption d’un item dans le frigo, commander de la nourriture si nécessaire, prodiguer des conseils sur l’état de santé, gérer un compte bancaire, ou encore suggérer des activités à vos enfants[20] et la liste n’est pas exhaustive.

Cette assistante, on la retrouve dans votre salon, votre chambre à coucher, votre voiture, au travail, à l’hôtel, à l’école ![21], etc. Outre certaines réglementations concernant la collecte et l’usage de données, il n’y a pas vraiment de règles qui encadrent leur utilisation : votre hôte devrait-il vous aviser s’il possède un tel appareil à la maison ? Si vous louez un appartement sur une plateforme numérique et qu’il est doté d’une assistante personnelle virtuelle, quels sont vos droits et quelles sont les responsabilités du propriétaire ? Un parent d’élève peut-il exiger le retrait d’une assistante personnelle virtuelle d’une salle de classe ? Un employeur·e peut-il obliger ses employé·es à travailler dans un environnement dans lequel on retrouve une ou plusieurs de ces assistantes ?

Si ces assistantes vous entendent en permanence, elles ne vous écoutent en théorie que lorsque vous prononcez la commande d’activation (Hey Siri, Ok Google, etc.), ou lorsque l’appareil croit par erreur avoir entendu la commande d’activation. Ainsi on raconte que nombre d’appareils ont été activés lorsqu’à la radio, à la télé ou encore au Parlement (FranceInfo 2018), il était question du conflit en « Syrie ». Ces assistantes peuvent être synchronisées avec tous vos appareils « intelligents » (téléphone mais aussi montre, télé, robot aspirateur, cafetière, frigo, grille-pain, balance, machine à café, porte de garage, thermostat, chauffe-eau, lumières, système de son, sonnette audio-vidéo, capteur de sommeil, serrures, tapis roulant, elliptique, jouets pour enfants (!), etc.). L’« intelligence » devient l’option par défaut de presque tout ce qui relève de l’électronique. Grâce à ces réseaux, les assistantes colligent des milliers de renseignements sur vous, qui sont ensuite médiés par des algorithmes qui leur permettront de vous offrir une expérience personnalisée. Leur interface conviviale et attentionnée sera peaufinée afin de les rendre presque indispensables.

Nombreux sont les articles qui ont fait état, à très juste titre, du caractère hautement genré de ces assistantes. D’abord leur nom : si Alexa et Cortana n’induisent pas de doute quant au genre féminin, Siri demande un peu plus de recherches ; mais on découvre assez rapidement qu’en norvégien, Siri signifie « une belle femme qui vous conduit à la victoire » (Specia 2019). Elles sont toutes des descendantes d’ELIZA (Weizenbaum 1966 ; Nass, Moon et Green 1997), la première agente conversationnelle de l’histoire[22]. Ensuite leur voix : si Echo est doté d’une commande d’activation de genre neutre (Ok Google), sa voix par défaut est féminine ; même chose pour Alexa, Cortana et Siri. Concernant cette dernière, il est intéressant de savoir que non seulement il est possible de changer sa voix pour une voix masculine, mais que dans certains pays (comme en Angleterre et en Allemagne), la voix par défaut est masculine (ce qui rappellerait la fonction du valet (Bosker 2013) et donc d’un subalterne).

Plusieurs raisons ont été évoquées concernant la féminisation largement majoritaire de ces dispositifs, au premier chef desquelles le caractère féminin de la notion d’assistance et de soin ainsi que la plus grande facilité à se confier à une voix féminine (Donald 2019). D’autres possibilités ont aussi été explorées, telle la création d’un assistant doté d’un nom et d’une voix de genre neutre (voir l’expérience de Q Genderless Voice)[23]. Mais il y a davantage que le nom et la voix, il y a aussi l’algorithme (ou plutôt les algorithmes) derrière la machine. Leur programmation contribue elle aussi à un renforcement du sexisme systémique. À ce titre, le rapport de 2020 de l’UNESCO « Je rougirais si je le pouvais » (I’d blush if I could)[24] – titré en référence à la réponse de Siri (datant d’avant une mise à jour en avril 2019), Siri répond maintenant « Je ne sais pas quoi répondre à cela » lorsqu’on lui dit « Hey Siri, tu es une salope » (Hey Siri you’re a bitch !) – relève que « [l]a soumission “féminine” de Siri – et la servilité exprimée par tant d’autres assistants numériques ayant l’aspect d’une jeune femme – illustre bien les préjugés sexistes codés dans les produits technologiques, omniprésents dans le secteur technologique et apparents dans l’enseignement numérique ».

À cela, on répondra le plus souvent que la solution se trouve dans le fait d’engager plus de femmes dans le domaine des nouvelles technologies, ce qui influencerait assurément le développement des algorithmes ; on citera des projets d’activistes visant à développer des assistantes personnelles virtuelles par des femmes pour les femmes tel le « Woman Reclaiming AI » ; on dira aussi que le travail doit se faire en amont et qu’une société « moins sexiste » accoucherait d’algorithmes plus justes (Nass, Moon et Green 1997).

Cependant, toutes ces solutions – sans nier leur importance – ne permettent pas de se demander de quelle manière la capacité de prise de décision, la personnalisation de l’expérience (le profilage algorithmique), la potentialité prédictive et la faculté persuasive et addictive font de ces assistantes personnelles virtuelles de vraies petites machines de surveillance et d’extractivisme qui misent sur un besoin d’attention tout comme sur une capacité (et un désir) d’anticipation et de prédiction pour mieux nous (as)servir. Ces solutions ne cherchent qu’à améliorer une des faces visibles de la domination concrète (ici genrée) rendue manifeste par les assistantes personnelles virtuelles. Elles ne viennent pas remettre en question les processus de domination abstraite et impersonnelle (Postone 2009 ; Méda 2010) personnifiés par celles-ci[25].

Les questions qui nous taraudent davantage sont les suivantes : Que révèle ce désir d’être en présence d’une altérité totalement attentionnée qui anticipe nos besoins ? Quels sont les effets pervers induits par la captation, la marchandisation et le détournement de ce désir ? De quoi ce couple prédateur–proie est-il le nom ? Et, surtout, qui personnifie qui dans ce schéma ?

Les notions de dirty care, de phénoménologie de la proie (Dorlin 2017), ainsi que l’analyse du capitalisme numérique en termes de prédation (Durand 2020) nous aideront ici à esquisser des réponses à ces questions.

Le sale soin des assistantes personnelles virtuelles

Dans Se défendre. Une philosophie de la violence, Dorlin (2017) propose une phénoménologie de la proie qu’elle associe au dirty care. Le dirty care – ou le « care négatif », ou encore le « sale soin » – se caractérise par une position d’attention à l’autre qui se traduit par une prévision, voire une prédiction de ses besoins et de ses désirs, dans le but, surtout, de ne pas attiser sa colère, « ne pas l’énerver, ne pas encourager, ne pas déclencher sa violence ». C’est « une disposition à se soucier des autres, à leur prêter attention, à en prendre soin (“care” en anglais), à les prendre en charge », qui vise, au fond, à se prémunir soi-même contre d’éventuels sévices, à se mettre à l’abri. Il s’agit « de se soucier des autres pour anticiper ce qu’ils veulent », de faire l’expérience du qui-vive, d’être constamment en alerte, à l’affût, de vivre dans une « inquiétude radicale » (Dorlin 2017). Pour le dire de manière très simple : « Le dirty care désigne le sale soin que l’on se porte à soi-même […] pour sauver sa peau », c’est « l’attention qui est requise de la part des dominé-e-s, et qui consiste à se projeter en permanence sur les intentions de l’autre, à anticiper ses volontés, ses désirs, à se fondre dans ses représentations » (ibid.). Sauver sa peau en prenant soin de l’autre, parce qu’on ne peut pas se sauver, parce qu’on est captif ou captive d’une situation prédatrice donnée.

L’assistante personnelle virtuelle semble faire écho (sans mauvais jeu de mots) à ce sale soin. L’assistante personnelle virtuelle – en tant que petite machine fonctionnant grâce à la collecte de données et à la médiation algorithmique – n’est-elle pas programmée pour en arriver à prédire les comportements de son utilisateur en vue de lui proposer ce qu’il souhaite avant même qu’il n’en formule la demande ? N’est-elle pas conçue pour être à sa disposition, en tout temps, en tout lieu, pour être à l’écoute, toujours prête à être activée, constamment en alerte ? L’assistante personnelle virtuelle n’a-t-elle pas vocation à se fondre complètement dans le moule de son utilisateur afin de se personnaliser selon ses désirs ? Complètement ? Non. Nous avons vu précédemment que cette personnalisation n’était que de façade, mais passons pour l’instant. N’empêche, ces assistantes personnelles virtuelles se présentent comme des subalternes. Elles sont votre aide-mémoire, elles choisissent pour vous de la musique, vous racontent des blagues. Elles ne protestent jamais, elles ne haussent nullement la voix.

Ces assistantes personnelles virtuelles répondent à un désir d’immédiateté (être en présence d’un autre qui anticipe vos pensées), doublé d’un désir de supériorité (être en présence d’un autre toujours à votre disposition, qu’on peut insulter à loisir et sans conséquence), le tout combiné à un désir d’être pris en charge (être en présence d’un autre qui soit attentionné, en état d’alerte, et qui ne vous quittera jamais). On pourrait imaginer une grille de lecture qui conclurait ici qu’il est tout de même préférable que ce soit un robot qui soit à disposition de l’humain plutôt qu’une femme, une servante, un valet, etc. On dira aussi que l’assistante personnelle virtuelle n’agit pas ainsi – contrairement à une personne qui se trouverait en situation de care négatif – pour « sauver sa peau », elle qui ne connaît ni la crainte, ni la peur, ni l’angoisse, non plus que la douleur. Mais une telle lecture ne tiendrait pas compte de deux éléments importants.

D’une part, on semble négliger de se demander quelles sont les conséquences sociales et l’impact d’un renforcement des désirs d’immédiateté, de supériorité et de prise en charge alors même que ce sont ces désirs que l’on encourage et sur lesquels on mise, que l’on capitalise, pour capter notre attention, récolter un maximum de données massives et générer de la valeur. D’autre part, il est faux de croire que ce soin, cette « attention », est seulement prodigué par un robot puisqu’il est rendu possible par la délégation à des travailleurs précaires de fonctions telles que la validation (après écoute de fichiers conversationnels « anonymisés ») des recommandations émises par les assistantes personnelles virtuelles. Ces travailleurs – ces humains qui se cachent dans la machine à la manière du turc mécanique[26] – sont désignés comme de l’intelligence artificielle artificielle (Casilli 2019 ; Casilli et al. 2019). Ils s’effacent derrière ces dispositifs attentionnés, toujours prêts à nous aider, à faciliter notre journée, à anticiper nos besoins. Ils sont cette véritable « armée de réserve » : souvent délocalisés dans d’anciennes colonies, là où l’on parle « la langue de la métropole », ils sont payés à la micro-tâche, surveillés à distance, sans contacts les uns avec les autres, et ont la plupart du temps l’interdiction de parler de leur emploi, sous peine de renvoi ou de poursuites. Ce travail du clic, ces petites mains invisibilisées[27] qui rendent possible le soin prodigué par les assistantes personnelles virtuelles, ne sont pas sans faire penser, par effet d’analogie, au dark care, théorisé par Dorlin (2005), c’est-à-dire cette manière de « déléguer à des femmes des classes populaires, aux migrantes, aux femmes des groupes altérisés / racisés, le travail domestique le plus éprouvant [ce qui] permet ainsi aux femmes de la classe moyenne de résoudre les injonctions contradictoires de la domesticité et d’incarner cette norme de la féminité ».

Revenons au dirty care. Il est intéressant par ailleurs que Dorlin arrive à saisir – aux termes de sa description de la posture de la « proie » – de quelle manière cette phénoménologie produit toute une connaissance sur l’autre et génère « une posture cognitive et émotionnelle », « une connaissance des plus poussées, documentées, sur les groupes dominants ». Cependant, cette connaissance se voit déniée puisqu’elle ne bénéficie pas du « privilège épistémique » (Dorlin 2017), elle n’est pas perçue comme une connaissance valide, elle n’est même pas reconnue comme existante. Or, Dorlin arrive à démontrer, dans son archéologie de l’auto-défense, que ce savoir est précieux et qu’il peut être mobilisé afin de renverser la relation de domination qui s’est établie. C’est sur ce savoir que Dorlin souhaite diriger notre regard, comme pour dire à ces subalternes : regardez tout ce que vous avez appris, tout ce que vous pouvez puiser dans cette connaissance pour trouver les moyens de vous extirper de cette situation. Le changement de perspective ici est puissant.

En ce qui concerne les assistantes personnelles virtuelles, le savoir qu’elles acquièrent semble difficilement mobilisable afin de renverser la situation de domination dans laquelle elles paraissent se trouver et – à moins que l’on souscrive aux thèses de la révolution des robots contre les humains – on voit mal ces dernières s’auto-défendre contre leur utilisateur. Mais trêve de fantaisie dystopique, force est de constater que ce qui se capte là, ce qui se collecte là, procure une sorte de bien-être bien paradoxal dès que l’on prend une vue d’ensemble de la situation. Car les questions au fond que l’on peut poser sont : De qui vraiment ces assistantes personnelles virtuelles prennent-elles soin ? Qui « profite » de cette « posture cognitive » ?

À la lumière de ce qui a été démontré dans cet article, il nous est permis d’affirmer, d’une part, que l’assistante personnelle virtuelle ne prend pas soin de l’utilisateur en tant que tel, mais plutôt d’une version réifiée de lui-même : son double-statistique (Rouvroy et Berns 2013) ; et, d’autre part, que le « bien-être » qu’elle procure, loin de lui être directement adressé, a pour finalité première d’alimenter en retour le capitalisme de surveillance. En ce sens, la posture de soumission personnifiée par l’assistante personnelle virtuelle apparaît comme une ruse et son apparence protectrice se révèle prédatrice. En effet, en plus d’agir comme agente de solidification de certains stéréotypes genrés, des recherches démontrent que la personea féminine agirait comme fonction-écran afin de masquer le capitalisme de surveillance que ces assistantes accomplissent : « These AI objects routinely traffic in normative gender roles of the feminine caretaker, mother, and wife in order to obfuscate modes of surveillance, and mediate the relationship users and potential users have with late-capitalist market logics in the platform economy. » (Woods 2018) Pour le dire autrement et de manière beaucoup plus imagée : l’assistante personnelle virtuelle apparaît comme le grand méchant loup déguisé en grand-mère bienveillante qui, si tant est qu’elle cherche à nous tendre l’oreille, n’a de volonté que celle de nous dévorer, analogie qui fait écho à ce qu’affirme Durand (2020) : « dans une relation de domination […] entre la proie et le prédateur, seul le prédateur peut se comporter à la fois comme agresseur et comme protecteur ».

En revenant à la posture de la proie, nous affirmons que ce n’est pas l’assistante personnelle virtuelle qui « prend soin » et qui est susceptible de devenir une « proie » ; mais que c’est bien plutôt l’utilisateur–proie qui, par son usage de la machine « attentionnée », « prend soin » d’un système prédateur. N’est-ce pas, à terme, l’utilisateur qui se fond dans les recommandations de son assistante personnelle, n’est-ce pas lui qui est constamment en alerte (sujet aux « notifications »), lui dont les allées et venues sont traquées, dont les paroles sont écoutées ? N’est-ce pas son corps « dataifié » qui est soumis à une biopolitique extractiviste à laquelle on peut difficilement croire qu’il a consenti de manière libre et éclairée ?

Nous l’avons vu précédemment, Dorlin discerne dans le savoir qu’acquiert la proie sur son oppresseur une matière où puiser afin de penser les conditions de son émancipation, une émancipation qui passerait par un « devenir prédateur[28] » de la proie ; mais elle souligne aussi, d’un même élan, que ce devenir n’est pas sans risque puisque la technologie du pouvoir consiste précisément « [à] exciter l[a] puissance d’agir [des sujets] pour mieux les pousser, les exercer à leur propre perte. Produire des êtres qui, plus ils se défendent, plus ils s’abîment. » (Dorlin 2017) Durand (2020), quant à elle, dans son analyse de la prédation, relève que « la proie ne peut se protéger qu’en s’échappant sans pouvoir riposter à l’agression ». Se sauver deviendrait, pour la proie, la seule alternative possible puisqu’elle ne peut, pour sa part, prendre le visage de l’agresseur sans en subir un tort encore plus grand. Mais comment se sauver d’une assistante personnelle virtuelle, qui n’est que la personnification (au sens de dramatis personae) d’une domination abstraite et impersonnelle encore plus pernicieuse ? Comment se sauver de ce qui n’est que le visage convivial d’un capitalisme numérique à tendance monopolistique (ibid.) ? Le moins qu’on puisse dire, c’est qu’échapper à cette logique techno-féodale en choisissant la déconnexion ou le « opting out », par exemple, est loin d’être simple[29] puisque « la dépendance à la glèbe numérique conditionne […] l’existence sociale des individus comme celle des organisations ». Le « coût de la fuite » pourrait s’avérer être très cher payer (ibid.).

Nous l’avons vu, la médiation algorithmique, à l’ère des données massives, est non seulement susceptible d’influencer la capacité décisionnelle des agents mais, par ses mécanismes de profilage (la bien nommée personnalisation de l’expérience), de prédiction, de persuasion et d’addiction, s’assure de capter l’attention et de fidéliser une « clientèle » qui alimentera, par ses actions quotidiennes surveillées (et extraites), la grande réserve des données massives, ce pétrole du XXIe siècle. Il apparaît, à la lumière de notre démonstration, impossible de s’interroger sur la fonction des assistantes personnelles virtuelles en dehors du capitalisme de surveillance dans lequel elles se déploient ; soit cette logique qui imprègne la technologie, qui se surimpose à elle, qui fusionne avec elle, pour générer de la valeur (Zuboff 2015 ; 2019). Mais là où Shoshanna Zuboff définit le capitalisme de surveillance selon une logique parasitaire où il serait possible en quelque sorte de dissocier la technologie (l’hôte) de la logique qui l’imprègne (le parasite), nous préférons l’analyse présentée par Durand où l’idée de prédation – qui renvoie à la toile (web) – permet, parce qu’elle « passe par une relation de domination entre le prédateur et ses victimes » (Durand 2020), une compréhension plus fine des relations de pouvoir propres au capitalisme numérique.

Aux termes de cet exercice de pensée, l’assistante personnelle virtuelle apparaît comme l’exemplum d’un extractivisme convivial et attentionné ; d’une attention quasi totale et permanente, pour ne pas dire d’une « surveillance », qui participe de cette « économie de l’attention » (Lanham 2006) comme « forme hégémonique du capital » (Citton 2014). Mais plus encore que le capitalisme de surveillance, c’est le couple prédateur–proie et ses modulations qui nous permettent de saisir la dynamique avec laquelle l’assistante personnelle virtuelle personnifie de manière concrète une logique de domination prédatrice propre au capitalisme numérique.