En 2014, Meta a tenté de soutenir une initiative contre la haine baptisée Panzagar (« Dites-le avec des fleurs ») en créant des stickers que les utilisateurs et utilisatrices pouvaient utiliser pour répondre à des contenus incitant à la violence ou à la discrimination. Ces stickers arboraient des messages tels que « Réfléchissez avant de partager » et « Ne provoquez pas la violence ».
Cependant, des militant·e·s ont rapidement remarqué que ces stickers avaient des conséquences inattendues. Les algorithmes de Facebook ont interprété l’utilisation de ces stickers comme signifiant que les gens appréciaient les billets en question et commençaient à les promouvoir. Au lieu de réduire le nombre de personnes regardant des billets incitant à la haine, ces stickers ont en fait rendu ces billets beaucoup plus visibles.
Meta utilise des systèmes d’algorithmes basés sur l’engagement pour les flux d’actualités, le positionnement, les recommandations et les fonctionnalités de groupes sur Facebook, façonnant ainsi ce qui est vu sur cette plateforme. Meta a tout intérêt à ce que les utilisateurs et utilisatrices de Facebook restent le plus longtemps possible sur la plateforme, car cela lui permet de vendre d’autant plus de publicité ciblée. La diffusion de contenus incendiaires – notamment de contenus qui incitent à la haine ou constituent une incitation à la violence, à l’hostilité et à la discrimination – représente un moyen très efficace de retenir les gens le plus longtemps possible sur la plateforme. Ainsi, la promotion et l’amplification de ce type de contenu sont essentielles pour le modèle économique de Facebook qui est basé sur la surveillance.
Dans les mois et les années qui ont précédé la répression, Facebook était devenu au Myanmar une caisse de résonance pour les contenus anti-Rohingyas. Des éléments liés à l’armée myanmar et à des organisations bouddhistes nationalistes radicales ont inondé la plateforme de contenus anti-musulmans, publiant de la désinformation affirmant qu’une prise de pouvoir des musulmans était imminente et qualifiant les Rohingyas d’« envahisseurs ».
Le rapport montre de façon détaillée que l’entreprise Meta s’est de façon répétée abstenue d’exercer la diligence requise en matière de droits humains pour ses opérations au Myanmar alors même qu’elle était tenue de le faire au titre des normes internationales.
Des études internes datant de 2012 indiquent pourtant que Meta savait que ses algorithmes pouvaient engendrer de graves dommages dans le monde réel. En 2016, les propres recherches de Meta l’ont amenée à reconnaître clairement que « [ses] systèmes de recommandation ont accru le problème » de l’extrémisme.
Dans un document interne datant d’août 2019, un membre du personnel de Meta a écrit : « Nous avons la preuve, apportée par diverses sources, que les discours de haine, les discours politiques clivants et la désinformation sur Facebook […] nuisent à la société partout dans le monde. Nous disposons aussi de preuves irréfutables montrant que les éléments de base du fonctionnement de notre produit, tels que la viralité, les recommandations et l’optimisation de l’engagement, contribuent de façon considérable à la propagation de ce type de discours sur la plateforme. »
« Il est absolument indispensable que Meta procède à une vaste réforme de ses systèmes d’algorithmes afin d’empêcher des abus et d’améliorer la transparence, faute de quoi le drame qui lie Meta et les Rohingyas risque de se reproduire ailleurs dans le monde, en particulier là où couvent des violences ethniques. »
« Pour finir, les États doivent à présent contribuer à protéger les droits humains en adoptant et en appliquant une législation permettant de contrôler efficacement, dans l’ensemble du secteur de la technologie, les modèles économiques basés sur la surveillance. Les géants de la technologie se sont montrés incapables de le faire quand pour eux d’énormes profits sont en jeu. »