Hugging Face héberge 5 000 modèles IA non consensuels de personnes réelles

Hugging Face héberge 5 000 modèles IA non consensuels de personnes réelles

Hugging Face, une entreprise valorisée à plusieurs milliards de dollars et l'une des plateformes les plus utilisées pour partager des outils et ressources d'IA, héberge plus de 5 000 modèles de génération d'images conçus pour reproduire l'apparence de personnes réelles. Ces modèles étaient auparavant hébergés sur Civitai, une plateforme de partage de modèles IA utilisée pour créer du porno non consensuel, selon les rapports de 404 Media, jusqu'à ce que Civitai les interdise sous la pression des processeurs de paiement. Les utilisateurs ont téléchargé les modèles depuis Civitai et les ont réuploadés sur Hugging Face dans le cadre d'un effort communautaire concerté pour archiver les modèles après l'annonce de Civitai en mai qu'elle les interdirait. Dans cette annonce, Civitai a déclaré qu'elle accorderait aux personnes qui les avaient initialement uploadés "un court délai" avant leur suppression. Les utilisateurs de Civitai ont commencé à organiser un effort d'archivage sur Discord début mai après que Civitai a indiqué qu'elle devait modifier sa politique de contenu sous la pression des processeurs de paiement, et l'effort s'est intensifié lorsque Civitai a annoncé la nouvelle politique concernant les modèles de "personnes réelles". Au moment de la rédaction, le canal Discord compte des centaines de membres qui continuent de trouver et partager des modèles supprimés de Civitai et les réuploadent sur Hugging Face. Certains utilisateurs ont même partagé un logiciel, également hébergé sur Hugging Face, qui permet de télécharger automatiquement des modèles Civitai sur Hugging Face par lots. Hugging Face n'a pas répondu à plusieurs demandes de commentaires. Elle n'a pas non plus répondu à des questions spécifiques sur la manière dont elle compte modérer ces modèles, compte tenu du fait qu'ils étaient auparavant hébergés sur une plateforme principalement utilisée pour générer du porno IA, et que nos rapports montrent qu'ils ont été utilisés pour créer du porno non consensuel. J'ai trouvé les modèles Civitai de personnes réelles réuploadés sur Hugging Face grâce à un article que j'ai couvert où des chercheurs ont scrapé Civitai. L'article a montré que la plateforme était principalement utilisée pour du contenu pornographique, et qu'elle a supprimé au moins 50 000 modèles IA conçus pour reproduire l'apparence de personnes réelles après avoir changé sa politique en mai. Les chercheurs, Laura Wagner et Eva Cetinic de l'Université de Zurich, m'ont fourni une feuille de calcul de tous les modèles supprimés, qui incluait le nom des modèles (qui est presque toujours celui d'une célébrité féminine ou d'une personnalité internet moins connue), un lien vers leur ancien hébergement sur Civitai, et le hash SHA256 utilisé par Civitai pour identifier tous les modèles hébergés sur son site. Les personnes qui réuploadent les modèles Civitai sur Hugging Face semblent essayer de masquer leur objectif sur Hugging Face. Sur Hugging Face, ces modèles ont des noms et URL génériques comme "LORA" ou "Test model". Les utilisateurs ne peuvent pas deviner que ces modèles servent à générer l'apparence de personnes réelles en regardant leur page Hugging Face, ni les trouver en cherchant le nom de célébrités sur Hugging Face. Pour les trouver, les utilisateurs peuvent aller sur un site web séparé créé par les archivistes de Civitai. Là, ils peuvent entrer le nom d'un modèle Civitai, le lien où il était hébergé sur Civitai avant sa suppression, ou le hash SHA256 du modèle. Tout cela mène à une page qui explique ce qu'est le modèle, montre son nom, ainsi que plusieurs images montrant le type d'images qu'il peut générer. En bas de cette page se trouve un lien vers un ou plusieurs "miroirs" Hugging Face où le modèle a été réuploadé. En utilisant les données de Wagner et Cetinic et en les entrant sur ce site d'archive Civitai, j'ai pu trouver les modèles Civitai hébergés sur Hugging Face. La politique de contenu de Hugging Face interdit les "Contenus illégaux, diffamatoires, frauduleux ou intentionnellement trompeurs (par exemple, désinformation, phishing, arnaques, comportement inauthentique)", ainsi que les "Contenus sexuels utilisés pour harceler, intimider ou créés sans consentement explicite". Les modèles qui génèrent l'apparence de personnes réelles n'ont pas nécessairement à être utilisés à des fins illégales ou diffamatoires.