Que valent les outils de reconnaissance faciale pour la veille image ou l’investigation ?

Céline Boileau
Bases no
414
publié en
2023.05
3988
Acheter ce no
Tags
OSINT | fact checking | due diligence
Que valent les outils de reconnaissance faciale pour la ... Image 1

À côté des outils de reconnaissance faciale payants créés par Clearview, Thales ou Amazon, des moteurs de recherche faciale sont accessibles gratuitement sur le web, et à tout public. Mais que peut-on en tirer dans un contexte de recherche et de veille professionnelle ?

On pourrait penser que la reconnaissance faciale n’est rien d’autre que de la recherche d’image inversée, consacrée aux visages. Il existe d’ailleurs une option « Face » dans Google Images. Mais à la lecture des résultats, on comprend que l’outil n’a vraisemblablement pas été conçu pour prendre en charge la reconnaissance faciale individuelle.


Surtout, il s’agit de deux technologies différentes, aux usages différents :
  • La recherche d’image inversée utilise un algorithme de recherche d’image permettant de comparer une image uploadée sur un moteur de recherche à celles qui sont disponibles publiquement sur internet. Elle est donc utilisée pour trouver la source d’une image et/ou en vérifier l’authenticité, ce qui permet à un professionnel de l’information de vérifier la source et la fiabilité d’une information. Appliquée à une personne en l’absence de données d’identification, cette recherche nécessite de se fier à la légende de la photo, si légende il y a, pour identifier la personne.
  • La reconnaissance faciale utilise elle aussi des algorithmes de recherche, mais également des données biométriques (écartement des yeux, couleur de peau, etc.). Les photos auxquelles l’image source est comparée peuvent provenir du web ouvert (sites d’actualités, de mariages, blogs, etc.), mais aussi, en théorie, de bases de données. Contrairement à la recherche inversée, ce sont des visages identifiés par l’IA de l’outil qui remontent dans les résultats de recherche.

Au-delà de la comparaison d’images, la reconnaissance faciale permet ainsi d’identifier une personne en recherchant à partir de n’importe quelle image… similaire ou non, ou même des images prises à des années d’intervalle.

C’est pourquoi elle est aujourd’hui très prisée pour identifier des personnes dans des domaines tels que la sécurité (lutte contre la fraude), la biométrie (accès biométriques) ou la publicité (e-réputation). Elle soulève toutefois des questions en matière de protection de la vie privée et de la sécurité des données personnelles, raison pour laquelle son utilisation est réglementée en Europe, et même interdite dans certaines villes américaines.

Dans ce contexte, la reconnaissance faciale peut-elle profiter à un professionnel de la veille ? Pour répondre à cette question, nous avons exploré cinq outils gratuits ou à faible budget, que l’on a classés en trois usages.

● Pimeyes (35 €/mois) ;

● Pictrieve ;

● Betaface (50 images gratuites/jour) ;

● FaceCheck.ID (gratuit) ;

● Search4faces (gratuit).

Pour protéger son image (veille e-réputation)

Dans le cadre d’une veille e-réputation d’un dirigeant, il est judicieux de procéder à une recherche pour vérifier qu’il n’y ait pas eu d’atteinte à son droit à l’image, qu’il s’agisse d’une simple utilisation sur un site sans autorisation ou d’une campagne de désinformation.

Dans ce cas, il est possible de procéder à une simple recherche à partir d’une image dans les cinq moteurs de recherche faciale : on charge une photo (le résultat) dans le moteur de recherche, qui lancera une recherche de correspondances sur le web uniquement (Pimeyes) ou sur les médias sociaux et les plateformes vidéo également (notamment LinkedIn, YouTube et Clubhouse pour FaceCheck.ID, Clubhouse ou les profils TikTok pour Search4faces).

La plupart de ces recherches sont anonymisées (en théorie) et il n’est pas nécessaire de s’inscrire pour effectuer une recherche et visualiser les résultats. Seule la société Pimeyes, basée en Pologne, mais fondée et dirigée par un universitaire géorgien, Giorgi Gobronidze, fait payer l’accès à l’identification des visages (dans la version gratuite, les résultats apparaissant sous forme de photos des visages uniquement, sans autre précision comme les noms ou la provenance de ces photos). C’est l’outil dont les résultats obtenus sont de loin les meilleurs (cf. Figure 1).

Figure 1. Les résultats de PimEyes : tous ces visages, sauf les deux derniers, appartiennent bien à la même personne, l’auteure de ces lignes.

C’est le seul outil à être conçu spécifiquement pour surveiller l’image d’une personne en ligne et qui propose donc de créer des alertes, afin d’être averti lorsqu’une photo ressemblante est mise en ligne sur Internet (trois alertes pour 35€/mois). Pour 92 €/mois, le site envoie même des réclamations automatiques.

Pour vérifier une identité

À première vue, FaceCheck.ID permet de confirmer gratuitement la véracité d’une information concernant une personne (par exemple la participation à un événement) ou même, ce qui arrive souvent en veille, de vérifier l’identité d’un homonyme.

D’autant que FaceCheck.ID, développé et lancé en septembre dernier par une entreprise indonésienne, Sentient Labs, se présente comme un outil de Due Diligence.

Le site met même en avant une « base de données » de criminels (inaccessible en Europe). Il s’agit en fait de photos collectées et diffusées sur des sites comme le site américain de « scammers » (auteurs d’arnaques sur les sites de rencontres en ligne) - www.scammerphotos.com. Son argument commercial ? Assurer la sécurité là où les gouvernements ne le font pas. On nage en pleine eau trouble !

À noter aussi que dans les cas de Pimeyes ou de FaceCheck.ID, on peut demander la suppression de son image des résultats de ces sites de reconnaissance faciale (attention cela ne supprimera pas la photo de son emplacement sur le web, mais simplement des résultats de l’outil). En théorie, l’historique de recherche n’est pas conservé non plus.

Enfin, Search4faces, créé par le moteur de recherche russe VK, recherche, lui, dans quatre bases de données, en provenance de quatre médias sociaux (généralement il ne s’agit que des photos des profils) : VKontakte, Odnoklassniki, TikTok (de mars à septembre 2021) et Clubhouse. Le moteur n’a toutefois pas retrouvé notre profil alors que nous lui avons demandé une photo identique, et les résultats étaient très loin d’être approchants. Il a même été capable de confondre une femme blanche… avec un homme noir.

Pour identifier les données biométriques d’une personne (âge, genre, ethnicité…)

Au-delà de la comparaison avec d’autres images, le seul outil à réellement identifier des personnes à l’aide des données biométriques de façon explicite est Betaface.

Après chargement d’une photo, l’outil indique de nombreuses caractéristiques avec leur pourcentage de fiabilité : couleur de la peau, sexe, grosseur du nez, taux d’attractivité (!), niveau de maquillage, etc.

Toutefois, il prend une femme de 45 ans pour un homme de 22 ans. Cette même femme, très maquillée, est ensuite bien identifiée comme une femme, mais de 29 ans, et la grosseur de son nez est passé de « gros » à « fin » ! Il s’agissait pourtant du même nez.

Figure 2 : un exemple de résultats donné par Betaface.

NOTRE AVIS :

Argumentaires commerciaux peu crédibles, éthique et droit à la vie privée non respectés, utiliser ces outils dans un cadre professionnel, c’est risquer l’illégalité. Même en OSINT/Forensics, les services de police en Europe n’ont pas le droit de les utiliser pour vérifier une identité, sous peine de voir leur enquête écartée.

Du côté des outils, après l’amende de Clearview et l’interdiction par certains pays d’utiliser les données, c’est au tour de PimEyes de faire l’objet de soupçons au Parlement européen.

D’ailleurs, retrouver les propriétaires et développeurs de ces solutions n’a pas été simple ! Soit ils ne figurent pas clairement dans les mentions légales, soit ils sont absents du WHOIS (le service identifiant les propriétaires des noms de domaines), soit les entreprises ont des noms et des implantations qui prêtent à confusion.

Enfin, les résultats ne sont pas si probants. Entre correspondances noyées dans une foule de visages, le risque de se tromper par des ressemblances hasardeuses et le nombre d’erreurs, c’est comme faire une recherche sur un Google qui aurait 2 % de réussite ! Pas sûr que le jeu en vaille la chandelle…