Évaluer la pertinence d’un matching candidat-offre avec un jeu de cas annotés

Un outil classe des profils en fonction d’une mission. Les premiers résultats semblent cohérents, mais cette impression ne permet pas de savoir ce qu’il manque, ce qu’il surinterprète ou ce qui change lorsque le descriptif devient plus précis. Pour évaluer un matching candidat-offre, il faut comparer ses résultats à des cas documentés, avec des règles d’annotation définies avant de regarder le classement.

Le test proposé évalue une aide à la lecture et à la priorisation, pas la capacité à prédire une embauche réussie. Les profils, missions et chiffres utilisés ici sont fictifs. La méthode peut servir à une équipe RH, un cabinet, une ESN ou un recruteur indépendant qui souhaite tester un outil ou comprendre un changement de paramétrage.

Définir la question que le matching doit aider à résoudre

« Trouver le meilleur candidat » est une consigne trop large pour un test. Préférez une tâche observable : retrouver des profils qui justifient une qualification complémentaire pour un poste donné, ou rapprocher des expériences pertinentes malgré des intitulés différents. Le résultat attendu devient alors un ensemble de propositions à examiner, accompagné de limites connues.

Définissez aussi ce que le système ne doit pas déduire. Une proximité de compétences ne confirme ni l’intérêt pour le poste ni la disponibilité actuelle. Un CV ne suffit pas toujours à établir le niveau de maîtrise d’une compétence. Si l’outil utilise uniquement ce document, votre évaluation ne doit pas lui attribuer des connaissances qu’il n’a pas.

L’analyse du poste décrite par l’OPM relie tâches, compétences et exigences. Cette logique aide à construire le référentiel du test. La méthode ci-dessous est une proposition pratique de calibration ; elle ne constitue pas une validation psychométrique ou une démonstration de conformité juridique.

Transformer le poste en critères observables

Décrivez quelques activités décisives et les preuves qui permettraient de les examiner. « Bon communicant » reste difficile à annoter. « A présenté des arbitrages techniques à des interlocuteurs métier » permet de chercher une expérience correspondante, tout en conservant le besoin d’en discuter. Séparez les exigences réellement nécessaires des préférences et des informations à confirmer.

Pour chaque critère, précisez le niveau de preuve attendu. Un mot cité dans une liste de compétences n’équivaut pas à une réalisation contextualisée. Une expérience transférable peut être pertinente même si elle n’emploie pas le vocabulaire exact du poste. L’annotation doit rendre ces différences visibles au lieu de les cacher dans un score global.

Utilisez le même descriptif pour tous les profils d’un tour de test. Si vous le modifiez, enregistrez une nouvelle version. Sans cela, un changement de classement peut être attribué à l’outil alors qu’il vient d’une nouvelle formulation du besoin. Le guide pour transformer la fiche de poste en critères de sourcing complète ce travail préparatoire.

Construire des paires candidat-poste représentatives

L’unité du test est une paire : un profil associé à une mission. Le même profil peut être pertinent pour une mission et insuffisamment documenté pour une autre. Il ne reçoit donc pas une note universelle. Préparez des cas faciles, des cas limites et des cas qui risquent de tromper une recherche fondée sur les mots.

Incluez par exemple un profil utilisant un synonyme métier, un parcours transférable, une compétence seulement citée, une expérience ancienne et un document incomplet. Ajoutez des cas réellement non pertinents pour éviter un corpus où presque tout devrait remonter. Ne fabriquez pas uniquement les exemples qui mettent en valeur les fonctions que vous souhaitez acheter.

Les documents fictifs doivent rester cohérents : expériences crédibles, dates compatibles et descriptions suffisamment détaillées. Un CV constitué de « entreprise 1 » et « compétence A » peut tester le traitement d’un fichier, mais très mal représenter une comparaison sémantique. Signalez clairement leur caractère fictif et ne les mélangez pas aux personnes réellement contactables dans votre base.

Annoter les cas avant de consulter le classement

Deux personnes connaissant le besoin peuvent examiner séparément les mêmes paires, sans voir le score de l’outil. Elles choisissent une catégorie et citent les preuves. Lorsque deux évaluateurs ne sont pas disponibles, faites une première annotation, puis une seconde lecture différée en conservant les critères. Cette solution est moins indépendante ; notez cette limite.

La catégorie « non prioritaire » ne vaut pas jugement global sur la personne. Elle répond à une tâche et à un état des informations. Si les exigences du poste changent, l’annotation peut changer. Conservez donc le contexte avec chaque étiquette, notamment la version du descriptif et la date de lecture.

Lors d’un désaccord, ne votez pas immédiatement pour produire un chiffre propre. Vérifiez si le critère est flou, si les deux personnes ont utilisé des sources différentes ou si l’information est réellement ambiguë. Une catégorie « à clarifier » peut être la conclusion correcte. Le désaccord révèle parfois un problème du besoin plutôt qu’un défaut de l’outil.

Exécuter le test dans des conditions comparables

Notez la version du descriptif, le jeu de profils, les filtres, le nombre de résultats demandé et les paramètres accessibles. Utilisez le même périmètre pour comparer deux configurations. Conservez le classement et les explications disponibles. Une capture seule peut être insuffisante si elle ne montre pas les filtres appliqués ou la date de l’essai.

Ne modifiez pas les annotations de référence pour les aligner sur le résultat. Si l’outil révèle une erreur dans votre lecture, corrigez-la en conservant la raison et rejouez le test concerné. L’objectif n’est pas de défendre une vérité initiale immuable, mais de rendre les ajustements explicables.

Pour un système dont les résultats varient, répétez quelques cas avec les mêmes entrées et documentez cette variation. Un changement d’ordre mineur n’a pas forcément la même conséquence qu’un profil pertinent qui disparaît. Choisissez les vérifications en fonction de l’usage réel : les cinq premiers résultats examinés, une liste complète ou une recherche exploratoire.

Lire un exemple chiffré sans masquer les inconnues

Prenons un jeu fictif de vingt-quatre paires. Les relecteurs identifient huit cas à examiner en priorité, douze non prioritaires pour le besoin et quatre à clarifier. L’outil propose dix résultats : six prioritaires, deux non prioritaires et deux à clarifier. Ce résultat ne peut pas être résumé honnêtement par un unique taux de précision sans annoncer le traitement des cas incertains.

Ces nombres décrivent uniquement ce corpus inventé. Ils ne prédisent pas la performance sur toute une base, encore moins la réussite professionnelle des personnes. Le quatrième ratio serait trompeur s’il était présenté sans mentionner les cas exclus. Garder les effectifs et catégories visibles vaut mieux qu’afficher une décimale supplémentaire.

Examinez ensuite les erreurs une par une. Les deux cas prioritaires manqués utilisent-ils un vocabulaire différent ? Les deux non prioritaires ont-ils beaucoup de mots communs avec le poste ? Les incertitudes portent-elles sur une information absente du CV ? Cette lecture conduit à des améliorations concrètes : précision du besoin, correction des données ou changement de parcours de vérification.

Relier le test aux fonctions réellement proposées dans Oxaibo

Dans Oxaibo, les suggestions de profils similaires à un vivier explorent des profils déjà présents dans le même espace et disposant des informations nécessaires à cette recherche. Le recruteur peut partir d’un vivier cohérent, examiner les profils proposés, puis vérifier leur intérêt pour la mission au moyen des critères définis plus haut.

La limite est essentielle : la ressemblance avec un vivier n’est pas un matching candidat-offre validé. Ce parcours ne démontre ni recherche exhaustive sur le Web, ni disponibilité, ni adéquation à toutes les contraintes du poste. Le test doit porter sur la fonction réellement utilisée : « Ces suggestions m’aident-elles à découvrir des profils pertinents dans ma base ? »

La création assistée de mission prévue dans le produit peut également préparer un descriptif structuré à partir d’un texte. Le recruteur relit les activités et compétences avant de les utiliser comme référence. Ces capacités ont été vérifiées dans le code, avec disponibilité à confirmer dans votre espace ; elles n’éliminent pas le travail de définition des exigences ni l’annotation humaine.

Fixer une décision de recette adaptée à votre usage

Avant le test final, décidez ce qui empêcherait l’utilisation du parcours : erreurs systématiques sur un critère essentiel, impossibilité de retrouver les sources ou omissions inexpliquées sur les cas témoins. Définissez aussi les limites acceptables si une relecture reste prévue. Un seuil universel de score n’a pas de sens lorsque les tâches, populations et coûts d’erreur diffèrent.

Le compte rendu peut tenir en une page : objectif, corpus, règles d’annotation, résultats, erreurs majeures, limites et décision. Une conclusion utile serait « utilisable pour élargir la lecture avec vérification manuelle des contraintes », plutôt que « matching fiable à 90 % ». La première décrit une condition d’usage ; la seconde masque souvent ce qui a réellement été testé.

Pour préparer la suite, reliez les résultats à une shortlist argumentée. Chaque profil retenu doit être accompagné de preuves et de points à vérifier. Le guide sur les limites du score de matching complète cette distinction entre classement et décision.

Questions fréquentes

Combien de cas faut-il préparer ?

Il n’existe pas de minimum universel garantissant la validité. Commencez avec un jeu couvrant les situations importantes, puis enrichissez-le avec les erreurs observées. Un petit corpus sert à une recette exploratoire ; il ne suffit pas à revendiquer une performance générale ou une absence de biais.

Les recrutements passés constituent-ils une vérité de référence ?

Non. Ils reflètent des décisions et des informations disponibles à l’époque, avec leurs limites. Une personne non recrutée n’était pas nécessairement inadaptée. Pour ce test, privilégiez des preuves explicites relatives au poste et documentez les incertitudes.

Peut-on utiliser le score pour éliminer automatiquement ?

Ce protocole ne justifie pas une telle utilisation. Il teste une aide à l’examen de profils, avec intervention humaine et analyse des informations manquantes. Toute utilisation plus décisive exige une évaluation spécifique du système, de ses conséquences et du cadre applicable.