Dossier technique complet
Tout ce que le banc d'essai a mesuré, y compris ce qui ne nous avantage pas, publié sans retrait ni adoucissement. Les surfaces de vente présentent le résultat ; cette page présente la mesure.
Verdict de l'artefact de banc, publié avant tout détail favorable
critère O5C'est le statut que notre propre banc d'essai attribue à cette campagne de mesure. Il consigne que 2 des cibles internes que nous nous étions fixées ne sont pas atteintes : O1_MARGE_BASELINE_F1, O2_MARGE_BASELINE_RAPPEL. Nous le publions ici plutôt que de le laisser découvrir dans le fichier.
Ce verdict porte sur l'atteinte de nos objectifs internes, pas sur le fonctionnement du moteur. La position face à l'état de l'art, elle, est tenue et mesurée — voir la cible O4 ci-dessous.
Comparaison chiffrée, systèmes nommés
Splink v4.0.16 · convention stricte| système | point de fonctionnement | précision | rappel | F1 |
|---|---|---|---|---|
| moteur_maison | point_2_budget_de_revue_egal |
0,913 | 0,926 | 0,919 |
| splink_4_0_16 | point_1_a_priori_declare |
0,932 | 0,915 | 0,924 |
| splink_4_0_16comparateur retenu pour l'écart | SENS_3_cp_avec_niveau_departement |
0,951 | 0,923 | 0,936 |
| B4_concordance_3_sur_8 | point_2_budget_de_revue_egal |
0,936 | 0,753 | 0,834 |
Qualificatif gelé avant mesure, cité verbatim : « a parite, a la resolution pres (|ecart| = 0.0169, seuil de discernabilite 0.02) ».
Règle du comparateur, gelée avant mesure : argmax du F1 bout en bout sur TOUTES les cellules Splink de l'univers commun, sensibilites declarees comprises : la comparaison la plus DURE pour le moteur, choisie en aveugle
Nos cibles internes, et leur verdict
O1 — marge de F1 sur la meilleure baseline.
Cible fixée à 15 points, mesuré
+8,5 points
(F1 0,919 pour le moteur
contre 0,834 pour B4_concordance_3_sur_8/point_2_budget_de_revue_egal).
Énoncé pré-enregistré, verbatim : Cible O-P1 (marge F1) NON ATTEINTE : ecart signe 0.0850580911930604 face a B4_concordance_3_sur_8/point_2_budget_de_revue_egal, en deca des 0.15 vises. SUR CETTE DONNEE, LA MACHINERIE FELLEGI-SUNTER NE PAIE PAS SON COUT FACE A UNE REGLE SIMPLE. C'est un resultat de mesure, publie tel quel : ce n'est pas un defaut du moteur a corriger, pas une insuffisance de la fixture, pas un reglage a reprendre. Aucune modification du moteur, des seuils, du blocking ou de la donnee n'est demandee ni suggeree par ce constat.
O2 — marge de rappel sur la meilleure baseline.
Cible fixée à 30 points, mesuré
+2,6 points
(rappel 0,926 pour le moteur
contre 0,900 pour B4_concordance_3_sur_8/point_1_a_priori_declare).
Énoncé pré-enregistré, verbatim : Cible O-P1 (marge rappel) NON ATTEINTE : ecart signe 0.02583025830258301 face a B4_concordance_3_sur_8/point_1_a_priori_declare. SUR CETTE DONNEE, LE MOTEUR NE RATTRAPE PAS SIGNIFICATIVEMENT PLUS DE VRAIES PAIRES QU'UNE REGLE SIMPLE. Publie tel quel. Si la cause est structurelle (plafond de rappel du blocking partage, 9 vraies paires perdues pour tous), elle est nommee et chiffree dans la meme phrase, mais elle n'excuse rien : le chiffre publie reste le chiffre bout en bout.
O4 — position face à l'état de l'art.
Cible fixée à −5 points, mesuré
−1,7 points
(F1 0,919 pour le moteur
contre 0,936 pour splink_4_0_16/SENS_3_cp_avec_niveau_departement).
Énoncé pré-enregistré, verbatim : Cible O-P1 (credibilite face a Splink) ATTEINTE : ecart signe -0.016915668601061973 (McNemar p = 0.052478790283203125). Le moteur se tient dans la tolerance que la these s'etait donnee. Formulation exacte et pas davantage : sur cette fixture, dans cette cellule, contre un Splink configure selon sa documentation et non regle par un expert, le moteur est a parite, a la resolution pres (|ecart| = 0.0169, seuil de discernabilite 0.02). Si l'ecart est sous la resolution, la phrase publiee est « a parite, a la resolution pres » : un ecart favorable trop petit n'est pas transforme en victoire.
Plafond de la revue de zone grise par IA
Sur 301 paires en zone grise, 6 sont de vraies paires. Chaque paire restituée vaudrait 0,0037 de rappel. Sur 300 paires instruites, le delta mesuré vaut 0,0 en rappel et 0,0 en F1.
C'est le seul apport de l'IA que ce build mesure, et il est publié tel quel. La distinction est obligatoire et n'est pas gommée — texte de l'artefact, cité verbatim :
C'est PRECISEMENT le cas ici : 300 paires tentees, 0 adjugee. Le verdict CONTRIBUTION_NULLE doit donc etre lu comme << la chaine de revue n'a rien produit sur cette population >>, et NON comme << un adjudicateur a examine la zone grise et n'y a rien trouve >>. La seconde lecture serait fausse et le present bloc existe pour l'empecher.
Asymétries déclarées de la comparaison
12 déclarées- nous avantage A1_univers_candidat_maison — dans le bras A, l'ensemble candidat est celui du blocking maison ; Splink y perd les 373 paires que son propre blocking voit en plus Parade : le bras B, obligatoire, lui rend son terrainle chiffre de 373 inscrit dans le texte GELE provient de la reconnaissance en aveugle, qui reimplementait la cle de prefixe en SQL ; la mesure definitive, qui appelle la fonction du moteur, donne un ecart different. Le texte gele n'est PAS reecrit : l'ecart est publie ici (cf. limites).
- indéterminé A2_normalisation_maison — tous les systemes recoivent la normalisation FR ecrite pour le moteur Parade : SENS_1 chiffre Splink sur donnees brutes
- avantage Splink A3_abstention_du_moteur — le moteur peut s'abstenir (3 zones) ; sous la convention stricte ses abstentions comptent comme predit-NEGATIF et penalisent son rappel, la ou un systeme binaire ne paie aucune abstention Parade : SENS_6 rejoue les trois systemes en arbitrage force, couverture 1,0 partout
- avantage Splink A4_seuil_oracle_aux_concurrents — un point a seuil oracle - le meilleur seuil connaissant la verite - est accorde aux concurrents et JAMAIS au moteur Parade : aucune : l'asymetrie est deliberee et joue contre le moteur
- nous avantage A5_auteur_du_banc — le banc est ecrit par l'auteur du moteur : la configuration Splink a recu moins d'attention experte que le moteur, et le nombre d'essais de configuration anterieurs est declare dans l'artefact Parade : L7 exige les constructeurs par defaut de la bibliotheque partout ou leurs niveaux sont entrainables, et la publication verbatim des settings, contestables ligne a ligne
- indéterminé A6_donnee_du_meme_projet — FX_001 V1.2 est produite par le meme projet que le moteur, quoique par une surface distincte et AVEUGLE au resultat Parade : declaree ; le banc ne peut pas la lever, et aucune conclusion ne porte au-dela de cette fixture
- indéterminé A7_f1_pairwise_pessimiste — le F1 pairwise ne compte pas la recuperation par transitivite (unite U-B4, hors perimetre) ; il est pessimiste pour TOUT systeme evalue en chaine complete, moteur compris Parade : declaree ; aucune correction n'est appliquee, aucune n'est estimee
- symétrique A8_em_non_supervise_des_deux_cotes — le moteur et Splink estiment tous deux m/u par EM non supervise Parade : aucune requise
- avantage les baselines A9_baselines_normalisees — les baselines beneficient de la normalisation FR du moteur Parade : concession deliberee : elle rend les baselines plus fortes, donc la cible plus dure
- nous avantage A10_budget_de_revue_maison — le budget de revue de 300 paires est celui qu'a retenu le moteur ; il est offert a Splink mais n'a pas ete choisi avec lui Parade : declare ; le point 1 de chaque systeme est independant de ce budget
- nous avantage A11_splink_sans_expert — Splink est configure selon sa documentation, non regle par un praticien experimente ; tout enonce de comparaison est borne a cette configuration Parade : la formulation du verdict O4 le dit explicitement, dans la phrase elle-meme
- indéterminé A12_une_seule_fixture — un seul jeu de donnees, une seule execution du protocole Parade : declaree ; aucune generalisation n'est publiee
Réserves méthodologiques, publiées intégralement
- Le F1 publie est PAIRWISE : la recuperation par cloture transitive releve de l'unite U-B4 et n'est pas comptee. La reserve vaut pour TOUS les systemes, pas seulement pour le moteur.
- Une seule fixture, une seule execution du protocole. Aucune generalisation hors de FX_001 V1.2 n'est publiee.
- Splink est configure selon sa documentation, non regle par un praticien experimente. Tout enonce de comparaison est borne a cette configuration, publiee verbatim pour etre contestee.
- Le banc mesure une DIFFERENCE ; il ne l'attribue pas. Il ne dit pas d'ou vient l'ecart, ni qu'il tiendrait sur une autre donnee.
- Le retrait de SDX_NOM (O0a) est un parametre choisi APRES lecture d'une information de verite terrain mesuree en U-B5. C'est un acte d'architecture, son effet sur le rappel de blocking est nul et verifie, et il joue en faveur du moteur maison en retirant des faux positifs offerts a la decision.
- Le texte GELE de l'asymetrie A1 cite « 373 paires » ; la mesure definitive donne un autre chiffre (publie dans asymetries_declarees). Le pre-enregistrement interdit de reecrire un critere apres coup : le texte est CONSERVE et l'ecart est declare ici. C'est le dispositif qui fonctionne, pas une negligence.
- Position assumée — nous ne sommes pas supérieurs à l'état de l'art, et nous ne le prétendons pas. La valeur est ailleurs : souveraineté, transparence, et une décision qui se relit.
Point de fonctionnement : Tμ = 2,650, Tλ = −2,682, zone grise 301 paires pour un budget visé de 300, dimensionné sur 5 932 paires notées. Statut du point : PROVISOIRE (calibration différée).