Collecte en sources ouvertes : ce que l'échelle change vraiment

Une précision avant de commencer : je ne suis pas analyste en sources ouvertes. Je construis les chaînes de collecte que ces analystes utilisent — l'infrastructure, pas l'enquête.

Ce qui suit vient d'un pipeline qui a tourné six mois en production sur des données publiques d'entreprises françaises. Les chiffres sont ceux des journaux d'exécution. Ils intéresseront ceux qui collectent à la main et se demandent ce que l'automatisation change, et surtout ce qu'elle ne change pas.

Le volume n'est pas le problème, le tri l'est

Le registre officiel des entreprises françaises compte des millions d'établissements, accessibles gratuitement par l'API de l'INSEE ou l'Annuaire des Entreprises. Rien n'empêche de tout télécharger.

Sur ce projet, le point de départ était 2,37 millions de lignes. Le fichier livré en comptait 120 000 : cinq lignes sur cent passent le tri.

C'est le ratio qui compte, pas le volume de départ. Une collecte à l'échelle ne se juge pas à ce qu'elle ramène mais à ce qu'elle sait jeter. Le registre donne des établissements — une raison sociale, une adresse, un code d'activité. Il ne donne ni dirigeant, ni téléphone, ni email : ces éléments se retrouvent un par un, ailleurs, et c'est là que se joue tout le travail.

Les taux réels, et le plafond que personne n'annonce

Sur ce périmètre national, après enrichissement :

• 77 % de téléphones directs retrouvés
• 75 % de noms de dirigeants identifiés
• 33 % d'emails professionnels seulement

Le troisième chiffre surprend toujours, et c'est le plus utile. Trouver un email nominatif demande de visiter le site de l'entreprise. Ces sites se défendent : 362 refus de pare-feux applicatifs en 48 heures de collecte.

Ce n'est pas un défaut de méthode, c'est un plafond structurel. Chaque refus est un domaine dont on n'obtiendra rien de plus ce jour-là, et insister le perd définitivement. La règle qui en découle : une seule passe par domaine, trois pages au maximum.

Quiconque vous annonce 90 % d'emails vérifiés ne les a pas comptés.

L'écart entre une source ouverte et une source exploitable

Une donnée publique n'est pas une donnée disponible. C'est la distinction que l'échelle rend brutale.

Sur ce projet, le registre hors ligne ne donnait le nom du dirigeant que pour 4,5 % du périmètre. L'API officielle le fournit pour environ 75 % — mais une requête par entreprise, c'est 130 000 appels. En interrogeant par pages de 25, il en faut 5 500. Vingt-quatre fois moins, pour la même donnée.

Ce genre d'arbitrage ne se voit pas quand on traite trois cents lignes à la main. À 120 000, il fait la différence entre trois semaines et six mois. C'est la seule chose que l'automatisation apporte réellement : pas de la magie, une économie d'appels.

Le mur n'est pas technique, il est en adresses

Voici le contre-intuitif le plus coûteux à découvrir tard.

Le passage à l'échelle ne bute pas sur la puissance de calcul mais sur le nombre d'adresses IP disponibles. Chaque adresse supporte un budget quotidien, quel que soit le nombre de processus lancés derrière. Seize processus sur une adresse ne se partagent pas seize budgets : ils consomment le même, seize fois plus vite.

Le dimensionnement se calcule donc à l'envers de l'intuition. On part du rythme soutenable par adresse — de l'ordre de 2 000 à 5 000 lignes par jour — et on en déduit le volume atteignable dans le mois. Jamais l'inverse.

Corollaire pratique : interroger d'abord les sources ouvertes et n'appeler la source surveillée qu'en dernier recours multiplie par deux le budget quotidien utile, sans changer une ligne d'infrastructure.

Ce qui casse, et ce que ça coûte

Aucun système de collecte ne tourne à 100 %. Sur ce pipeline, quatre incidents ont compté.

Un jeton d'authentification expiré a laissé la chaîne à l'arrêt quatre jours, sans qu'aucune alerte ne parte. C'est l'incident le plus coûteux du projet, et il n'avait rien de technique : il était silencieux. De là vient la règle d'une alerte au bout de trente minutes sans progression.

Un verrou bloqué par un fil mort a coûté une dizaine d'heures. Une mémoire épuisée sur un traitement monolithique a fait perdre un lot national entier — depuis, les lots sont plafonnés et l'écriture se fait au fil de l'eau. Et les 362 refus de pare-feu plafonnent le taux d'emails, sans remède.

Un système de collecte se juge à sa capacité à redémarrer seul, pas à son débit maximal.

Le cadre, qui ne change pas avec l'échelle

Un nom, une fonction et un email professionnel sont des données personnelles au sens du RGPD, y compris lorsqu'ils sont publiquement accessibles. La CNIL a précisé le cadre de leur réutilisation à des fins de démarchage : base légale, information des personnes, droit d'opposition effectif.

Les conditions d'utilisation de la plupart des grandes plateformes interdisent par ailleurs l'extraction automatisée, quel que soit l'outil employé. Aucun service tiers ne rend conforme une pratique qui ne l'est pas : il déplace le risque.

Ce n'est pas un conseil juridique. C'est un rappel de bon sens : ces questions se traitent au moment de la conception, pas au moment de la mise en demeure.

Ce qu'il faut retenir

Collecter en sources ouvertes à l'échelle ne demande pas des outils différents. Ça demande de savoir jeter, de compter ses appels, de dimensionner en adresses plutôt qu'en processus, et d'accepter des plafonds qu'aucune méthode ne fait sauter.

Les 33 % d'emails sont le meilleur exemple : c'est le chiffre qu'on aimerait ne pas publier, et c'est celui qui dit le plus sur ce que l'exercice permet vraiment.

Cet article fait partie du Guide Complet de l'Automatisation B2B. Le projet complet, incidents compris, est détaillé dans cette étude de cas.