Mesurer le temps gagné avec l’IA sans se raconter d’histoires

En juillet 2025, l’organisation de recherche METR a publié les résultats d’un essai contrôlé randomisé mené auprès de seize développeurs expérimentés sur 246 tâches réelles, dans des dépôts qu’ils connaissaient depuis cinq ans en moyenne. Avant de commencer, ils estimaient que l’accès aux outils d’IA réduirait leur temps de 24 pour cent. Après coup, ils pensaient encore avoir gagné 20 pour cent. La mesure, elle, indique qu’ils ont mis 19 pour cent de temps en plus, comme le détaille le compte rendu de l’étude.

Mesurer le temps gagné avec l’IA suppose donc d’accepter un fait désagréable : la perception des personnes concernées, y compris compétentes et de bonne foi, peut se tromper de signe. Ce n’est pas une raison pour renoncer aux outils. C’est une raison pour arrêter de se fier aux impressions.

Fermer ×

L’essai contrôlé de METR, la seule mesure sérieuse qui contredit le ressenti des participants.

Pourquoi l’impression de rapidité trompe autant

Un outil produit une première version en quelques secondes. Cette seconde-là est visible, spectaculaire, et elle s’imprime dans la mémoire. Le quart d’heure de relecture qui suit ne s’imprime pas du tout, parce qu’il ressemble au travail habituel.

L’étude METR ne dit pas que l’IA ralentit tout le monde. Elle porte sur des professionnels très expérimentés travaillant sur du code qu’ils maîtrisaient déjà. Le résultat inverse existe aussi. Une étude menée par Erik Brynjolfsson, Danielle Li et Lindsey Raymond auprès de 5 179 agents de support client montre une hausse de 14 pour cent du nombre de dossiers résolus par heure, avec 34 pour cent d’amélioration chez les personnes débutantes et un effet faible chez les plus expérimentées. Le résumé est disponible sur la page du document de travail du NBER.

Ces deux résultats ne se contredisent pas. Ils disent la même chose sous deux angles : l’écart de gain dépend moins de l’outil que de la personne, de la tâche et du niveau de départ. Voilà pourquoi une moyenne trouvée dans un article de presse ne vous apprend rien sur votre garage, votre cabinet ou votre agence.

Comptez la tâche entière, pas la génération

Notez le temps passé avant l’outil, pendant son utilisation et après. La préparation des données, la formulation de la demande, les tentatives supplémentaires, la vérification des informations et la remise au bon format comptent toutes.

Comparez des cas de difficulté proche. Un document très simple ne représente pas la semaine habituelle, et c’est précisément celui que l’on choisit spontanément pour faire une démonstration. Prenez plutôt les trois derniers cas réels traités, quels qu’ils soient.

Gardez une trace des cas où l’outil n’a pas aidé. Dans un cabinet de courtage, la comparaison de deux conditions générales peut très bien marcher sur un contrat standard et échouer sur un avenant particulier. Ce n’est pas un échec du projet, c’est la frontière de l’usage, et elle doit être écrite noir sur blanc dans la procédure.

Un exemple de calcul, pas une promesse

Prenons une tâche qui demande habituellement 40 minutes. Avec l’outil, la préparation prend 5 minutes, la production 3 minutes et la relecture 12 minutes. Le total est de 20 minutes, soit 20 minutes économisées sur ce cas précis.

Si la tâche revient huit fois dans le mois, cela représente 160 minutes, à condition que les autres cas restent comparables. Ces chiffres sont un exemple de calcul, pas un résultat obtenu chez un client de Smartia.

Le piège classique consiste à extrapoler ce calcul sur douze mois et à le présenter comme une économie. Deux corrections s’imposent. La première tient au taux d’adoption : si trois personnes sur huit utilisent réellement l’outil, multipliez par trois, pas par huit. La seconde tient à la dégradation dans le temps : un scénario qui n’est pas entretenu perd en fiabilité, et les corrections reviennent sans que personne ne les recompte.

Ajoutez le coût de fonctionnement au calcul

Le temps gagné doit être mis en regard de l’abonnement, du paramétrage et de l’accompagnement des personnes. Le temps passé à maintenir une procédure ou à corriger un automatisme fait partie du coût, et il est presque toujours oublié dans les premiers bilans.

Distinguez aussi les natures d’effet. Toutes les minutes récupérées ne deviennent pas une économie financière. Elles peuvent permettre de répondre plus vite à un client, de réduire une surcharge en fin de mois, ou de traiter une tâche laissée de côté depuis deux ans. Ce sont trois résultats différents, et ils ne se présentent pas de la même façon à un associé ou à une banque.

Une ligne suffit souvent à clarifier le débat : combien de devis supplémentaires avez-vous envoyés ce trimestre, combien de relances avez-vous enfin faites, combien d’heures de week-end n’avez-vous pas travaillées. Ces chiffres-là ne sont pas des indicateurs de productivité au sens strict, mais ce sont ceux que vous retiendrez.

Vérifiez que l’usage dure, trois mois plus tard

Refaites le point après quelques semaines, puis après un trimestre. L’équipe utilise-t-elle encore l’outil. Le résultat reste-t-il fiable. Le processus a-t-il changé entre-temps, rendant la mesure initiale caduque.

Un tableau très simple suffit : la tâche, le nombre de réalisations, le temps avant, le temps après, les corrections nécessaires et un commentaire libre de la personne concernée. Il n’est pas utile de construire un dispositif de suivi plus lourd que le travail que vous voulez améliorer. Un carnet tenu trois semaines bat un tableau de bord que personne n’ouvre.

Deux signaux d’alerte méritent attention. Quand la colonne des corrections gonfle sans que personne ne s’en inquiète, l’usage est en train de se dégrader. Quand une seule personne remplit le tableau, l’usage n’a jamais vraiment quitté son poste de travail.

C’est la raison pour laquelle un accompagnement dans la durée a du sens une fois les premiers usages installés : il maintient la mesure vivante et arbitre au bon moment. L’offre Continuer de Smartia fonctionne sur ce principe, à 1 950 euros hors taxes par mois pour quinze heures, décrite sur la page Continuer.

Ce que vous pouvez faire cette semaine

Choisissez une tâche déjà outillée chez vous et demandez à la personne qui la réalise de chronométrer ses cinq prochaines exécutions, en trois colonnes : préparation, production, relecture. Ne lui demandez pas son impression, demandez-lui ses minutes. Comparez ensuite le total avec ce qu’elle vous aurait répondu de mémoire. Cet écart est l’information la plus utile que vous obtiendrez ce mois-ci.