Menu

Japan Week Spokane

Les données du chirurgien NHS peuvent cacher des performances médiocres

« S’appuyer sur les taux de mortalité des chirurgiens individuels … peut conduire à une » fausse complaisance « », prévient le Daily Telegraph. Il rapporte sur un article dans The Lancet qui soutient que les données NHS récemment publiées sur les résultats chirurgicaux est trop limitée dans la portée pour être utile.

Les données, publiées en juin 2013 sur le site Web de NHS Choices, sont actuellement composées de taux de mortalité pour sept types de chirurgie.

L’article du Lancet souligne le fait que la plupart des chirurgiens n’effectuent pas assez de procédures individuelles chaque année pour que les taux de mortalité des patients soient une indication fiable d’une mauvaise performance. Un nombre beaucoup plus élevé de procédures par an serait nécessaire pour donner suffisamment de «pouvoir statistique» pour montrer quels chirurgiens étaient vraiment moins performants que la moyenne.

Avec seulement un petit nombre de procédures effectuées, le nombre de décès de patients par chirurgien au cours d’une année donnée peut être le résultat du hasard. En conséquence, certains chirurgiens peuvent être identifiés à tort comme sous-performants.

L’article du Lancet souligne également que le fait de se concentrer uniquement sur les taux de mortalité n’est pas particulièrement utile pour les patients. Par exemple, les chirurgies orthopédiques comme les arthroplasties de la hanche présentent un très faible risque de décès, mais les complications de la chirurgie de la hanche sont relativement fréquentes, comme le relâchement de l’articulation de remplacement, qui peut nécessiter une intervention chirurgicale supplémentaire. Ces types de résultats post-chirurgicaux devraient également avoir été inclus dans les données NHS, ils soutiennent.

Les auteurs de l’article de Lancet offrent plusieurs autres suggestions sur la façon de donner une indication plus fiable de la performance du chirurgien.

Comment améliorer la performance des chirurgiens?

Les auteurs du document de Lancet suggèrent des moyens d’augmenter le nombre de procédures analysées pour donner une meilleure indication de la performance.

Ils proposent:

regrouper les données par chirurgien sur une période plus longue qu’une année

regrouper les interventions chirurgicales dans des spécialités (comme toutes les chirurgies cardiaques chez les adultes), plutôt que d’examiner des procédures uniques

regrouper les données par hôpital plutôt que par chirurgien individuel

mesurer les résultats qui sont plus fréquents que la mort, comme les taux de complications chirurgicales ou les taux de réadmission d’urgence

Dans l’ensemble, cet article est utile tant pour les membres du public que pour les professionnels en soulignant les limites possibles de l’analyse des taux de mortalité des patients seuls après des interventions chirurgicales. Ceci, disent les auteurs, est une indication très grossière de ce qui constitue un «bon» ou un «mauvais» chirurgien.

D’où vient l’histoire?

Ce rapport a été rédigé par des chercheurs du journal médical à comité de lecture The Lancet. Le rapport n’a reçu aucun financement spécifique. Cet article a été rapporté à la fois par le Daily Telegraph et BBC News.

De quel type de recherche s’aggissait-t-il?

Les chercheurs rapportent que, à partir de Juin 2013, les taux de mortalité des patients de certaines procédures chirurgicales sont rapportés pour les chirurgiens individuels dans le cadre de la nouvelle politique du Conseil de mise en service NHS anglais. Plusieurs États américains rapportent déjà des données similaires, et les données sur la mortalité par chirurgie cardiaque (cardiaque) au Royaume-Uni ont déjà été signalées depuis plusieurs années. Le but visé est de permettre aux patients d’être mieux informés lors du choix de leur chirurgien.

Cependant, comme le soulignent les auteurs de cet article, lorsque le nombre global de certaines interventions effectuées est faible, les taux de mortalité ne sont pas nécessairement un bon indicateur de la performance globale du chirurgien. Ils disent qu’il y a un danger « que de faibles chiffres masquent une mauvaise performance et conduisent à une fausse complaisance ».

Le but de cet article était d’examiner cette question en regardant les taux de mortalité des patients pour les chirurgiens individuels pour la chirurgie cardiaque adulte, et aussi pour trois procédures spécifiques dans trois autres spécialités:

oesophagectomie ou gastrectomie pour cancer oesophagogastrique (ablation de tout ou partie de l’œsophage ou de l’estomac pour cancer de l’oesophage ou de l’estomac)

résection du cancer de l’intestin (ablation d’une partie de l’intestin pour traiter le cancer de l’intestin)

chirurgie de fracture de la hanche

Les chercheurs ont voulu répondre aux questions suivantes:

Quel nombre de procédures un chirurgien doit-il faire pour donner une indication fiable de la qualité de ses performances?

Combien de chirurgiens dans chaque spécialité effectuent ce nombre de procédures sur des périodes de un, trois ou cinq ans?

Quelle est la probabilité qu’un chirurgien identifié comme ayant un taux de mortalité élevé ait vraiment une performance médiocre?

Les chercheurs ont ensuite donné des suggestions sur la façon dont la performance du chirurgien pourrait être abordée de manière significative. Ils ont utilisé des chiffres sur le nombre de chirurgies et de décès provenant de sources nationales telles que les statistiques des hôpitaux et l’Institut national de recherche sur les résultats cardiovasculaires. En tant que tels, ils sont susceptibles de représenter les meilleurs chiffres nationaux disponibles.

Les calculs des chercheurs ont impliqué certaines hypothèses sur ce qui constituerait une mauvaise performance. Par exemple, ils ont défini un chirurgien dont les taux de mortalité par chirurgie étaient deux fois plus élevés que la moyenne nationale. Si elles l’avaient défini différemment, cela affecterait les résultats des calculs.

Combien de procédures sont nécessaires pour donner une bonne indication de performance?

Le nombre médian (moyen) de procédures cardiaques que chaque chirurgien cardiaque effectue chaque année est de 128. Pour les autres procédures spécifiques examinées, le nombre médian d’interventions effectuées par chirurgien par année est beaucoup moins:

11 oesophagectomies ou gastrectomies

neuf résections intestinales pour le cancer

31 chirurgies de fracture de la hanche

Ensuite, les chercheurs ont rapporté cela au nombre de procédures par chirurgien nécessaires pour donner le meilleur pouvoir statistique permettant d’identifier avec précision les chirurgiens peu performants.

C’est-à-dire, la probabilité qu’un chirurgien ayant une performance vraiment médiocre soit détectée comme ayant une performance significativement inférieure à la moyenne.

Plus le pouvoir statistique est élevé, plus la probabilité d’identifier les chirurgiens peu performants est élevée. Une valeur de puissance de 80% signifierait que sur 10 chirurgiens peu performants, huit seraient identifiés, alors qu’une puissance de 60% signifierait que sur dix chirurgiens peu performants, six seraient identifiés, et ainsi de suite.

De tous les patients qui subissent une chirurgie cardiaque à travers le Royaume-Uni, les données de mortalité nationales montrent que 2,7% meurent suite à la procédure. Alors que le nombre moyen de chirurgies cardiaques par chirurgien semble élevé à 128 par an, en fait:

192 chirurgies par chirurgien par an devraient être effectuées pour avoir 60% de puissance pour détecter les chirurgiens peu performants

256 procédures seraient nécessaires pour avoir 70% de puissance, et

352 chirurgies seraient nécessaires pour avoir 80% de puissance pour détecter les chirurgiens peu performants – presque trois fois plus de procédures par an que les chirurgiens cardiaques effectuent actuellement en moyenne.

Pour les autres chirurgies, les chiffres sont les suivants:

Oesophagectomies ou gastrectomie: 6,1% des personnes meurent suite à cette procédure. Plutôt que la moyenne actuelle de 11 par an par chirurgien, 79 procédures seraient nécessaires pour 60% de puissance, 109 pour 70% de puissance et 148 pour 80% de puissance.

Résections intestinales pour le cancer: 5,1% des personnes meurent suite à cette procédure. Plutôt que la moyenne actuelle de neuf par an par chirurgien, 95 procédures seraient nécessaires pour 60% de puissance, 132 pour 70% de puissance et 179 pour 80% de puissance.

Chirurgie de la fracture de la hanche: 8,4% des personnes meurent à la suite de cette intervention. Plutôt que la moyenne actuelle de 31 par an par chirurgien, 56 procédures seraient nécessaires pour 60% de puissance, 75 pour 70% de puissance et 102 pour 80% de puissance.

Dans l’ensemble, les résultats montrent que, compte tenu du petit nombre de procédures effectuées par chirurgien et par an, l’utilisation des décès annuels comme mesure de la performance manquerait de nombreux chirurgiens peu performants. Si chaque chirurgien était en mesure d’effectuer le grand nombre de procédures nécessaires pour fournir une puissance statistique adéquate, les taux de mortalité seraient alors meilleurs pour identifier les chirurgiens dont la performance est inférieure à la moyenne.

Quelle proportion de chirurgiens fait le nombre requis de procédures?

Sur la base du nombre de chirurgies pratiquées sur trois ans, 75% des chirurgiens cardiaques du Royaume-Uni appliquent des procédures suffisantes pour donner 60% de puissance pour utiliser les taux de mortalité afin d’identifier les chirurgiens peu performants. Un peu plus de la moitié (56%) effectuent suffisamment de procédures pour fournir une puissance de 80% plus fiable.

Pour la chirurgie de la hanche, les chiffres sont similaires, mais pour les autres procédures, la proportion de chirurgiens atteignant un nombre assez élevé de chirurgies est beaucoup plus faible. Sur une période de trois ans:

73% des chirurgiens pratiquent assez de ces procédures pour donner 60% de puissance à utiliser les taux de mortalité pour indiquer les chirurgiens peu performants, 62% pour 70% de puissance et un peu moins de la moitié (42%) pour 80% de puissance

pour les résections intestinales pour le cancer: 17% des chirurgiens pratiquent suffisamment de ces procédures pour donner 60% de puissance pour indiquer les chirurgiens peu performants, 4% pour donner 70% de puissance et aucun chirurgien pour effectuer 80% des chirurgies Puissance

pour les œsophagectomies ou les gastrectomies: seulement 9% des chirurgiens pratiquent suffisamment de ces procédures pour donner 60% de puissance à utiliser les taux de mortalité pour indiquer les chirurgiens peu performants, et aucun chirurgien n’effectue assez de chirurgies pour donner 70% ou 80% de puissance

Cependant, les chercheurs démontrent que la prolongation du temps d’examen des figures d’un chirurgien (pour mesurer plus de procédures) donne une meilleure puissance.

Les chiffres détaillés ci-dessus concernent des données collectées sur trois ans. Augmenter la période d’observation à cinq ans augmenterait la proportion de chirurgiens qui exécutent des procédures suffisantes pour donner les mêmes niveaux de puissance. Cependant, l’augmentation de la période d’observation signifierait qu’il faudrait plus de temps pour identifier les chirurgiens sous-performants.

Inversement, si les délais étaient réduits à un an plutôt qu’à trois, très peu de chirurgiens auraient pratiqué assez de procédures pour donner une puissance suffisante – seulement 16% des chirurgiens cardiaques ont effectué assez de procédures en une année pour atteindre 60% de puissance, 4% de chirurgiens effectuant une chirurgie de la hanche et pas de chirurgiens pour les deux autres chirurgies.

Est-ce que tous les chirurgiens identifiés comme ayant de mauvaises performances sont vraiment de mauvais résultats?

Les chercheurs soulignent également que même si un chirurgien est identifié comme un mauvais performeur en utilisant les taux de mortalité, ils peuvent ne pas avoir vraiment une mauvaise performance.

Le nombre exact identifié correctement variera en fonction du nombre de procédures qu’ils effectuent, de la médiocrité des performances et du seuil fixé pour considérer qu’une différence de performance est statistiquement significative.

Les auteurs ont estimé que si seulement un chirurgien cardiaque sur 20 avait une performance médiocre, 63% seraient correctement identifiés sur la base du nombre moyen de procédures en trois ans. Pour les autres procédures, les chiffres correspondants seraient:

62% pour la chirurgie de la fracture de la hanche

57% pour l’oesophagectomie ou la gastrectomie

38% pour la résection du cancer de l’intestin

Le reste des chirurgiens identifiés comme ayant une mauvaise performance ne tomberaient dans cette catégorie que par hasard.

Il y a aussi la possibilité que les chirurgiens expérimentés soient identifiés comme ayant de mauvaises performances. Un consultant ayant de nombreuses années d’expérience peut être plus susceptible d’opérer dans des cas à très haut risque où les patients ont de multiples problèmes de santé complexes, et ces types de chirurgie présentent un risque de mortalité beaucoup plus élevé sans faute du chirurgien.

Quels autres moyens suggèrent les auteurs pour mieux indiquer une performance médiocre?

Comme le montrent ces résultats, lorsque l’on utilise les taux de mortalité des patients, tous les chirurgiens identifiés comme ayant un taux de mortalité plus élevé ne seront pas nécessairement moins performants, et vice versa.

Les chercheurs suggèrent un certain nombre d’options pour améliorer la puissance de détection des mauvaises performances:

la mise en commun des données de décès sur une période plus longue, bien que cela signifie un retard dans l’identification des mauvaises performances

regrouper les taux de mortalité pour différentes interventions chirurgicales dans des spécialités (par exemple, toutes les chirurgies cardiaques chez l’adulte) plutôt que d’examiner des procédures uniques – bien que cela puisse masquer les différences entre les procédures

déclarer les taux de mortalité par équipe chirurgicale ou par hôpital plutôt que par chirurgien individuel

modifier le seuil auquel une différence est considérée comme statistiquement significative

Les chercheurs soulignent également que les taux de mortalité pour les types de chirurgie à faible risque de décès peuvent ne pas être particulièrement utiles lorsqu’il s’agit de choisir le patient en toute connaissance de cause. D’autres résultats post-opératoires, tels que des saignements post-opératoires, une infection ou une douleur persistante, ou des taux de réadmission d’urgence, pourraient fournir une meilleure évaluation de la performance chirurgicale.

Que concluent les auteurs?

Les auteurs concluent en faisant les recommandations suivantes pour un meilleur rapport public sur les résultats des chirurgiens:

lorsque le nombre annuel de procédures est faible, regroupez les données au fil du temps, mais tenez également compte de la rapidité de transmission des données (avec quelle rapidité une sous-performance peut être identifiée)

sélectionner les mesures de résultats pour lesquelles l’événement de résultat est assez fréquent

pour les spécialités dans lesquelles la plupart des chirurgiens n’atteignent pas une puissance de 60%, l’unité de déclaration doit être l’équipe, l’hôpital ou la fiducie

présenter les résultats en utilisant des techniques statistiques appropriées

éviter de faire l’interprétation selon laquelle aucune preuve de mauvaise performance n’équivaut à une performance acceptable

signaler les résultats des chirurgiens avec des mises en garde appropriées sur la santé, par exemple en mettant en évidence des problèmes de faible qualité et de qualité des données

signaler les résultats du chirurgien aux côtés des résultats de l’unité ou de l’hôpital afin de guider l’interprétation

Dans l’ensemble, cet article est utile tant pour les membres du public que pour les professionnels en soulignant certaines limites importantes de l’utilisation des taux de mortalité des patients après une intervention chirurgicale comme seule indication des «bons» ou des «mauvais» chirurgiens.