Définition de la question de recherche

5La question de recherche doit être formulée de façon claire et précise, car elle conditionne la suite de la revue. On peut pour cela s’inspirer d’autres revues, des recommandations du groupe EPOC de la collaboration Cochrane et de la méthode PICOT (Participants, Interventions, Comparisons, Outcomes, Time). La question peut être ciblée (par exemple, évaluation de rappels informatiques visant à améliorer la prescription d’antibiotiques) ou plus large (par exemple, évaluation des interventions destinées à améliorer l’usage des antibiotiques). Du choix de la question de recherche dépend la pertinence de la revue. Ainsi, une question trop ciblée peut ne pas être généralisable à d’autres systèmes de soins, alors qu’une question trop large risque d’entraîner des difficultés de synthèse et d’interprétation des résultats. Lors de la définition de la question de recherche, il convient également de vérifier que celle-ci n’a pas déjà été résolue récemment, grâce à une recherche approfondie de la littérature. Des bases de données relatives aux travaux publiés dans le champ de l’organisation des soins ont été développées, comme KT plus (http://plus.mcmaster.ca/kt/) et pdq Evidence (www.pdq-evidence.org/fr), et peuvent être consultées à cet effet.

Définition des critères d’éligibilité

6Une fois la question de recherche définie, il est nécessaire de préciser les critères d’éligibilité des études. Ces spécifications sur lesquelles les auteurs se basent pour sélectionner les études à inclure dans la revue sont une combinaison du type d’études, des participants, du type d’interventions et des critères de jugement. Cette étape est là encore fondamentale et doit être discutée en groupe avec les personnes qui seront impliquées dans le travail. Par exemple, si l’on souhaite réaliser une revue sur les interventions destinées à améliorer le suivi des malades diabétiques, il faut définir ce que l’on entend par malade diabétique, les tranches d’âge prises en compte, le contexte de soins (prise en charge ambulatoire ou à l’hôpital par exemple), les critères de jugement que l’on souhaite analyser dans les études, et la durée de suivi minimale des patients. Si l’on a défini la mortalité à cinq ans comme critère de jugement principal, les études ne comportant pas ce critère seront exclues.

7Il faut également définir si l’on inclut uniquement les essais contrôlés randomisés, ou si d’autres types d’études sont éligibles. Ainsi, le groupe EPOC de la collaboration Cochrane considère d’autres modèles permettant de produire des résultats avec un niveau de preuve acceptable, les études dites quasi expérimentales. Il s’agit des séries chronologiques et des études avant/après avec groupes témoins. Bien que leur niveau de preuve soit moins bon que celui d’essais randomisés, ces études sont parfois la seule option permettant d’évaluer l’effet d’une intervention. Leur inclusion ou leur exclusion dépendent du type d’intervention évaluée et doivent être discutées entre les auteurs de la revue. L’ensemble des critères d’éligibilité permet d’orienter la stratégie de recherche et d’affiner la sélection des études.

Sources de données bibliographiques à consulter

8Afin de s’assurer de l’exhaustivité de la recherche, il est indispensable de rechercher les études dans plusieurs bases de données, car aucune base ne les contient toutes. Les trois principales bases de données bibliographiques pour la recherche d’études d’interventions sont MEDLINE, EMBASE, et CENTRAL (Cochrane Central Register of Controlled Trials) auxquelles peuvent s’ajouter des bases régionales ou spécifiques à une discipline (tableau I). L’interrogation de chaque base nécessitant une méthodologie particulière, il est important de connaître les guides d’utilisation des bases ou de se faire aider par un ou une documentaliste spécialisé(e), afin de s’assurer de la pertinence des recherches. L’utilisation de moteurs de recherche plus généraux, tels que Google Scholar, peut aussi permettre d’améliorer l’exhaustivité de la recherche.

Tableau I

Exemples de bases de données pouvant être consultées lors de la réalisation d’une revue systématique d’interventions visant à améliorer la qualité des soins

Base de données Exemple d’interface de recherche Vocabulaire contrôlé Couverture et particularités MEDLINE PubMed MeSH Base de données produite par la National Library of Medicine (NLM), indexant des revues de biologie et de médecine, principalement anglo-saxonnes. EMBASE embase.com EMTREE Base de données produite par Elsevier Science, indexant davantage de revues de pharmacologie et de revues européennes que MEDLINE. CENTRAL TheCochrane-Library MeSH, seulement pour les articles provenant de MEDLINE Base de données produite par la collaboration Cochrane indexant des rapports d’essais contrôlés randomisés à partir de MEDLINE, d’EMBASE, et de recherches manuelles dans des revues et des registres spécialisés. PASCAL Ovid Vocabulaire INIST Base de données produite par l’Institut de l’Information Scientifique et Technique (INIST), indexant des revues internationales de différentes disciplines, dont près de la moitié sont européennes. CINAHL EBSCOhost Descripteurs CINAHL Base de données indexant des revues consacrées aux sciences infirmières et paramédicales. PsycINFO psycnet.apa.org Thesaurus of Psychological Index Terms Base de données produite par l’American Psychological Association (APA), indexant des revues consacrées à la psychologie et à des disciplines connexes (médecine, neuropsychologie, psychiatrie, éducation, sociologie…) BiblioMab EPPI-Centre Mots-clés EPPI Base de données produite par le Evidence for Policy and Practice Information and Co-ordinating Centre (EPPI-Centre), indexant des études relatives à la santé publique et à la promotion de la santé.

Exemples de bases de données pouvant être consultées lors de la réalisation d’une revue systématique d’interventions visant à améliorer la qualité des soins

9Afin d’éviter un biais de publication, il est recommandé de réaliser une recherche de la littérature grise [4], c’est-à-dire non contrôlée par un éditeur commercial. Il peut s’agir d’actes de conférence, de publications gouvernementales ou industrielles, d’avis d’experts ou de divers rapports. Cette recherche peut être effectuée à partir de bases de données spécialisées, telles qu’OpenGrey [5], développée par l’Institut de l’information scientifique et technique (INIST), ou The Grey Literature Report [6], géré par l’Académie de médecine de New York (NYAM).

10Les études doivent également être recherchées dans les registres d’essais cliniques. Le registre le plus connu est le site clinicalTrials.gov, mais ce n’est pas le seul. L’ensemble des registres d’essais cliniques est disponible à partir du système d’enregistrement international des essais cliniques (ICTRP) de l’Organisation mondiale de la santé, qui propose un moteur de recherche pour les consulter (www.who.int/ictrp/fr). L’interrogation de ces bases de données permet de mettre en évidence d’éventuelles études réalisées mais non publiées ou des études en cours de réalisation, ce qui permet de disposer des données les plus exhaustives possible [7].

11Enfin, il est recommandé de consulter les références citées par les articles inclus dans la revue systématique, et par tout autre article pertinent. Inversement, il est possible de consulter l’ensemble des articles citant les études incluses dans la revue systématique, en utilisant par exemple Web of Science [8] (Science Citation Index Expanded et Social Science Citation Index), géré par le groupe Thomson Reuters.

Stratégie de recherche

12La stratégie de recherche employée doit permettre une recherche exhaustive, afin de recueillir le plus grand nombre d’études et de diminuer les biais de sélection. Il n’existe pas de stratégie idéale, et chaque question doit conduire à une recherche adaptée. La stratégie de recherche doit reposer sur une liste de mots-clés et de synonymes, que l’on peut répertorier dans des articles de référence. Ces mots-clés, issus de texte libre ou de vocabulaire contrôlé, doivent figurer dans la recherche selon une logique précise. La méthode PICOT peut aider à l’identification d’une stratégie de recherche appropriée, en orientant l’utilisation des mots-clés et des opérateurs booléens (AND, OR, NOT). Enfin, il est possible d’utiliser des stratégies de recherche prédéfinies pour filtrer les études en fonction de leur type, comme celles proposées par le groupe Cochrane pour identifier les essais contrôlés randomisés, dont un exemple est présenté en figure 1. La stratégie de recherche des études doit être élaborée lors de la mise en place du protocole et ne doit pas changer par la suite, il est donc indispensable qu’elle soit validée par tous les auteurs de la revue. La stratégie employée et les résultats obtenus doivent être documentés à chaque étape du processus de recherche.

Figure 1

Stratégie de recherche de haute sensibilité pour identifier les essais randomisés dans MEDLINE

Stratégie de recherche de haute sensibilité pour identifier les essais randomisés dans MEDLINE

Version 2008, sensibilité et précision optimisées?; format PubMed. A partir duCochrane Handbook for Systematic Reviews of Interventions[1], chapitre 6.4.11 «?Search filters?».

Sélection des études

13Lorsque la recherche des articles est terminée, l’importation des références dans un logiciel bibliographique tel qu’EndNote, Zotero ou Reference Manager peut permettre de trier les articles et d’éliminer les doublons. Il est ensuite nécessaire d’examiner les titres et/ou les résumés des études pour éliminer celles qui ne correspondent pas à la question de recherche. Les textes intégraux des études pertinentes doivent ensuite être lus afin d’évaluer leur éligibilité, en fonction des critères préalablement définis. Il peut être nécessaire de correspondre avec les investigateurs pour clarifier certains points ou récupérer des données manquantes. Il est utile de conserver une liste des études exclues et de préciser la raison de leur exclusion afin de montrer aux lecteurs que ces études ont bien été examinées mais non retenues. Cette liste doit contenir les études qui semblent a priori pertinentes, mais qui ne répondent pas aux critères d’éligibilité suite à une analyse approfondie. La sélection des études doit être faite par deux personnes de façon indépendante, avec un mécanisme de conciliation pour la résolution des désaccords. La construction d’un diagramme de flux, ou flow chart, permet d’illustrer le processus de recherche et de sélection des études. Un modèle de diagramme de flux est proposé dans un guide pour la rédaction des revues systématiques, réalisé par Moher et al. [9] (figure 2).

Figure 2

Exemple de flow chart (ou diagramme de flux) illustrant le processus de sélection des études

Exemple de flow chart (ou diagramme de flux) illustrant le processus de sélection des études

Traduction libre à partir de Moher et al., Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement [9].

Synthèse quantitative par méta-analyse

Expression des résultats

23Les résultats de la méta-analyse sont généralement représentés sous forme graphique, ce qui permet d’apprécier visuellement l’effet commun de l’intervention. Le type de graphique le plus utilisé est le forest plot (Figure 4), dans lequel une ligne verticale correspond à l’absence d’effet de l’intervention, c’est-à-dire la valeur 1 pour un risque relatif ou un odds ratio, ou la valeur 0 pour une différence de moyenne. L’indice d’effet de chaque étude est symbolisé par un rectangle et une ligne horizontale, qui représentent respectivement l’estimation de l’effet et son intervalle de confiance. Si l’intervalle de confiance coupe la ligne verticale, l’effet de l’intervention est considéré comme non significatif. L’aire du rectangle est proportionnelle à la pondération de l’étude, c’est-à-dire au poids de l’étude dans l’analyse statistique, qui dépend de sa précision ou de la taille de sa population. Un losange représente la combinaison pondérée des résultats individuels (effet commun). Si celui-ci ne chevauche pas la ligne verticale, on considère que l’intervention a un effet significatif.

Figure 4

Exemple fictif de forest plot

Exemple fictif de forest plot

Dans cet exemple, l’effet commun des interventions n’est pas significatif, car le losange chevauche la ligne pointillée verticale représentant l’absence d’effet. L’étude ayant le plus de poids dans la méta-analyse est celle de Schmidt.

24Un autre type de graphique peut être retrouvé, le funnel plot, ou graphique en entonnoir (Figure 5). Celui-ci présente les résultats des études individuelles de manière à détecter un éventuel biais de publication des études [14]. Dans ce graphique, l’ordonnée correspond à la précision de l’étude (et donc à la taille de sa population), et l’abscisse correspond à l’effet de l’intervention. L’effet commun de l’intervention est représenté par une ligne verticale continue. Plus une étude est précise, plus son intervalle de confiance est étroit, et plus haut elle est placée dans le funnel plot. Les résultats des études les plus précises sont généralement proches de l’effet commun, et au contraire les résultats des études moins précises ont plus de chance d’en être éloignés, car ils sont davantage affectés par le hasard. Si ces hypothèses sont respectées, le funnel plot prend une forme symétrique et pyramidale. Des anomalies dans l’aspect du funnel plot peuvent suggérer un biais de publication. Ainsi, dans cet exemple, on constate que les études les plus précises sont à gauche de l’effet commun, et que les études les moins précises ont tendance à être placées à droite. On peut supposer que les petites études ne montrant pas l’effet escompté ne sont pas toujours publiées, à la différence des grosses études qui le sont plus systématiquement.

Figure 5

Exemple fictif de funnel plot

Exemple fictif de funnel plot

Cet exemple de funnel plot traduit un risque de biais de publication : les études les moins précises (situées en bas) ne sont pas réparties de manière symétrique autour de l’effet commun.

Synthèse dite «?semi-quantitative?»

25Lorsque les populations, les interventions ou les critères de jugement sont trop hétérogènes, la réalisation d’une méta-analyse peut être difficile. Dans ce cas, il est possible d’évaluer l’effet des interventions d’une manière que nous appellerons «?semi-quantitative?». Ce type d’analyse est utilisé dans de nombreuses revues systématiques du groupe EPOC consacrées aux interventions dites «?professionnelles?», destinées à améliorer les pratiques cliniques (formation médicale continue, diffusion de l’information, leaders d’opinion ou encore rappels au moment de la décision).

26L’analyse principale est centrée sur l’analyse des variables dichotomiques : la pratique est jugée appropriée ou non appropriée, permettant de calculer un pourcentage d’adéquation aux recommandations. Pour chaque étude, lorsque plusieurs critères de jugement sont présentés, c’est le critère de jugement principal de l’étude (lorsqu’il est défini par les auteurs de l’article) qui est pris en compte. Si le critère de jugement principal n’est pas défini et que plusieurs variables dichotomiques sont présentées, la valeur médiane de ces différentes variables est utilisée. Le résultat de la revue systématique est présenté sous la forme d’un effet médian, amélioration absolue médiane du pourcentage d’adéquation des pratiques dans le groupe intervention comparée au groupe contrôle.

27Dans le domaine des pratiques professionnelles et de l’organisation des soins, la synthèse doit prendre en compte certaines caractéristiques spécifiques de ce type d’études. Par exemple, l’existence ou non d’une analyse des pratiques avant intervention, ou le type de schéma expérimental utilisé. Ces caractéristiques ont été développées dans un article précédent de la revue [15]. Que la synthèse soit quantitative ou semi-quantitative, il est recommandé de présenter les résultats par type d’étude [16]. Ainsi, les résultats des essais randomisés doivent être présentés séparément des études quasi expérimentales, c’est-à-dire séries temporelles interrompues et essais contrôlés avant et après.

Synthèse descriptive

28Elle correspond à une présentation structurée [17] des caractéristiques des études, qui commence par une analyse descriptive de chaque étude, en ce qui concerne sa méthodologie, l’intervention évaluée ou encore ses résultats. Les études doivent ensuite être associées en catégories logiques, ce qui permet d’orienter les conclusions de la revue systématique : un regroupement des études en fonction du type d’intervention ou des résultats permet de déterminer quel type d’intervention semble le plus efficace, un regroupement par population ou contexte permet de juger le cadre qui paraît le plus favorable à l’intervention, un regroupement par méthodologie permet de rassembler les études les plus probantes. Après que les études aient été analysées et regroupées, la synthèse de leurs résultats permet de produire un sommaire des résultats, en tenant compte des différences entre les études pouvant influencer leurs conclusions. Les auteurs donnent parfois un résultat chiffré correspondant au pourcentage d’études «?positives?» (c’est-à-dire les études dont plus de 50% des critères de jugement sont significativement améliorés). Malgré l’absence de résultat quantitatif, les synthèses descriptives sont des documents utiles permettant de faire le point sur un sujet donné.

Analyse de l’aspect qualitatif d’une intervention

29Si l’on sait bien évaluer la quantité d’effet d’une intervention, il est également intéressant de savoir pourquoi et comment celle-ci fonctionne. On peut pour cela se pencher sur l’aspect «?qualitatif?» de l’intervention, évalué dans certaines études sous la forme de l’opinion des participants ou d’aspects socio-comportementaux. Ces données «?qualitatives?» permettent de comprendre comment l’intervention est vécue par les patients ou les professionnels. Elles peuvent être prises en compte de manière complémentaire à l’analyse de l’effet de l’intervention lors de la réalisation d’une revue systématique. Ce type d’approche enrichit la réflexion autour des interventions et de leur efficacité, en permettant par exemple de comprendre pourquoi certaines interventions sont efficaces et d’autres non. Par exemple, il a été montré que la relation patient-médecin et les croyances des patients pouvaient limiter l’effet d’interventions visant à réduire la prescription d’antibiotiques [18]. Ivers et al. [19] ont, quant à eux, mis en évidence qu’un feedback aux professionnels de santé était plus efficace sur les pratiques quand il était donné par un supérieur ou un collègue reconnu. Des interventions qui semblent identiques peuvent ainsi avoir une efficacité différente en fonction de certains facteurs qu’il est important de détecter et de prendre en compte. L’intégration de données qualitatives dans une revue systématique est cependant un défi méthodologique, en raison de leur nature subjective et hétérogène. Ces données peuvent être traitées de manière descriptive ou agrégative, en veillant à la rigueur et à la transparence du processus. Il existe de nombreuses méthodes de synthèse des données qualitatives faisant l’objet de discussions au sein de la collaboration Cochrane et du «?Cochrane Qualitative and Implementation Methods Group?» (CQIMG) [20].