5. Pratique facultative d’évaluation
1. Scénario : (0,5 heure)Vous faites partie d’un groupe communautaire multidisciplinaire qui s’occupe de la criminalité juvénile dans votre quartier. Votre groupe est composé de représentants du domaine de la santé publique, du milieu de l’éducation, des services sociaux, des services de police et de différents groupes communautaires. À l’une de vos réunions, vous avez discuté de différentes idées de solutions possibles. L’une d’entre elles consistait à offrir, dans les écoles primaires, des interventions comprenant des activités de formation destinées aux enseignants et, peut-être, aux parents. Vous avez offert de chercher dans la documentation afin de trouver des évaluations de ce type d’intervention et de partager les résultats de vos recherches à la prochaine réunion.
- Votre cas correspond tout Ă fait Ă la question PICO :
Population : enfants du primaire
Intervention : enrichissement du programme Ă©ducatif, formation des enseignants
Comparaison : programme Ă©ducatif habituel
Outcome (Issue clinique) : taux de criminalité juvénile - Vous effectuez une recherche dans PubMed. Dans la zone de texte au haut de la page, vous tapez « crime prevention » et « school curriculum ». Vous obtenez plusieurs résultats, mais un des articles semble particulièrement intéressant, car il traite des résultats à l’âge adulte ET le texte complet est disponible gratuitement en ligne.
Votre lecture :
Hawkins, J.D., Kosterman, R., Catalano, R.F., Hill, K.G., & Abbott, R.D. (2005). Promoting positive adult functioning through social development intervention in childhood: long-term effects from the Seattle Social Development Project. Archives of Pediatric and Adolescent Medicine, 159, 25-31.
Comment résumerez-vous cet article à votre groupe?
Recommanderez-vous une intervention axée sur le programme éducatif pour réduire la criminalité?
- Veuillez lire l’article en entier. Si vous désirez le télécharger et/ou l’imprimer, veuillez le faire en format PDF afin que les pages de l’article correspondent à celles indiquées dans la feuille-réponses.
- Répondez aux questions d’évaluation critique du Formulaire d’évaluation critique pour les interventions. Pour faire cet exercice, servez-vous uniquement de la comparaison entre l’intervention complète et le groupe témoin. (Il existe une autre comparaison faite avec une intervention « tardive »; n’en tenez pas compte.)
- Comparez vos réponses avec celles déjà inscrites sur la feuille-réponses.
Attention! Dans la VRAIE VIE, vous effectueriez une recherche exhaustive dans la documentation. Aux fins de cet exercice, vous « faites semblant » que cette étude est la SEULE que vous avez trouvée. Formulaire d'évaluation critique pour les interventionss Référence : |
Guide |
Commentaires |
| I) Les résultats sont-ils valables? | |
|
Les participants ont-ils été randomisés? |
|
|
La randomisation a-t-elle été dissimulée? |
|
|
Les participants ont-ils été analysés dans les groupes dans lesquels ils avaient été placés lors de la randomisation? |
|
|
Les participants du groupe de traitement et ceux du groupe témoin étaient-ils semblables en ce qui a trait aux variables prévisionnelles connues? |
|
|
Les participants savaient-ils dans quel groupe ils avaient été placés? |
|
|
Les cliniciens connaissaient-ils la répartition des participants dans les groupes? |
|
|
Les personnes qui évaluaient les résultats connaissaient-elles la répartition des participants dans les groupes? |
|
|
A-t-on effectué un suivi complet? |
|
| II. Quels sont les résultats? | |
|
Quelle a été la portée du traitement? |
|
|
Quelle était la précision de l’estimation de l’effet du traitement? |
|
| III. Comment puis-je appliquer les résultats? | |
|
Les participants de l’étude étaient-ils semblables à ceux de ma propre situation? |
|
|
Les résultats importants sur le plan clinique (préjudices et bienfaits) ont-ils tous été pris en compte? |
|
RÉPONSES : FORMULAIRE D’ÉVALUATION CRITIQUE POUR LES INTERVENTIONS Référence : Hawkins, J.D. et al. « Promoting positive adult functioning through social development intervention in childhood: long-term effects from the Seattle Social Development Project », Archives of Pediatric and Adolescent Medicine, 159, 2005, p. 25
|
Guide |
Commentaires |
| I) Les résultats sont-ils valables? | |
|
Les participants ont-ils été randomisés? |
NON. Le résumé indique qu’il s’agit d’un essai non-randomisé. À la page 26, on explique que l’étude a d’abord été faite sous forme d’essai randomisé, puis que l’essai s’est étendu à d’autres écoles en cours de route. Ces écoles ont été réparties dans chacun des groupes de façon non aléatoire. |
|
La randomisation a-t-elle été dissimulée? |
Ne s’applique pas étant donné qu’il ne s’agissait pas d’un essai randomisé. |
|
Les participants ont-ils été analysés dans les groupes dans lesquels ils avaient été placés lors de la randomisation? |
OUI. À la page 28, les auteurs affirment avoir effectué des analyses conservatrices en intention de traiter. |
|
Les participants du groupe de traitement et ceux du groupe témoin étaient-ils semblables en ce qui a trait aux variables prévisionnelles connues? |
OUI. À la page 26, on donne seulement une brève description des caractéristiques de départ de l’échantillon, y compris l’ethnie, le sexe et l’admissibilité à des dîners gratuits. Les auteurs ne comparent pas les groupes dans cet article. |
|
Les participants savaient-ils dans quel groupe ils avaient été placés? |
PEU PROBABLE |
|
Les cliniciens connaissaient-ils la répartition des participants dans les groupes? |
Non pertinent pour cette Ă©tude. |
|
Les personnes qui évaluaient les résultats connaissaient-elles la répartition des participants dans les groupes? |
NON. Les participants ont fourni eux-mĂŞmes les renseignements. |
|
A-t-on effectué un suivi complet? |
OUI. Quatre-vingt-quatorze pour cent des participants ont été interviewés deux ans après. |
| II. Quels sont les résultats? | |
|
Quelle a été la portée du traitement? |
Page 29, tableau 2 (deux dernières lignes) : |
|
Quelle était la précision de l’estimation de l’effet du traitement? |
1. Accusations au cours de la dernière année : 3 % de moins dans le groupe d’intervention complète 2. Accusations au cours de la vie entière : 11 % de moins dans le groupe d’intervention complète (différence exprimée par -0,11, intervalle de confiance entre -0,21 et -0,01). Cet IC n’inclut pas 0; le résultat est donc statistiquement significatif, comme l’indique aussi la valeur de P, qui est de 0,04. Cet IC signifie que la différence dans le nombre d’accusations peut être aussi élevée que 21 % ou aussi basse que 1 %. Cet intervalle de confiance est assez large, c’est‑à ‑dire pas très précis. La différence est-elle significative? Comme les répondants n’ont que 21 ans, ce résultat mérite d’être pris en compte. |
| III. Comment puis-je appliquer les résultats? | |
|
Les participants de l’étude étaient-ils semblables à ceux de ma propre situation? |
Il serait nécessaire d’avoir plus de renseignements sur votre propre quartier, mais cet article ne donne pas beaucoup d’information. La référence no 19 contient beaucoup plus de renseignements sur les participants et leur statut socioéconomique. |
|
Les résultats importants sur le plan clinique (préjudices et bienfaits) ont-ils tous été pris en compte? |
OUI. L’article fait état de plusieurs autres résultats, fondés sur l’autoévaluation des participants. On a observé des différences statistiquement significatives montrant que les jeunes du groupe d’intervention ont obtenu de meilleurs résultats dans la dernière année que ceux du groupe témoin en ce qui concerne le rendement scolaire et professionnel, la régulation émotionnelle, les pensées suicidaires, la diversité des crimes et la vente de drogue. |
Au début du scénario, on vous a demandé :
- Comment résumerez-vous cet article à votre groupe?
- Recommanderez-vous une intervention axée sur le programme éducatif pour réduire la criminalité?
- L’étude aurait pu être faite sous forme d’un essai randomisé, ce qui aurait permis d’éliminer toute préoccupation à propos de biais inconnus dans les groupes avant le début de l’intervention. Cependant, ce type d’étude constitue parfois la meilleure source de preuves disponible, particulièrement pour les interventions à l’échelle d’une communauté ou d’une population. Cette étude présente un taux de suivi très impressionnant, étant donné que les chercheurs ont pu suivre les enfants jusqu’à l’âge de 21 ans. De plus, le fait que les chercheurs aient complété les autoévaluations (qui sont habituellement très influencées par le facteur de désirabilité sociale) par des données provenant des registres judiciaires de l’État et du pays représente un atout. Une différence de 11 % dans les taux de criminalité peut être assez significative à l’échelle communautaire et individuelle. Toutefois, les intervalles de confiance sont larges et, dans le pire des cas, la différence réelle pourrait n’être que de 1 %.
- Votre recommandation : Le conseil scolaire local devrait examiner les façons d’intégrer l’intervention au programme éducatif déjà très chargé. Il devrait aussi élaborer un budget préliminaire afin de déterminer les coûts d’une telle intervention pour le conseil scolaire au cours des dix prochaines années. Enfin, il devrait prévoir un mécanisme d’évaluation de l’intervention.
Attention! N’oubliez pas que dans la VRAIE VIE, vous prendriez connaissance de toutes les études (ou, idéalement, d’un examen des études existantes) et vous ne fonderiez pas votre décision uniquement sur la présente étude.
Autres Ressources
Duke University Medical Center. Introduction to Evidence-Based Medicine. Evaluating the Evidence.
GRADE Working Group (2004). Grading quality of evidence and strength of recommendations. British Medical Journal, 328,1490-7. Guyatt, G. & Rennie, D. (Eds) (2002). Users’ Guides to the Medical Literature: A manual for Evidence-Based Clinical Practice. American Medical Association
