Évaluation du programme d’aide juridique

3. Méthodologie

Cette section du rapport décrit la méthodologie appliquée aux fins de l’évaluation du PAJ.

3.1. Cadre d’évaluation

Le cadre d’évaluation était fondé sur l’Étude conceptuelle d’évaluation des incidences du Programme d’aide juridique de 2009 et sur le CIRV du PAJ de 2007. L’approche a été élaborée de concert avec un comité consultatif de l’évaluation, formé de représentants du gouvernement fédéral et des provinces, qui a joué le rôle de groupe de référence technique aux fins de l’évaluation.

3.2. Méthodes de collecte des données

L’évaluation de la méthodologie a donné lieu à un examen des documents et des dossiers, à des entrevues auprès d’informateurs clés, ainsi qu’à quatre visites sur place. Les instruments de collecte des données utilisés aux fins de l’évaluation sont indiqués à l’annexe A. Une technique de triangulation a été utilisée pour vérifier et valider les constatations ainsi dégagées et pour déterminer les constatations générales de l’évaluation.

3.2.1. Examen des documents et des dossiers

L’examen des documents et des dossiers a permis d’obtenir des données contextuelles sur le PAJ et de répondre aux questions de l’évaluation en ce qui a trait à la pertinence, à l’efficacité, à l’efficience et à l’économie. L’exercice a débuté par un examen des documents sur le PAJ, l’aide juridique au Canada, et les régimes d’aide juridique. L’évaluation a fait appel à des données administratives, principalement les données qu’on trouve dans les rapports annuels des régimes d’aide juridique, ainsi que dans des sources secondaires. Un examen sur place des dossiers du GTP FPT et du PAJ a été réalisé au début de l’évaluation. L’examen des documents et des dossiers portait sur les catégories de documents suivants :

  • documents fédéraux de programme, notamment les dossiers du GTP FPT pour les exercices 2006-2007 à 2010-2011, les modalités du PAJ, et les ententes de contribution/ESAJ;
  • les documents des régimes de l’aide juridique, notamment les rapports annuels, les plans d’activités et les évaluations/études de recherche;
  • les rapports de recherche et d’évaluation du MJ;
  • les statistiques de sources secondaires, pour la période allant de 2005-2006 à 2009-2010, notamment l’Enquête sur l’aide juridique du Centre canadien de la statistique juridique (CCSJ), le Programme de déclaration uniforme de la criminalité, et l’Enquête intégrée sur les tribunaux de juridiction criminelle.

3.2.2. Entrevues auprès d’informateurs clés

Les entrevues exhaustives menées auprès d’informateurs clés ont permis de déterminer la pertinence et le rendement du PAJ, principalement pour ce qui est de son efficacité et de son efficience pour obtenir les résultats escomptés relativement à la capacité accrue de fournir des services d’aide juridique. Aux fins de la présente évaluation, les entrevues constituent les principales sources d’information probante et elles ont été utilisées pour connaître l’opinion des personnes participant directement aux éléments constitutifs du PAJ et d’autres intervenants pertinents en ce qui a trait à la pertinence et au rendement du PAJ, ainsi que le contexte pour comprendre les données quantitatives sur l’aide juridique.

Au total, 36 personnes ont été interviewées, soit :

  • des représentants provinciaux-territoriaux membres du GTP FPT (n=7);
  • des représentants de régimes d’aide juridique membres du GTP FPT (n=10);
  • des représentants du MJ, y compris des membres de la Direction de l’aide juridique et de la Direction générale des programmes (n=12);
  • d’autres représentants du gouvernement fédéral : CIC (n=5), CISR (n=1), Service des poursuites pénales du Canada (SPPC) (n=1).

Les entrevues ont été réalisées à l’aide de guides d’entrevue semi-structurés comprenant des questions prédéterminées à réponse libre. L’annexe A renferme les guides d’entrevue. Les informateurs clés avaient reçu les questions à l’avance, de façon à être en mesure de préparer leurs réponses. Tous les membres du GTP FPT ont été interviewés dans le cadre des entrevues menées auprès d’informateurs clés ou lors des visites sur place (voir la section 3.4).

La plupart des informateurs clés n’étaient pas en mesure de répondre aux questions concernant les cinq éléments constitutifs du PAJ; par exemple, seuls les régimes d’aide juridique/administrations offrant des services d’aide juridique dans les affaires relatives aux immigrants et aux réfugiés ou ayant une expérience dans le domaine des dossiers SPAT étaient en mesure de répondre à ces questions. Tous les éléments constitutifs ont été abordés par les informateurs clés.

La Direction de l’aide juridique a dressé une liste initiale des personnes à interviewer. Toutes les personnes figurant sur la liste ont reçu une invitation initiale de la part de la Direction, dans laquelle cette dernière expliquait la raison d’être de l’évaluation et invitait chacun à participer à une entrevue. Les entrevues ont été menées par téléphone, dans la langue officielle choisie par les personnes interviewées.

Pour respecter l’anonymat des répondants, les résultats des entrevues sont généralement diffusés sous forme agrégée plutôt qu’en fonction de chaque catégorie de répondant.

3.2.3. Visites sur place

L’évaluation a donné lieu à des visites sur place en Alberta, au Manitoba, en Ontario et en Nouvelle-Écosse. Ces visites ont permis de recueillir des renseignements supplémentaires à propos des régimes d’aide juridique, permettant ainsi à l’évaluation de fournir des exemples fondés sur les données des régimes d’aide juridique pour certains indicateurs clés de l’évaluation. Les visites sur place ont également donné lieu à des entrevues en personne, en plus des entrevues décrites dans la section 3.3, ce qui a permis d’obtenir des renseignements au sujet de la pertinence et du rendement du PAJ, plus particulièrement son efficacité et son efficience pour ce qui est d’obtenir les résultats escomptés relativement à la capacité accrue d’offrir des services d’aide juridique.

L’emplacement des visites sur place a été déterminé en fonction du consentement des régimes d’aide juridique participants et des représentants provinciaux, de concert avec la Direction de l’aide juridique et la Division de l’évaluation du MJ. Les sites permettaient d’assurer une représentation géographique puisqu’ils incluaient deux provinces de l’est et deux provinces de l’ouest, ainsi que des régimes d’aide juridique de petite et de grande taille. Ils représentaient également une variété de modèles de prestation : l’Alberta utilise principalement un modèle d’assistance judiciaire, en vertu duquel l’aide juridique est offerte par des avocats du secteur privé grâce à un certificat; le Manitoba offre un système mixte, c’est-à-dire une assistance judiciaire et des avocats à l’emploi de la province; l’Ontario fait appel à des avocats du secteur privé, ainsi qu’à un modèle de cliniques d’aide juridique; et la Nouvelle-Écosse utilise principalement les services d’avocats à l’emploi de la province.

Chaque visite a donné lieu à des entrevues et à un examen des données répartis sur une à deux journées. Pour minimiser le fardeau imposé aux régimes d’aide juridique, l’examen des données comportait une discussion au sujet d’une liste des besoins possibles en matière de données, selon les indicateurs de la matrice d’évaluation. Les régimes ont ensuite fourni des données en utilisant le format qui leur convenait le mieux. Les entrevues ont été menées auprès de représentants des régimes d’aide juridique et du gouvernement provincial, y compris les membres du GTP FPT représentant l’administration visée. Les membres du GTP FPT ont été priés de désigner d’autres régimes d’aide juridique et représentants provinciaux aux fins des entrevues. Certaines entrevues ont été réalisées de façon formelle, en plus de consultations informelles quant à la disponibilité des données et l’accès à celles-ci. La répartition des entrevues était la suivante :

  • gestionnaires des régimes d’aide juridique (y compris des membres du GTP FPT, pour un total de n=17);
  • représentants provinciaux (y compris des membres du GTP FPT, pour un total de n=5).

Les entrevues ont été réalisées au moyen des guides semi-structurés conçus pour les entrevues auprès d’informateurs clés. Dans le cas des personnes interviewées qui pouvaient uniquement indiquer les besoins en matière de données, les entrevues étaient moins formelles et mettaient l’accent sur les enjeux associés à la disponibilité des données. Les résultats des visites sur place et des entrevues auprès d’informateurs clés ont été combinés aux fins de ce rapport.

3.2.4. Entrevues auprès des professionnels du système de justice pénale

L’évaluation a également donné lieu à des entrevues auprès de professionnels du système de justice pénale (juges de la Cour provinciale, avocats de la défense et procureurs de la Couronne) dans les quatre administrations visitées. Des entrevues auprès de professionnels du système de justice pénale ont été réalisées pour obtenir des renseignements auprès des personnes intervenant directement dans les affaires pénales, afin de déterminer s’il y a eu des changements quant à la proportion d’accusés non représentés, la raison d’être de ces changements, ainsi que l’incidence des accusés non représentés sur le système de justice pénale. Les entrevues ont permis de recueillir des données qualitatives sur le rôle du financement de l’aide juridique pour assurer l’accessibilité de l’aide juridique, qui constitue un résultat principal escompté dans le cadre du PAJ.

L’évaluation visait quatre personnes dans chaque catégorie, pour un total de 48 entrevues. Dans une administration, les juges de la Cour provinciale ont refusé de participer; dans une autre, une cinquième entrevue a été menée auprès d’un avocat de la défense. Au total, 45 entrevues ont été menées auprès de professionnels du système de la justice dans le cadre de l’évaluation. Le tableau 5 indique la répartition des entrevues réalisées.

Tableau 5 : Entrevues auprès de professionnels du système de justice pénale
Catégorie Province A Province B Province C Province D Total
Juges 4 Refusé 4 4 12
Procureurs de la Couronne 4 4 4 4 16
Avocats de la défense 4 4 5 4 17
Total 12 8 13 12 45

Des protocoles ont été élaborés pour chaque groupe et ils renfermaient une lettre initiale de la Direction de l’aide juridique décrivant l’évaluation et demandant l’autorisation nécessaire, le cas échéant. Les juges en chef ont identifié des collègues de la Cour provinciale qui accepteraient d’être interviewés, des ministères provinciaux de la Justice ou des représentants de la Couronne ont identifié des procureurs de la Couronne, et les régimes d’aide juridique ont identifié des avocats de la défense. Les entrevues ont été réalisées par téléphone, à partir des guides d’entrevue semi-structurés qu’on trouve à l’Annexe A. Celles qui ont été menées auprès de professionnels du système de justice pénale sont indiquées séparément des visites sur place et des entrevues auprès d’informateurs clés.

3.3. Limites

L’évaluation a donné lieu à quelques limites méthodologiques. Ces limites sont indiquées ci-après, tout comme les stratégies d’atténuation adoptées, le cas échéant.

Peu de sources de données. L’évaluation repose sur les documents disponibles et les entrevues réalisées. La possibilité d’obtenir des données sur les régimes d’aide juridique et le processus judiciaire pour appuyer la comparaison des coûts et des résultats d’affaires de justice pénale prévoyant un certificat d’aide juridique, par opposition aux affaires de justice pénale pour lesquelles les demandeurs se sont vu refuser un certificat en raison de leur inadmissibilité financière, a été envisagée. Toutefois, cette solution n’était pas possible compte tenu du budget et des délais de l’évaluation. Les données qualitatives restent donc la principale source d’information sur les résultats de l’aide juridique.

Pour atténuer cette limite, même si les données étaient également qualitatives, l’évaluation a inclus des entrevues auprès de professionnels du système de justice pénale (juges, procureurs de la Couronne et avocats de la défense) afin d’obtenir des renseignements sur l’expérience de première ligne auprès des accusés non représentés. L’évaluation a également donné lieu à un examen exhaustif des rapports annuels de l’aide juridique et à la compilation nationale de données sur l’aide juridique, incluant ces données quantitatives, le cas échéant.

Il n’y a pas de données nationales cohérentes disponibles sur l’aide juridique. Les données de l’Enquête nationale sur l’aide juridique réalisée par Statistique Canada ont plusieurs limites. De façon plus précise, les administrations communiquent des données de différentes façons, et d’autres ne sont pas en mesure de recueillir les données nécessaires en vue de l’inclusion dans les rapports nationaux.

Lors des visites sur place, on s’est efforcés d’obtenir des données supplémentaires qui seraient comparables au niveau des régimes d’aide juridique des sites visités. Cependant, le ressort de l’évaluation ne permettait pas d’obliger les régimes d’aide juridique à fournir des données qui ne sont pas facilement accessibles. Par conséquent, les données obtenues n’étaient pas entièrement cohérentes entre les sites. Il pourrait s’avérer impossible d’obtenir des données cohérentes sur l’aide juridique dans tous les cas, compte tenu de la diversité des méthodes de prestation à l’échelle du pays, mais certains problèmes pourraient être réglés en élaborant des critères de mesure du rendement convenus pouvant faire l’objet d’un suivi au fil du temps. Cette question connexe mais distincte est abordée ci-après.

Les données sur le rendement ne sont pas consignées de façon cohérente et certains indicateurs ne sont pas bien définis. Dans le CIRV de 2007, le MJ avait conclu qu’une « amélioration des rapports sur le rendement est nécessaire pour permettre de mieux évaluer les résultats du Programme d’aide juridique et le caractère adéquat des ressources fédérales qui lui sont affectées. » Les mesures prévues dans le CIRV pour améliorer la mesure du rendement comprenaient l’élaboration de mesures du rendement approuvées par le GTP FPT, ainsi qu’une contribution fédérale pour appuyer la collecte et l’analyse des données en cours. Ces étapes devraient permettre l’obtention d’un plus grand nombre de données quantitatives cohérentes dans le cadre des prochaines évaluations.

À l’heure actuelle, les critères de mesure du rendement prévus semblent relativement simples (p. ex., nombre de clients) mais ils peuvent devenir compliqués en raison des différentes méthodes d’évaluation du service. Par exemple, certains régimes compilent des données sur le nombre de clients, alors que d’autres compilent des données sur les unités de service, ce qui peut signifier qu’une personne reçoit plusieurs unités de service. D’autres critères ne sont pas définis ou sont imprécis, notamment « l’évitement des coûts », « la qualité des ententes » ou la capacité d’offrir des services. Certaines mesures ne sont pas harmonisées en fonction des résultats attendus. Ainsi, un résultat intermédiaire voulant que l’aide juridique soit offerte aux personnes admissibles inclut des indicateurs associés à la satisfaction et à la qualité du service. Ces indicateurs vont au-delà de la prestation de base de services d’aide juridique et indiqueraient qu’il faut évaluer la prestation des régimes d’aide juridique, ce qui est hors du ressort de cette évaluation.

Enfin, il n’y a pas de mesures disponibles pouvant être utiles au moment de l’évaluation pour brosser un tableau plus complet quant à savoir si la contribution fédérale permet d’améliorer la capacité de service, notamment la complexité des affaires d’aide juridique ou les répercussions de la législation fédérale sur la demande en matière d’aide juridique, ou le coût de celle-ci. La disponibilité de ces mesures serait bénéfique lors d’évaluations futures, et toute révision de la stratégie en matière de mesure du rendement du PAJ devrait tenir compte de cette contrainte.

Identification de personnes-ressources provinciales autres que les membres du GTP FPT. Les entrevues ont été menées principalement auprès des membres du GTP FPT, ce qui a eu pour effet de limiter la gamme d’opinions aux intervenants qui s’intéressent directement aux constatations de l’évaluation. Les visites sur place constituaient la stratégie d’atténuation utilisée pour obtenir des commentaires auprès d’autres personnes qui connaissent l’aide juridique dans leur administration. Bien que ces visites aient permis d’obtenir des renseignements auprès de personnes-ressources supplémentaires dans le contexte des régimes d’aide juridique, il n’a pas été possible de trouver d’autres représentants provinciaux possédant suffisamment de connaissances pour répondre aux questions de l’évaluation. Par conséquent, la gamme d’opinions découlant des entrevues menées auprès d’informateurs clés est potentiellement restreinte.
Date de modification :