Évaluation de l’Initiative d’accès à la justice dans les deux langues officielles

3. Méthodologie

La méthodologie retenue pour cette évaluation repose sur cinq approches décrites dans la présente section.

3.1. Analyse de base de données et revue documentaire

La documentation pertinente à l’Initiative, incluant la banque de données sur les projets et les organismes financés, a été analysée. Ces données offrent de l’information quant aux activités entreprises dans le cadre de l’Initiative, aux extrants produits et aux résultats atteints par les deux composantes de l’Initiative. L’analyse de la base de données fournit également des renseignements détaillés quant aux projets financés et aux organismes bénéficiaires, leurs activités et leurs extrants. L’analyse de la documentation a permis d’établir une solide base de renseignements afin de bien préparer les entrevues avec les intervenants clés et les autres activités de collecte de données.

La liste des documents consultés inclut :

  • le Cadre d’évaluation de la Feuille de route, préparé par le ministère Patrimoine canadien;
  • les documents de planification de l’Initiative;
  • les dossiers de financement (propositions de projets, rapports provisoires et finaux);
  • la documentation sur le mandat des divers comités, en particulier le Comité consultatif et le Groupe de travail fédéral-provincial-territorial.

3.2. Entrevues avec des intervenants clés

Les entrevues avec des intervenants clés ont permis d’obtenir des opinions et des perceptions éclairées sur la pertinence, l’efficacité et l’efficience de l’Initiative. Au total, 26 personnes ont été consultées, provenant de différents groupes ayant participé directement à la mise en œuvre des activités de l’Initiative, comme suit :

  • employés du ministère de la Justice du Canada;
  • membres du Comité consultatif sur l’accès à la justice dans les deux langues officielles;
  • membres du Groupe de travail fédéral-provincial-territorial sur l’accès à la justice dans les deux langues officielles;
  • autres intervenants tels que des professionnels de la justice, des représentants universitaires ainsi que des employés d’organisations financées.

En préparation à l’entrevue, chaque intervenant a reçu un guide incluant les questions devant être abordées. Ces guides apparaissent en annexe de ce rapport. Les entrevues se sont déroulées en personne ou par téléphone, dans la langue officielle de préférence de l’intervenant. Toutes les données recueillies ont été analysées par le biais de l’outil NVivo afin de dégager les thèmes liés à chacune des questions d’évaluation visées par cette méthode de recherche.

3.3. Études de cas

Des études de cas relatives au Fonds d'appui à l'accès à la justice dans les deux langues officielles ont été menées en 2010-2011. Le but de ces études était de se pencher sur deux activités précises du Fonds d'appui: le financement de base des associations provinciales de juristes d'expression française et de leur fédération nationale ainsi que le financement de projets reliés à l'accès à la justice dans les deux langues officielles. Plus spécifiquement, en tenant compte des objectifs de l’Initiative, ces projets étudiaient l'effet de levier du Fonds d'appui en examinant les activités de financement, la progression vers les résultats ainsi que les leçons apprises et les bonnes pratiques mises en œuvre dans le cadre du Fonds d'appui. Les constatations de ces études ont été utilisées afin d’évaluer l’efficacité et l’efficience de l’Initiative présentées dans ce rapport.

3.4. Sondage auprès des organismes bénéficiaires

Un sondage en ligne auprès des organismes bénéficiaires des fonds de l’Initiative a été lancé. Cette méthode à été retenue afin de maximiser le taux de réponse des bénéficiaires à la présente étude. Le sondage en ligne leur permet plus de flexibilité quant au moment de répondre aux questions, tout en répondant seulement aux questions s’appliquant plus particulièrement à leur situation. Le sondage en ligne auprès des bénéficiaires de l’Initiative a permis d’aborder des questions touchant à l’efficacité et à l’efficience de l’Initiative.

Un questionnaire contenant 35 questions a été élaboré et distribué à tous les bénéficiaires de l’Initiative, soit 29 organismes au moment de l’évaluation. Le questionnaire a d’abord été testé à l’interne, avant que celui-ci ne soit distribué à tous les organismes bénéficiaires. Ceux-ci pouvaient remplir le questionnaire dans la langue officielle de leur choix. À deux reprises, un rappel par courrier électronique a été envoyé aux organismes qui n’avaient pas encore rempli le questionnaire.

Au total, 19 organismes ont rempli le questionnaire, pour un taux de réponse de 63,3 %. Les données recueillies par le biais de ce sondage ont été analysées avec le logiciel SPSS. Le questionnaire du sondage en ligne est disponible en annexe dans ce rapport.

3.5. Panel d’experts

Un panel d’experts a permis de mettre en contexte les principales données recueillies par le biais des autres sources de données et de nuancer et de valider certaines des constatations ayant émergé. Un document synthèse, incluant une série de constatations et de questions, a été préparé et distribué aux participants afin de structurer la discussion. Un total de quatre experts, provenant de différentes régions du pays, ont participé au panel, qui s’est déroulé à distance par le biais de l’outil WebEx. Les questions abordées lors du panel d’experts se trouvent en annexe.

3.6. Limites inhérentes aux méthodes d’évaluation

La méthodologie correspond aux normes actuelles de recherche en matière d’évaluation dans son utilisation de plusieurs éléments de preuve pour traiter chaque question de l’évaluation. Un ou plusieurs éléments de preuve sont associés à chaque question individuelle de l’évaluation. Par conséquent, comme tel est le cas dans tout travail de recherche, la présente étude se heurte à des limites inhérentes aux méthodes d’évaluation. Ces limites sont les suivantes :

  • La mesure des résultats atteints demeure un défi pour plusieurs bénéficiaires. C’est ainsi que l’on se retrouve souvent avec des données relatives aux extrants, plutôt qu’aux résultats atteints. Ceci limite la quantité des données utilisables pour tenir compte des résultats atteints. Cependant, les guides d’entrevue et le questionnaire du sondage ont été élaborés afin de couvrir cet aspect.
  • Les préjugés éventuels des répondants dans les constatations des études de cas sur le Fonds d’appui qui émanent principalement du point de vue des bénéficiaires du financement de projets et qui, par conséquent, pourraient présenter un parti-pris positif.
  • Il en va de même pour les répondants au sondage. En tant que bénéficiaires du financement, ils ont pu se montrer favorables à la poursuite de l’Initiative. Il n’a pas été possible de viser les organisations qui ont produit des applications infructueuses envers l’Initiative puisque d’autres projets de ces organisations ont été acceptés.
  • L’Initiative, telle que conçue en 2008, comporte deux composantes : le Fonds d’appui et la nouvelle composante de Formation en justice. Cependant, il faut reconnaître que le Fonds d’appui remonte à 2003 tandis que la Formation en justice a été annoncée en 2008. De ce fait, l’évolution propre à chacune de ses composantes est différente et doit être prise en considération lors de la collecte des données et de la présentation des résultats atteints. Les outils de collecte de données utilisés dans la présente évaluation ont donc été ajustés afin de bien documenter cette double évolution, et les résultats de l’Initiative présentés dans ce rapport tiennent compte de cette réalité.
Date de modification :