Parfois ce type de statistique peut faire défaut, dans ce cas, les données seront reconstruites à partir d'avis d'experts. Du tableau ci-dessus il ressort que l'entretien individuel est, sans surprise, l'outil le plus utilisé par les autres outils (y compris les autres outils de collecte). Les besoins actuels (2004) de déplacements à Bruxelles. Les correspondances et notes internes ou entre services, produites au cours de l'élaboration des documents, peuvent fournir des précisions et explications sur les choix de priorité et de programmation. En évaluation proprement dite, l'usage des études de cas a également couvert de très nombreux sujets. Quelles sont les conditions requises à son utilisation ? Les relations entre les objectifs et les effets sont-elles explicites ? la règle est qu'il classe les critères par ordre (en général d'importance décroissante). L'évaluation ne prétend pas faire une analyse exhaustive des sociétés dans lesquelles elle a à se prononcer sur la stratégie de l'Union Européenne. L'USGAO propose trois clés possibles de sélection des cas et des sites: Les choix varient aussi en fonction de la combinaison des 3 clés et du nombre d'études. SWOT (Strengths, Weakness, Opportunities, Threats). A-t-on mis en place un mécanisme de suivi et de contrôle des enquêteurs ? Les unités choisies permettent de couvrir correctement la problématique (ex : la période retenue est-elle suffisante ? Selon R. YIN dans son ouvrage "Case Study reseach. L'analyse coût-efficacité compare les coûts à des résultats immédiats, en négligeant les effets à plus long terme. Un tel type de focus group peut être organisé pour exposer les premiers résultats d'une enquête par questionnaire, afin de recueillir les réactions des acteurs cibles de l'intervention. Il permet d'approfondir et d'étayer certaines informations et analyses provenant d'entretiens individuels. Il est également utile de référer chacun des liens à une ou plusieurs citations (grâce au numéro d'identification). et/ou des réactions à des premières hypothèses et conclusions des évaluateurs. Une tendance des experts à excéder le domaine de leurs compétences reconnues. Le recours à un outil de prise de décision tels que le diagramme des décisions permettrait d'organiser le processus de conception, notamment pour ce qui concerne la prise en compte des informations clés, l'intervention des parties prenantes et la gestion du calendrier. La manière dont il a été extrait du diagramme des objectifs doit notamment être clairement expliquée. les objectifs de l'évaluation et ceux des études de cas. " A cette phase, comme aux autres, il est important de faire la distinction entre les énoncés de type opinion personnelle, les interprétations et les analyses proposées par les personnes rencontrées. Le tableau ci-dessous montre le résultat d'une analyse simple sur trois actions et trois critères notés à partir de notes comprises entre 0,05 et 1, en utilisant la somme pondérée et le produit pondéré. Il faut donc identifier les problèmes en tant que : Les problèmes faisant directement l'objet de l'intervention peuvent ne pas être explicitement identifiés. Les responsables et partenaires de la politique et du programme évalué. Selon l'ampleur et la complexité des études, cette équipe peut être de taille plus ou moins importante. Capacité à s'imprégner des objectifs de l'enquête. Sans entrer plus avant dans des considérations théoriques, disons que la sociologie étudie les groupes qui composent les sociétés, les processus d'interaction entre ces groupes et les effets de ces interactions dans différentes sphères telles que l'économie, le droit, l'éducation, etc. Les délégués peuvent être des élus (territoriaux ou professionnels), des responsables d'ONG (ex : association des personnes affectées, de protection de l'environnement, de défense des consommateurs, de représentation des intérêts des femmes, etc. L'objectif de l'outil est donc de se servir de la connaissance d'un domaine que des experts possèdent, pour évaluer des politiques, programmes, ou projets menés dans ce contexte précis. un gain de temps significatif par rapport aux autres outils d'évaluation. BALANDIER G., 1985: Sociologie des Brazzavilles noires, Paris, Presses de la Fondation nationale des sciences politiques. C'est notamment le cas lorsque ces diagrammes des objectifs affichés sont extraits d'un cadre logique et que celui-ci a été établi dans les règles de l'art. Systèmes d'indicateurs de la Commission européenne, Systèmes d'indicateurs de la Banque Mondiale. Les documents ne sont pas toujours très explicites sur la manière dont les différents types de problème sont pris en compte. Lorsque l'échantillon est représen-tatif, elle permet des mesures statistiquement significatives qui peuvent être nécessaires pour des indicateurs quantifiés. Par exemple, lorsqu'il s'agit de comparer le nombre de personnes soignées dans un cas et le nombre de malades évités dans l'autre, en vue d'évaluer le coût-efficacité relatif de mesures curatives et préventives dans le domaine sanitaire. Un expert ne peut pas effectuer un nombre très important d'entretiens individuels dans une même journée. bien maîtriser les techniques d'animation de groupe. Ils peuvent fournir une information précieuse aux évaluateurs pour décrire un contexte. Dans ce système, le CCA est un instrument commun pour les Nations Unies d'analyse de la situation d'un pays au niveau de son développement et d'identification des principaux problèmes de développement. Dans les évaluations pays/région, la dimension politique et les enjeux économiques liés à l'évaluation rendent parfois délicats certains entretiens avec des autorités institutionnelles, ainsi qu'avec des acteurs qui peuvent "craindre" les effets de la hiérarchie. Cinq phases sont nécessaires lors de la structuration de la méthode d'évaluation avant de décider du type et du nombre d'étude de cas à réaliser: Définir la place des études de cas dans le processus d'évaluation (pour structurer la méthode, fournir les données sur la mise en œuvre, etc.). décomposition de chacun des objectifs d'un rang donné en deux ou plusieurs objectifs de rang inférieur (niveau 2). Les critères ne sont pas redondants, même si une relation existe probablement entre le salaire demandé et le niveau d'expérience. Il n'y a pas d'indicateur parfait, mais on sait malgré tout définir les qualités et les défauts d'un indicateur. Validation de la logique d'interven-tion du programme. L'équipe d'évaluation proposera, en annexe des rapports (Comment restituer les résultats ?) D'une manière générale les informations écrites doivent être recherchées dans quatre catégories principales de documents : C'est à l'équipe d'évaluation qu'il appartient de porter un jugement préalable sur la qualité des sources, en termes d'abondance, de pertinence, de fiabilité et d'accessibilité. L'indicateur retenu informe-t-il le critère de façon complète? Les phrases originales et les dictons populaires sont notés tels quels pour ne pas être déformés Les notes doivent être aussi complètes que possible et toutes les divergences d'opinion doivent y figurer. Le diagramme des objectifs affichés présente deux utilités : Le diagramme raisonné des objectifs définit le champ thématique de l'évaluation. C'est une des raisons du caractère artificiel des réunions villageoises d'analyse d'impact. La somme pondérée s'applique parfaitement à des mesures de valeurs réelles, comparables entre elles. Cependant les questions d'évaluation ne sauraient se déduire automatiquement de ces analyses. La synthèse des études est importante car elle permet, au-delà de l'identification du contenu de chacun des facteurs, une mise en relation entre eux. L'enquête par questionnaire et la construction d'échantillon sont apparues dans l'entre-deux-guerres, à l'occasion des premières prévisions électorales. Les indicateurs retenus ont-ils une sensibilité suffisante pour montrer les évolutions dans les domaines concernés par l'évaluation ? Les entretiens doivent être réalisés par une personne qualifiée. Les questions sont courtes, simples, claires, et sans ambiguïté de sens. effectuer des pondérations pour tenir compte de différents effets ou variables secondaires. Il est en cela une étape indispensable dans la construction du diagramme raisonné. La liste des outils qu'il serait souhaitable de mobiliser est fréquemment trop étendue pour que les ressources de l'évaluation permettent d'envisager la mise en œuvre de tous les outils. Le panel d'experts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par l'objet à évaluer. De ce fait, certaines questions préparées par l'évaluateur ne seront pas soumises directement à l'assistance, car elles auront été abordées spontanément parles participants ; éviter les questions sous forme d'alternative, car l'expérience montre que seule la première partie de la question est prise en compte. La formulation et le classement des problèmes a-t-il été vérifié au terme d'une deuxième lecture des documents ? ), Les menaces sont les problèmes, obstacles ou limitations extérieures, qui peuvent empêcher ou limiter le développement du pays ou d'un secteur (ex : l'industrie). Dans ces trois fonctions, il existe une panoplie étendue d'outils, souvent complémentaires et/ou polyvalents. C'est un outil simple et rapide d'utilisation, dont les ressources nécessaires à sa réalisation restent abordables. S'il existe des spécificités culturelles ou dialectales, recruter les enquêteurs localement. Le processus doit toujours être itératif, c'est à dire qu'il est basé sur la recherche suffisante d'information jusqu'à l'obtention de la chaîne de preuves. Sans celles-ci, l'atmosphère de travail au sein du panel peut rapidement devenir insupportable et conduire les travaux à un échec. Une estimation pertinente du temps nécessaire est importante dans tous les cas, et en particulier pour la mise en œuvre de : l'Analyse coût-efficacité, l'Analyse multicritère, l'Enquête par questionnaire, l'Etude de cas, l'Entretien individuel. Les acteurs " simples " sont ceux qui sont concernés par le domaine parce qu'ils sont touchés par le programme (ex : bénéficiaire ou victime), ce sont également les techniciens du sujet, des responsables administratifs en rapport avec le domaine, etc. Préalablement à la construction du diagramme, il est nécessaire d'apprécier la fiabilité des sources d'information. La mesure de l'efficacité des résultats attendus de l'intervention est donc simplifiée. Ne pas surestimer le nombre de personnes qu'il est possible de rencontrer dans un temps de mission assez court. Si l'intervention du panel se borne aux domaines techniques de l'évaluation, l'absence d'indépendance des experts par rapport aux domaines considérés a peu de conséquences sur l'évaluation. Logical framework analysis", BOND Guidance Notes No 4, March 2003. Le choix des outils doit, sauf demande spécifique, procéder d'un souci d'homogénéité dans le détail et la précision de l'information utilisée et de son analyse. Les programmes sont parfois de plus courte durée (deux à trois ans). Les outils de l'analyse stratégique pouvant servir à un approfondissement dans le domaine des faiblesses sont les mêmes que ceux utilisés pour les forces. Amener la personne interrogée à préciser ses allégations par des faits ou des exemples concrets permet de renforcer son propos, voire de le vérifier, ou de le pondérer. La documentation disponible fournit-elle des indications sur les objectifs non retenus et les raisons qui ont conduit à les écarter ? l'obtention à un examen écrit organisé par l'entreprise, de notes minimales dans quelques matières importantes. La généralisation en étude de cas (comme dans une expérimentation d'ailleurs) est avant tout analytique et non statistique. En effet, prendre en compte toutes les situations et évaluer toutes les relations entre elles n'est pas possible pour un outil aussi simple. Etabli depuis 1968, le Programme International de Comparaison (ICP : International Comparison Program) est un système statistique mis en place pour produire des données par pays, internationalement comparables au niveau des prix, de la valeur des dépenses, de la parité de pouvoir d'achat. Aide à la négociation multicritère. Le panel d'experts est utilisé régulièrement en évaluation de programme par certains bailleurs comme la Commission Européenne, la Banque Mondiale, les pays scandinaves, le Canada, les USA, etc. la méthode pour circonscrire à bon escient la recherche documentaire : les domaines couverts en évaluation pays/région sont tellement vastes que le risque d'éparpillement est grand. C'est au début de l'évaluation qu'il est généralement fait usage des indicateurs de contexte. Dans une certaine mesure, toutefois, et à un certain degré de détail, les problèmes deviennent communs. Le diagramme permet ainsi de représenter rétrospectivement les étapes de la prise de décision et les principaux flux d'information d'origine externe intervenant dans la formulation de la décision stratégique ou politique. Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des problèmes > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des objectifs et diagramme des effets, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des objectifs et diagramme des effets > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des objectifs et diagramme des effets > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des décisions, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des décisions > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Diagramme des décisions > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Entretien individuel, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Entretien individuel > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Entretien individuel > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Focus group, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Focus group > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Focus group > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Questionnaire, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Questionnaire > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Questionnaire > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Panel d'experts, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Panel d'experts > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Panel d'experts > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Etude de cas, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Etude de cas > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Etude de cas > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Indicateurs de contexte, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Indicateurs de contexte > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Indicateurs de contexte > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > SWOT (Strengths, Weakness, Opportunities, Threats), Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > SWOT (Strengths, Weakness, Opportunities, Threats) > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > SWOT (Strengths, Weakness, Opportunities, Threats) > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse multicritère, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse multicritère > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse multicritère > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse coût-efficacité, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse coût-efficacité > Outil détaillé, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse coût-efficacité > Check-list, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse culturelle et sociale, Evaluation methodological approach > FR: Bases méthodologiques et approche > Outils d'évaluation > Analyse culturelle et sociale > Check-list, An official website of the European Union, L'importance de la recherche documentaire, Diagramme des objectifs et diagramme des effets, Check list à l'usage du gestionnaire de l'évaluation.