top of page

Disponible en :

France.png
usa.png
arabe.png
Kenya.jpg

METHODES

Collecter des données sur des expériences et attitudes sensibles : le cas du Mali

Olivia Bertelli

Économiste, Université Paris-Dauphine, LEDa-DIAL, Paris, France

olivia.bertelli@dauphine.psl.eu


Thomas Calvo

Économiste, IRD, LEDa-DIAL, Paris, France

thomas.calvo@ird.fr


Massa Coulibaly

Économiste, GREAT, Bamako, Mali

massa@greatmali.net


Moussa Coulibaly

Statisticien, GREAT, Bamako, Mali

bamoussa@greatmali.net


Emmanuelle Lavallée

Économiste, Université Paris-Dauphine, LEDa-DIAL, Paris, France

emmanuelle.lavallee@dauphine.psl.eu


Marion Mercier

Économiste, CNRS, LEDa-DIAL, Paris, France

marion.mercier@cnrs.fr


Sandrine Mesplé-Somps

Économiste, IRD, LEDa-DIAL, Paris, France

sandrine.mesple-somps@ird.fr


Ousmane Z. Traoré

Économiste, Université Laval, Québec, Canada

ousmane-z.traore.1@ulaval.ca

numéro :

Théoriser le présent et le futur :
Afrique, production de savoirs et enjeux globaux

Theorizing for the Present and the Future: Africa, Knowledge Creation, and Global Challenges

Makisio ya Sasa na Siku zijazo:
Afrika, Uundaji wa Maarifa na Changamoto za Ulimwengu

التنظيّر للحاضر وللمستقبل: أفريّقيّا، إنتاج المعارف والقضايّا العالميّّة

GAJ numéro 02 première.jpg.jpg

Publié le :

20-déc-23

ISSN : 

3020-0458

04.2023

Dans les enquêtes standards auprès des ménages, les données collectées sont exposées à des biais de réponses, particulièrement pour les questions considérées comme sensibles. La méthode par comptage de réponses est une technique d’enquête alternative permettant de limiter ces biais. Cet article présente les résultats d’une enquête expérimentale menée selon cette méthode auprès de 1 509 individus sur l’ensemble du territoire malien. Les personnes ont été sondées par téléphone durant l’été 2021 à propos d’expériences et d’attitudes politiques liées à l’insécurité. D’un point de vue méthodologique, nous en tirons plusieurs enseignements : entre autres, une très bonne compréhension et acceptabilité de la méthode par les enquêté·e·s, qui tient notamment à la qualité des enquêteur·trice·s et des superviseur·se·s ; la nécessité d’un plan de sondage plus complexe que pour un questionnaire standard ; et l’importance d’un questionnaire court lorsqu’on enquête par téléphone. Du point de vue analytique, l’enquête fait ressortir l’existence de biais déclaratifs significatifs – notamment pour les questions portant sur les préférences politiques en lien avec l’insécurité.


Mots-clés

Enquête téléphonique, biais déclaratif, Mali, List experiment, sécurité

Plan de l'article

Introduction


La méthode de l’enquête

L’échantillonnage

La méthode par comptage de réponses (LE)

Le questionnaire


Les résultats

Assignation des répondants aux groupes de traitement et de contrôle

Déroulement et spécificités de l’enquête

Non-réponse

Prévalences mesurées


Conclusion


Annexes

Annexe A : Modules du questionnaire communs à tou·te·s les enquêté·e·s

Annexe B : Protocole de remplacement

Introduction

Dans les enquêtes standards en face-à-face, certains individus peuvent être réticents à dévoiler des informations personnelles concernant leurs expériences et leurs préférences, par crainte d’un manque de confidentialité ou pour se conformer à la norme sociale prévalente. Les questions sensibles peuvent aussi créer une gêne ou un stress lorsqu’elles portent sur des expériences douloureuses ou des sujets controversés.
Face à ces possibles biais de mesure, l’enquête, ici dénommée « LE Insécurité », a combiné deux méthodes différentes : des questions directes et un protocole expérimental basé sur la méthode par comptage de réponses. Cette dernière évite aux personnes interrogées de dévoiler directement l’information qui les concerne, et permet ainsi, en évitant toute forme d’intrusion, de mesurer les taux de prévalence exempts de biais déclaratifs.
La méthode par comptage de réponses (« LE » pour list experiment, aussi appelée item-count technique) a été mobilisée dans des contextes divers pour documenter les biais déclaratifs portant sur une grande variété de comportements, comme le vote (Holbrook & Krosnick, 2010), l’utilisation de prêts (Karlan & Zinman, 2012), le fait d’avoir subi des actes de violence physique (Porter et al., 2021), les comportements sexuels (Jamison et al., 2013 ; Coffman et al., 2017), l’utilisation de préservatifs chez les travailleuses du sexe (Treibich & Lépine, 2019 ; Lépine et al., 2020) et les violences domestiques ou conjugales (voir par exemple Joseph et al., 2017 ; Agüero et Frisancho, 2022 ; Cullen, 2023). Des LE ont aussi été menées pour mesurer les biais de réponses portant sur les opinons sur le mariage des enfants (Asadullah et al., 2021) ou l’excision (De Cao & Lutz, 2018 ; Gibson et al., 2018).
À notre connaissance, l’efficacité de cette méthode, comparée au questionnement direct, pour mesurer des expériences et attitudes vis-à-vis de l’insécurité dans un contexte de conflit n’a pas encore été examinée par la littérature. C’est l’objectif de l’enquête « LE Insécurité », menée au Mali en juillet 2021[1]. Plus précisément, l’enquête visait à mesurer la prévalence de cinq expériences et attitudes liées à l’insécurité et au conflit au sein de la population malienne, ainsi que les biais déclaratifs qui peuvent caractériser ces questions sensibles lorsqu’elles sont posées de manière directe. Le présent article propose un retour d’expérience sur cette enquête, dans le but d’apprécier, d’une part, la faisabilité d’un dispositif d’enquête LE et, d’autre part, son efficacité par rapport à la méthode standard d’enquête par questions directes, dans le contexte d’un état fragile et autour de questions sensibles liées à l’insécurité.
La base de sondage nationale à partir de laquelle a été sélectionné l’échantillon a été fournie par l’Institut national de la statistique du Mali (Instat). L’enquête a été coordonnée par le groupe de recherche en économie appliquée et théorique (GREAT) à Bamako, et menée du 6 au 20 juillet 2021, par téléphone, par une équipe de 12 enquêteur·trice·s recruté·e·s et formé·e·s par le GREAT, en collaboration avec les concepteur·trice·s de l’enquête. Le choix de mener l’enquête par téléphone a été dicté par le contexte sanitaire lié à l’épidémie de Covid-19. Malgré les risques d’un faible taux de réponse qui caractérise généralement les enquêtes par téléphone, cette stratégie nous a permis d’interroger un échantillon d’individus provenant de toutes les régions du Mali, moyennant un coût relativement modeste. Disposer d’un échantillon couvrant la totalité des régions du pays permet de renforcer la validité de nos résultats au niveau national.
Les résultats principaux montrent que le déroulement de l’enquête par téléphone a été un succès. Sur les 1 719 numéros de téléphone composés, plus de 91 % se sont avérés fonctionnels. Cela a permis de contacter 1 569 personnes sur tout le territoire national, parmi lesquelles seulement 60 n’ont pas consenti à répondre, soit 3,8 %. L’échantillon final de 1 509 individus est composé en parts égales d’hommes et de femmes adultes, d’âge moyen de 42 ans, dont environ 40 % ont terminé l’école primaire, et dont environ 80 % déclarent être mariés.
Les résultats de l’enquête expérimentale montrent des biais déclaratifs substantiels sur les préférences politiques. Ces biais sont plus marginaux sur les expériences liées à l’insécurité. Il apparaît notamment que les répondant·e·s sur-déclarent d’environ 11 points de pourcentage leur soutien à la mise en place d’un régime militaire au Mali et sous-déclarent dans les mêmes proportions leur confiance envers les forces armées étrangères. Ainsi, 63 % des enquêté·e·s pensent que le Mali d’aujourd’hui doit être dirigé par l’armée (alors que 74 % le déclarent) et 36 % (plutôt que 24,7 %) font confiance aux forces armées étrangères. Ces biais de réponse sont assez proches de ceux identifiés par la littérature en sciences politiques concernant le soutien aux régimes en place en Chine et Russie (Blair et al., 2020).
Dans la suite de l’article, nous présentons dans un premier temps la méthode de l’enquête, puis ses principaux résultats en revenant sur le déroulement de l’enquête et les spécificités d’une enquête téléphonique et par comptage de réponses. Ensuite, nous proposons des éléments de discussion et concluons.
 

La méthode de l’enquête


L’échantillonnage

L’Instat nous a fourni l’échantillon de l’enquête harmonisée sur les conditions de vie des ménages de 2018 (EHCVM), représentatif aux niveaux national, régional et urbain/rural. Cette base d’enquête contient 6 602 ménages avec 8 000 individus. Le numéro de téléphone mobile d’au moins un·e membre est disponible pour 92 % de ces ménages.
Afin de constituer notre échantillon, nous avons sélectionné 2 000 numéros de téléphone (un par ménage) par un tirage aléatoire stratifié par région et par sexe. Cet échantillon a été divisé en deux listes, une principale (1 400 individus) et une de remplacement (600). Les personnes sur la liste principale ont d’abord été contactées. En cas d’échec de contact, un autre individu vivant dans la même région a été sélectionné à partir de la liste de remplacement. Plus de détails sur le protocole de remplacement sont fournis dans l’annexe A.
La méthode par comptage de réponses exige la séparation de l’échantillon entre un groupe de contrôle et un groupe de traitement de façon aléatoire. Le fonctionnement de cette méthode est détaillé dans la section suivante. Les deux groupes ont été constitués sur la base d’un tirage aléatoire stratifié par région et par sexe. Les caractéristiques observables des deux groupes, permettant d’apprécier la validité du processus d’assignation aléatoire, sont décrites dans le paragraphe « Assignation des répondants aux groupes de traitement et de contrôle ». Finalement, 1 719 personnes ont été contactées (874 dans le groupe de contrôle, 845 dans le groupe de traitement), et parmi elles, 1 509 ont été jointes par téléphone et ont accepté de répondre au questionnaire (764 dans le groupe de contrôle, 745 dans le groupe de traitement).


La méthode par comptage de réponses (LE)

La méthode par comptage de réponses consiste à lire à l’enquêté·e des listes d’énoncés (dans notre cas, trois ou quatre par liste, selon le statut de traitement), sans qu’il·elle ne réagisse à chacun des énoncés, mais en lui demandant de déclarer le nombre total d’énoncés avec lesquels il·elle est d’accord. Au groupe de traitement sont présentées des listes chacune contenant quatre énoncés, dont un énoncé sensible. Au groupe de contrôle sont présentées les mêmes listes ne contenant que les trois énoncés non sensibles. Cette enquête comprend cinq listes, dans le but de mesurer la prévalence et le biais déclaratif caractérisant cinq expériences ou attitudes liées à l’insécurité.
Pour chaque liste, la comparaison entre la réponse moyenne donnée par le groupe de traitement, qui a répondu à la version de la liste avec l’énoncé sensible, et la réponse moyenne donnée par le groupe de contrôle, qui a répondu à la version sans l’énoncé sensible, fournit la prévalence de l’énoncé sensible. Par ailleurs, nous avons interrogé les individus du groupe de contrôle de façon directe sur les cinq questions sensibles qui font l’objet de l’enquête. La comparaison entre les réponses à ces questions directes et les taux de prévalence mesurés à partir du LE permet d’estimer la taille des biais déclaratifs.
La familiarisation avec la méthode du LE a fait l’objet d’une partie importante de la formation des enquêteur·trice·s. Afin de s’assurer de la bonne compréhension de la méthode par les enquêté·e·s, les enquêteur·trice·s ont notamment été invité·e·s, au début du module LE du questionnaire et après avoir expliqué le format spécifique des questions à venir, à bien expliciter le fait que l’enquêté·e ne doit pas réagir à chaque énoncé mais seulement donner, en fin de liste, le nombre d’énoncés qu’il·elle approuve.
Pour faciliter la compréhension par l’enquêté·e du fonctionnement du LE, les enquêteur·rice·s ont utilisé la liste-test suivante, puis discuté avec l’enquêté·e des différentes options de réponses :
a) J’aime bien discuter avec mes voisins
b) Hier, je suis allé.e au marché
c) Hier, j’ai appelé ma sœur
d) J’ai été malade récemment
En particulier, ils·elles clarifiaient le fait qu’une personne qui, par exemple, aime bien discuter avec ses voisins, n’est pas allée au marché hier, n’a pas appelé sa sœur, mais a été malade récemment, doit répondre : « 2 » (car les affirmations a et d sont vraies dans son cas). Une personne qui n’aime pas beaucoup discuter avec ses voisins et qui n’a pas été malade depuis longtemps mais qui, hier, est allée au marché et a appelé sa sœur, doit également répondre : « 2 » (les affirmations b et c sont vraies dans son cas).
Il était fondamental pour la bonne qualité des données récoltées que les enquêté·e·s comprennent bien le fonctionnement des questions par listes, et donc que les enquêteur·trice·s prennent le temps de l’expliquer de la façon la plus pédagogique possible. Pour que l’enquêté·e arrive à suivre le compte des énoncés avec lesquels il·elle est d’accord, l’enquêteur·trice lui conseillait de commencer chaque liste avec le poing fermé et de lever un doigt à chaque énoncé avec lequel il·elle était d’accord. En fin de liste, il·elle n’avait ainsi qu’à indiquer combien de doigts étaient levés. Les formateur·trice·s ont bien souligné l’importance, dans le cadre de cet exercice, de lire les affirmations calmement et de faire une pause entre chaque énoncé, pour laisser le temps à l’enquêté·e de le comprendre et de décider s’il·elle levait ou non un doigt.
Afin de ne pas introduire de biais liés aux caractéristiques propres à chaque enquêteur·trice, ils·elles n’ont pas été alloué·e·s à un des groupes, mais devaient administrer les deux types de questionnaires en suivant un tirage qui leur était assigné.

Le questionnaire

Le questionnaire comporte trois modules communs à l’ensemble des personnes enquêtées, et un module décliné en deux versions selon que l’enquêté·e est assigné·e au groupe de traitement ou de contrôle. Il est important de mentionner que les enquêté.e.s pouvaient à tout moment interrompre le questionnaire.
Le module d’introduction est commun à tou·te·s. Il permet d’entrer en contact, de présenter l’objet de l’enquête, et d’identifier si la personne contactée est éligible – c’est-à-dire âgée de 18 ans au moins – ou, à défaut, si un·e autre membre de son ménage peut être enquêté·e. Si la personne contactée (ou un·e autre membre de son ménage) est éligible mais indisponible au moment de l’appel, le module d’introduction permet également de fixer un rendez-vous pour poursuivre l’enquête à un autre moment. Enfin, le consentement à participer à l’enquête est recueilli ici.
Une fois le consentement obtenu, le questionnaire proprement dit commence. Le deuxième module (module de caractéristiques générales), également commun à tou·te·s, recueille des informations sur l’âge, le niveau scolaire, le statut matrimonial, la langue maternelle et la commune de résidence. Les individus sont également interrogés sur l’année depuis laquelle ils résident dans leur commune.
Le troisième module concerne notre objet d’étude : les cinq expériences et attitudes liées à l’insécurité. Il est décliné en deux versions, respectivement administrées au groupe de traitement et au groupe de contrôle.
Le groupe de traitement est interrogé sur les cinq expériences et préférences liées à l’insécurité sous la forme de cinq listes. Chaque liste comporte quatre énoncés, parmi lesquels un énoncé sensible – dont on veut mesurer la prévalence. L’enquêteur·trice lit chaque liste à l’enquêté·e et lui demande d’indiquer, à la fin de chaque liste, le nombre total d’énoncés avec lesquelles il·elle est d’accord. L’enquêté·e ne nomme donc pas les énoncés avec lesquelles il·elle est d’accord, il·elle donne seulement le nombre d’énoncés avec lesquelles il·elle est d’accord. Les listes contenant quatre énoncés, la réponse de l’enquêté·e à chaque liste est un chiffre compris entre 0 et 4.
Le groupe de contrôle, quant à lui, est interrogé sur les cinq expériences et préférences sensibles qui font l’objet du module Insécurité de manière traditionnelle : l’enquêteur·trice demande aux enquêté·e·s de répondre directement par Oui ou Non à ces cinq questions. Le groupe de contrôle est également mobilisé pour le list experiment : l’enquêteur·trice lit aux enquêté·e·s du groupe de contrôle les cinq listes desquelles les énoncés sensibles ont été retirés, et leur demande d’indiquer, à la fin de chaque liste, le nombre total d’énoncés avec lesquelles ils·elles sont d’accord. Les listes comptant donc cette fois trois énoncés, les réponses à chaque liste sont comprises entre 0 et 3.
Comme expliqué dans le paragraphe « La méthode par comptage de réponses (LE) », la comparaison entre la réponse moyenne observée pour chaque liste dans le groupe de traitement et dans le groupe de contrôle fournira, pour l’analyse, la mesure de la prévalence de chaque énoncé sensible exempte de biais déclaratifs.
Les listes sont reportées dans le tableau 1, où les énoncés sensibles – lus uniquement au groupe de traitement et posés sous forme de questions directes au groupe de contrôle – apparaissent en italique. Les questions directes posées au groupe de contrôle sont reportées dans le tableau 2. Les enquêté·e·s avaient la possibilité de ne pas répondre/passer toutes les questions directes qui leur étaient posées, aussi bien celles sensibles que les questions posées dans le module Caractéristiques générales.
Enfin, le questionnaire contient un dernier module, commun à toutes les personnes interrogées. Ce module de conclusion permet de remercier l’enquêté·e, de l’informer sur son droit de retrait, et de lui fournir un numéro de téléphone s’il·elle souhaite être mis·e en contact avec des organismes spécialisés dans l’accompagnement de personnes victimes de violence. C’est aussi dans ce module final que l’enquêteur indique la langue utilisée pour l’entretien.
Les modules d’introduction, de consentement et de caractéristiques générales sont reportés en annexe B.
 
Tableau 1 : Listes du module Insécurité

Avec combien de ces énoncés êtes-vous d’accord, entre 0 et 4 ?

1.

Au cours des 12 derniers mois, on m’a demandé de payer un pot-de-vin.

Au cours des 12 derniers mois, les forces de l’ordre ont été généralement efficaces dans ma localité.

Au cours des 12 derniers mois, le nombre d’accidents de la route a augmenté dans ma localité.

Au cours des 12 derniers mois, moi ou un membre de mon ménage a été agressé physiquement à l’extérieur du logement.

2.

Dernièrement, les marchés locaux sont bien approvisionnés.

Il y a souvent des disputes entre les habitants de mon quartier.

Je me sens en sécurité chez moi.

Moi ou un membre de mon ménage possède une arme à feu.

3.

Les routes sont bien entretenues dans ma zone de résidence.

De manière générale, je fais confiance aux étrangers.

Dernièrement, les tensions dans ma zone de résidence se sont apaisées.

Moi ou un membre de mon ménage est prêt à prendre les armes pour défendre notre communauté.

4.

Le réseau électrique est de mauvaise qualité.

La classe politique prend bien en compte les problèmes des Maliens.

Le système de santé public s’est amélioré dernièrement.

Le Mali d’aujourd’hui doit être dirigé par l’armée.

À combien de ces institutions faites-vous confiance, entre 0 et 4 ?

5.

Les forces de l’ordre.

Le système de santé public.

La classe politique malienne.

Les forces armées étrangères au Mali.

 

Tableau 2 : Questions directes du module Insécurité, posées au groupe de contrôle

1. Au cours des 12 derniers mois, est-ce que vous ou un membre de votre ménage a été agressé physiquement à l’extérieur du logement ?

2. Est-ce que vous ou un membre de votre ménage possède une arme à feu ?

3. Est-ce que vous ou un membre de votre ménage est prêt à prendre les armes pour défendre votre communauté ?

4. Est-ce que le Mali d’aujourd’hui doit être dirigé par l’armée ?

5. Faites-vous confiance aux forces armées étrangères au Mali ?

 

Les résultats


Assignation des répondants aux groupes de traitement et de contrôle

La validité du LE repose sur l’assignation aléatoire des répondant·e·s aux groupes de traitement et de contrôle. Afin de vérifier que les deux sous-groupes ne sont pas statistiquement différents l’un de l’autre, le tableau 3 reporte les caractéristiques moyennes des personnes enquêtées selon qu’elles appartiennent aux groupes de traitement ou de contrôle, ainsi que la p-valeur associée à la différence de moyennes entre les deux groupes (t-test sur les moyennes)[2]. Les variables Âge et Date de résidence dans la commune actuelle sont des variables continues. Toutes les autres variables du tableau sont des variables dichotomiques, qui prennent la valeur 1 lorsque la caractéristique est observée chez l’individu. Leurs moyennes peuvent donc être interprétées comme des proportions.
Il apparaît que les deux groupes sont statistiquement similaires. Aucune des différences entre les deux groupes n’est significative, exception faite de la part de personnes qui ont vécu ailleurs que dans la commune de résidence actuelle, la différence étant significative au seuil de 10 %. Aucune différence n’est constatée sur les régions de résidence et la proportion d’hommes (variables de stratification), l’âge, le niveau d’éducation, le fait d’être marié ou les langues maternelles.
L’échantillon est constitué de 54 % d’hommes, d’un âge moyen de l’ordre de 42 ans. Moins de 50 % des répondant·e·s ont achevé le cycle primaire d’éducation, 88 % sont marié·e·s, la moitié parle le bambara comme langue maternelle, et moins de 20 % le sonrhaï. Enfin, ils·elles résident dans leur commune actuelle depuis l’année 1987 en moyenne, et 30 % d’entre eux·elles avaient résidé dans une autre commune antérieurement.
 
Tableau 3 : Caractéristiques moyennes, groupes de traitement et de contrôle

 

(1)

(2)

(1)-(2)

 

Groupe de traitement

Moyenne

Groupe de contrôle

Moyenne

p-valeur de la différence

Région de résidence

 

 

 

 Kayes

0,141

0,144

0,900

 Koulikoro

0,122

0,125

0,855

 Sikasso

0,127

0,133

0,733

 Ségou

0,143

0,130

0,481

 Mopti

0,080

0,082

0,885

 Tombouctou

0,094

0,085

0,510

 Gao

0,097

0,094

0,848

 Kidal

0,021

0,026

0,557

 Bamako

0,175

0,183

0,717

Homme

0,533

0,554

0,399

Âge

41,999

42,529

0,463

A achevé le niveau primaire

0,407

0,391

0,514

Est marié

0,880

0,878

0,918

Langue maternelle : bambara

0,470

0,509

0,132

Langue maternelle : sonrhaï

0,194

0,181

0,534

Autres langues maternelles

0,336

0,310

0,275

Date de résidence dans la commune actuelle

1987

1988

0,438

A vécu ailleurs que dans la commune actuelle

0,304

0,348

0,068*

Vit dans la commune de résidence actuelle depuis 2012 au moins

0,874

0,856

0,307

Nombre d’observations

764

745

 

* p-valeur < 10%

 

Déroulement et spécificités de l’enquête

L’enquête s’est déroulée par téléphone et sur tablette Android, avec le logiciel ODK Collect. Les entretiens téléphoniques ont eu lieu dans les locaux du GREAT. Le questionnaire contenu dans les tablettes était rédigé en français, les traductions étant disponibles en format papier dans les cinq autres langues proposées aux enquêté·e·s : bambara, soninké, tamasheq, peulh, sonrhaï.
La personne enquêtée a choisi la langue de l’entretien. Dans le cas où l’enquêteur·trice ne maîtrisait pas la langue souhaitée, le·la superviseur·se désignait au sein de l’équipe un·e enquêteur·trice en mesure de réaliser l’entretien dans la langue choisie par l’enquêté·e.
L’enquête a été menée exclusivement par téléphone – un format qui peut impliquer des difficultés spécifiques. En comparaison avec un entretien en face-à-face, un entretien téléphonique peut notamment rendre plus difficile la compréhension mutuelle, par exemple parce que les expressions ne sont pas visibles et le son peut être altéré ; et impliquer davantage de sources de déconcentration (coupures de réseau, bruit environnant, difficulté pour l’enquêté·e de s’isoler pour répondre, etc.). La confiance et la patience de l’enquêté·e peuvent aussi être plus difficiles à gagner, et il.elle peut notamment craindre d’être contacté·e par des démarcheur·se·s ou des escrocs.
Pour assurer le succès de l’enquête, la formation au questionnaire a particulièrement mis l’accent sur les particularités de l’entretien téléphonique afin que les enquêteur·trice·s y soient aussi attentif·ive·s que possible. En particulier, la présentation claire de l’institution d’appartenance en tout début d’entretien a fait l’objet d’une attention spécifique. Les enquêteur·trice·s ont aussi été invité.e.s à faire régulièrement des pauses pour s’assurer qu’ils·elles étaient bien entendu·e·s et compris·e·s. Plus prosaïquement, la vérification des niveaux de batterie et de crédit des tablettes et téléphones avant tout appel a été systématique. Par ailleurs, nous avons élaboré le questionnaire le plus parcimonieux possible, de façon à limiter autant que possible la durée des entretiens. Finalement, une vingtaine de minutes en moyenne étaient suffisantes pour réaliser un questionnaire complet.
Conserver l’attention de l’enquêté·e pendant toute la durée de l’entretien téléphonique représentait néanmoins un défi à relever par les enquêteur·trice·s, en même temps qu’ils·elles saisissaient des réponses sur tablette. À cet égard, le temps consacré à la familiarisation aux outils et à l’entraînement sur le questionnaire lors de la formation des enquêteur·trice·s s’est avéré particulièrement utile.
Les superviseur·se·s ont également joué un rôle clé, façonné par la particularité des entretiens téléphoniques. En plus de s’assurer du bon fonctionnement du matériel, ils ont notamment pris en charge l'allocation des enquêté·e·s aux enquêteur·trice·s et leur réallocation en cas d’incompatibilité dans les langues parlées, le suivi des prises de rendez-vous, la mobilisation de la liste de remplacement en cas de besoin. Les superviseur·se·s ont aussi assuré le suivi et le contrôle régulier du travail fourni par les enquêteur·trice·s ainsi que la vérification des questionnaires remplis et incomplets, et la transmission des données collectées au serveur de stockage.
Les personnes enquêté·e·s ont reçu une compensation pour leur participation à hauteur de 1 000 FCFA, sous forme de crédit téléphonique versé au numéro contacté une fois le questionnaire terminé.
 

Non-réponse

Sur les 1 719 numéros de téléphone composés, seulement 41 ne fonctionnaient pas et 109 n’ont jamais répondu (après plusieurs tentatives sur plusieurs jours). Plus de 91 % des numéros se sont donc avérés fonctionnels. Cela représente un succès, dans la mesure où ces numéros avaient été collectés trois ans auparavant. Un autre succès de l’enquête réside dans le taux de consentement. Dans le strict respect des protocoles d’éthique en vigueur, une fois la prise de contact effectuée, l’enquêteur·trice devait expliquer l’objet de l’enquête et demander le consentement à mener l’enquête. Sur les 1 569 personnes contactées, seulement 60 n’ont pas consenti à répondre, soit 3,8%.
Au total 210 personnes n’ont donc pu être enquêtées, ce qui correspond à un taux de non-réponse d’environ 12 % (tableau 4). Fait intéressant et rassurant, la probabilité de non-réponse au niveau individuel n’est pas fonction du groupe d’assignation (traitement ou contrôle) des personnes contactées.
Cependant, un certain nombre de membres du groupe de contrôle n’a pas souhaité répondre à certaines des questions sensibles posées directement : seulement 0,3 % pour les deux premières questions, 3,3 % (25 observations) pour la troisième question (Est-ce que vous, ou un membre de votre ménage, êtes prêt à prendre les armes pour défendre votre communauté ?), 13 % (99 observations) pour la quatrième question (Est-ce que le Mali d’aujourd’hui doit être dirigé par l’armée ?) et 9,3 % (71 observations) pour la cinquième question (Faites-vous confiance aux forces armées étrangères au Mali ?). Ces refus de répondre pourraient suggérer un degré plus élevé de sensibilité des questions concernées.
 
Tableau 4 : Nombre de non-répondants et taux de non-réponse total et par groupes

 

Échantillon total

Groupe de traitement

Groupe de contrôle

Nombre de numéros de téléphone composés

1 719

845

874

Nombre de numéros manquants

210

100

110

 Numéros sans réponses

150

63

87

 Réponses mais pas de consentement

60

37

23

Taux de non-réponse

12,2 %

11,8 %

12,6 %

 

Prévalences mesurées 

L’utilisation de la méthode LE permet de calculer des taux de prévalence exempts de biais déclaratif de cinq expériences et attitudes liées à l’insécurité au Mali. Spécifiquement, pour chacune des cinq questions posées sous forme de LE, nous comparons la réponse moyenne obtenue dans les groupes de traitement et de contrôle à l’aide d’une régression contrôlant pour les variables de stratification (région et genre), ainsi que pour des effets fixes par enquêteur·trice. Ceci permet de s’assurer de la validité de l’assignation aléatoire aux groupes, et de corriger pour d’éventuelles différences systématiques entre enquêteur·trice·s. La différence estimée entre les deux réponses moyennes représente ainsi le taux de prévalence de l’énoncé sensible.
Le tableau 5 présente les résultats. La première ligne du tableau montre les niveaux tels que mesurés avec un questionnement direct ; sur la deuxième ligne figurent les écarts entre les taux de prévalence issus du questionnement direct et ceux en LE. Enfin, la dernière ligne montre les taux de prévalence sans biais estimés grâce à la méthode LE. Sur la base des réponses obtenues avec le LE, il apparaît que 17,1 % des répondant·e·s, ou un membre de leur ménage, ont subi une agression physique dans les douze derniers mois (Q1). 16,9 % des ménages des répondant·e·s possèdent une arme à feu (Q2). Dans un pays en conflit depuis presque une décennie, 30,4 % des répondant·e·s comptent un·e membre de leur ménage prêt·e à prendre les armes pour défendre sa communauté (Q3). Enfin, quelques semaines après le coup d’État de mai 2021 et après huit ans de présence militaire étrangère, 63,2 % des personnes enquêtées considèrent que l’armée doit être à la tête du pays (Q4), et 36,3 % font confiance aux forces étrangères présentes au Mali (Q5).
Par ailleurs, le protocole révèle que les biais déclaratifs sont importants avec la méthode directe pour les réponses portant sur les préférences politiques, mais moins pour celles sur les expériences liées à l’insécurité. Il apparaît notamment que les répondant·e·s sur-déclarent d’environ 11 points de pourcentage leur soutien à la mise en œuvre d’un régime militaire et sous-déclarent dans les mêmes proportions leur confiance envers les forces étrangères. Ces résultats peuvent être rapprochés de ceux relevés dans une méta-analyse effectuée par Blair et al. (2020). Les 21 études répertoriées menées dans des régimes autoritaires, essentiellement la Chine et la Russie, estiment aussi des biais de réponses aux questions posées directement sur le soutien au régime en place ou sur l’opposition à de tels régimes. Les tailles des biais estimés sont très cohérentes avec nos résultats, puisqu’elles s’élèvent en moyenne à 14 et 8 points de pourcentage selon qu’est mesuré le soutien ou l’opposition au régime.
 
Tableau 5 : Taux de prévalence des questions sensibles par technique d’enquête et biais de réponse estimé

 

Q1

Q2

Q3

Q4

Q5

Question directe (%)

12,2

11,2

30,9

74,0

24,7

(écart-type)

(1,2)

(1,1)

(1,7)

(1,7)

(1,6)

Biais

4,9

5,7

– 0,5

– 10,8

11,6

(écart-type)

(4,8)

(4,5)

(5,0)

(4,8)

(5,4)

Vraie prévalence estimée (%)

17,1

16,9

30,4

63,2

36,3

N. Obs. LE

1 509

1 509

1 509

1 509

1 509

N. Obs. Question directe

761

760

739

665

693

 

Conclusion

Plusieurs enseignements peuvent être tirés de l’enquête « LE Insécurité » menée en juillet 2021 en partenariat avec le GREAT, aussi bien concernant la collecte des données que leur analyse.
Concernant la collecte des données, le protocole d’enquête par list experiment apparaît être un outil très riche mais également complexe à mettre en place. L’expérience du projet « LE Insécurité » semble notamment montrer que le succès d’une enquête expérimentale avec LE repose largement sur les compétences des enquêteur·trice·s recruté·e·s et sur la qualité de la formation au questionnaire. D’autre part, une enquête par téléphone demande des ajustements particuliers. Dans le cas présent, le taux de contact a finalement été élevé et la non-réponse rare – alors que l’usage de la téléphonie mobile dans un pays comme le Mali, et notamment l’habitude de changer régulièrement de puce téléphonique, faisait craindre de grandes difficultés à contacter des numéros collectés trois ans plus tôt. Ce taux élevé de contact a vraisemblablement reposé, au moins en partie, sur (i) un échantillonnage flexible, n’imposant pas que le contact soit établi avec la personne ayant déclaré le numéro de téléphone concerné dans la base de sondage utilisée ; (ii) une rigueur particulière des enquêteur·trice·s et supervieur·se·s dans le suivi des tentatives d’appels et des rappels ; et (iii) un protocole de remplacement permettant de compenser les quelques difficultés de contact rencontrées.
Concernant l’analyse des données, la méthode LE offre des possibilités vastes pour produire des mesures sans biais d’expériences et de préférences potentiellement sensibles, mais également pour quantifier les biais de réponse qui peuvent les caractériser lorsqu’elles sont mesurées par questions directes. Les résultats de l’analyse des données collectées par l’enquête LE Insécurité sont prometteurs dans ces deux directions. L’exploration des données permettra également de souligner d’éventuelles hétérogénéités dans les biais de mesure et ainsi d’identifier des segments de la population dont les expériences et préférences peuvent être particulièrement difficiles à mesurer de façon standard. Un tel enseignement pourrait s’avérer particulièrement important pour le ciblage et l’évaluation des politiques publiques liées à l’insécurité, par exemple dans une perspective de prise en charge des victimes ou de désarmement.


Annexes


Annexe A : Modules du questionnaire communs à tou·te·s les enquêté·e·s


Module Introduction

0.1

Êtes-vous bien M/Mme [NOM PRÉNOM] ?

Oui > 0.2

Non > 0.1.b

0.1.b

Quel est votre prénom ?

Écrire le prénom

0.2

Avez-vous 18 ans ou plus ?

Oui

Non > Remplacement

0.3

Enquêteur notez le sexe de la personne enquêtée

Homme

Femme

0.4

Enquêteur notez en quelle langue l’enquête peut avoir lieu

Bambara > Consentement

Soninké > Consentement

Tamacheck > Consentement

Foulfouldé > Consentement

Songhaï > Consentement

Français > Consentement

Pas de langue commune > Fin du questionnaire

 

Bloc Remplacement

R1

Puis-je parler à une personne âgée de 18 ans ou plus faisant partie de votre ménage svp ?

Oui

Oui, mais pas maintenant > R6

Non > Fin du questionnaire

R2

Avez-vous 18 ans ou plus ?

Oui

Non > R1

R3

Enquêteur notez le sexe de la personne enquêtée

Homme

Femme

R4

Quel est votre prénom ?

Écrire le prénom

R5

Enquêteur notez en quelle langue l’enquête peut avoir lieu

Bambara > Consentement

Soninké > Consentement

Tamacheck > Consentement

Foulfouldé > Consentement

Songhaï > Consentement

Français > Consentement

Pas de langue commune > Fin du questionnaire

R6

Pouvez-vous me donner le prénom d’une personne âgée de 18 ans ou plus faisant partie de votre ménage ?

Oui > Écrire le prénom

Non > Fin de questionnaire

R7

À quel numéro puis-je la joindre svp ?

À ce même numéro

À un autre numéro > Écrire le numéro de téléphone

À un autre numéro que je ne connais pas

R8

Savez-vous à quel moment je peux la joindre ?

Mois

Jour

Matin/Après-midi/Soir

Ne sait pas

  

Bloc Suite à la prise de rendez-vous

P1

Êtes-vous bien [NOM PRÉNOM] ?

Oui > P2

Non > P1.b

P1.b

Quel est votre prénom ?

Écrire le prénom

P2

Avez-vous 18 ans ou plus?

Oui

Non > Remplacement

P3

Enquêteur notez le sexe de la personne enquêtée

Homme

Femme

P4

Enquêteur notez en quelle langue l’enquête peut avoir lieu

Bambara > Consentement

Soninké > Consentement

Tamacheck > Consentement

Foulfouldé > Consentement

Songhaï > Consentement

Français > Consentement

Pas de langue commune > Fin du questionnaire

 

Module de consentement

C0

Avez-vous bien compris et êtes-vous d’accord pour participer à cette enquête ?

Oui > Caractéristiques

Oui, mais pas maintenant car je n’ai pas le temps > C1

Non > Fin du questionnaire

C1

Puis-je vous recontacter à un autre moment ?

Oui

Non > Fin du questionnaire

C2

Prise de RDV

Mois

Jour

Heure

 

Module de caractéristiques générales 

A1

Quel est votre âge ?

Écrire l’âge

A2

Avez-vous terminé le niveau fondamental 1 ?

Oui

Non

A3

Quel est votre statut matrimonial ?

Marié(e) monogame

Marié(e) polygame

Union libre

Célibataire (jamais marié(e))

Divorcé(e) / séparé(e)

Veuf (veuve)

A4

Quelle est votre langue maternelle ?

Sélectionner la langue

A5

Quelle est votre région de résidence ?

Sélectionner la région

A6

Quel est votre cercle de résidence ?

Sélectionner le cercle

A7

Quelle est votre commune de résidence ?

Sélectionner la commune

A8

Depuis quand résidez-vous dans cette commune ?

Depuis toujours

Depuis [année]

  

Annexe B : Protocole de remplacement


Comme expliqué dans le paragraphe « L’échantillonnage », l’échantillon de 2 000 numéros de téléphone a été divisé aléatoirement en une liste principale de 1 400 numéros, et une autre de remplacement de 600 numéros. La liste de remplacement a été mobilisée lorsqu’un numéro de la liste principale ne pouvait faire l’objet d’une enquête, en particulier en cas de numéro non attribué, de refus de participer, ou d’absence de personne éligible dans le ménage.

Plus précisément, les 1 400 numéros de téléphone de la liste principale ont été répartis entre les 12 enquêteur·trices de l’équipe. En cas d’échec d’un appel, l’enquêteur·trice était invité·e à indiquer si le numéro était non attribué ou si le téléphone n’avait pas été décroché. Dans le premier cas, la liste de remplacement était mobilisée par le·la superviseur·se pour fournir à l’enquêteur·trice un numéro de téléphone alternatif ayant le même statut de traitement, en veillant à respecter l’équilibre du tirage par région. Dans le second cas, l’enquêteur·trice rappelait le numéro trois fois par jour, pendant trois jours, avant de solliciter un numéro de remplacement.

Notons que, si la base de sondage EHCVM fournissait l’identité du propriétaire de chaque numéro de téléphone en 2018, ainsi qu’un ensemble de ses caractéristiques, le protocole d’enquête n’imposait pas que la personne ayant répondu à l’EHCVM soit retrouvée. En particulier, l’enquête « LE Insécurité » a été proposée, et administrée en cas de consentement, à toute personne éligible (c’est-à-dire majeure) ayant répondu à un numéro de téléphone échantillonné.

En cas de contact téléphonique avec une personne non éligible (personne âgée de moins de 18 ans), l’enquêteur·trice cherchait à établir le contact avec un membre éligible du même ménage – soit directement pendant ce premier appel, soit en rappelant au même numéro ou à un numéro alternatif indiqué par l’interlocuteur·trice, au moment opportun.

Le protocole de prise de contact et de remplacement est résumé dans la figure 1.

Les 12 enquêteur·trice·s du GREAT ont finalement mené l’enquête auprès d’un échantillon de 1 509 personnes : 764 dans le groupe de contrôle et 745 dans le groupe de traitement.

 

Figure 1 : Protocole de prise de contact et de remplacement 


Notes

[1] Cette enquête a été conçue par Olivia Bertelli, Thomas Calvo, Emmanuelle Lavallée, Marion Mercier et Sandrine Mesplé-Somps du centre de recherche français LEDa-DIAL, université Paris-Dauphine. Elle a été réalisée dans le cadre du groupement de recherche international – Sud « Mesurer et observer les violences. Violences de genre et de conflits dans les pays en voie de développement » (GDRI-MOV), financé par l’Institut de recherche pour le développement (IRD).

[2] L’ensemble des résultats statistiques présenté dans cet article a été obtenu à l’aide du logiciel Stata.

Bibliographie