La dure vérité sur vos questionnaires

J’écris régulièrement autour des bonnes pratiques concernant la conception de questionnaires, et je souhaiterais aujourd’hui partager avec vous une illustration flagrante de survey fatigue.

Le constat

Dialoog a récemment lancé un beta-test de sa solution d’évaluation de formation. Dans ce cadre, les étudiants d’une grande école ont donc évalué leurs 7 cours en une fois. Pour chaque cours, les élèves devaient répondre à :

  • Deux pages de questions fermées (notes sur une échelle de « pas du tout d’accord » à « tout à fait d’accord »), avec respectivement 5 et 6 questions par page
  • Deux questions ouvertes.

Dans ce cadre, je me suis intéressé à un indicateur en particulier concernant les 14 pages de questions fermées : le taux de répondants ayant sélectionné le même choix pour toutes les réponses de la page. Pourquoi ? Car il s’agit d’une très bonne approximation du taux de participants ayant répondu sans réfléchir. En effet, à part quelques rares coïncidences, les participants cochant toutes les cases d’une même colonne sont souvent en « mode automatique » : ils répondent plus ou moins au hasard et ont surtout envie d’en finir avec le questionnaire.

Je dois admettre que je ne m’attendais pas un résultat aussi flagrant… Voici en vert l’évolution du taux de réponses « sans réfléchir » en fonction du numéro de la page dans le questionnaire :

reponses_automatiques_questionnaire

Qu’est-ce que cela signifie ? D’après la tendance (en rouge), page après page, de plus en plus de participants répondent aux questions sans vraiment réfléchir, jusqu’à frôler les 80% en fin de questionnaire. Par conséquent, la pertinence des réponses à ces questions fermées est toute relative…

Cependant, ces résultats sont-ils bien généralisables ? Ne seraient-ils pas dus à la nature du public, la conception du questionnaire ou autre cas particulier ? Au risque de vous décevoir, je me dois de vous informer que ces résultats sont parfaitement généralisables… et généralisés, même s’ils ne sont que rarement mesurés.

Les solutions

Mais ne nous laissons pas abattre par un constat déprimant ! Il est existe en effet plusieurs solutions à ce problème.

1. Scinder le questionnaire

On y pense étrangement peu souvent, mais mieux vaut proposer plusieurs courts questionnaires qu’un seul bloc interminable. Alternativement, il est possible de laisser les participants s’arrêter en cours de route pour reprendre plus tard le questionnaire où ils l’avaient laissé. Du fait des contraintes liées à ce client, cette solution n’était malheureusement pas applicable dans ce cas précis.

2. Varier les questions

En variant le type de questions et le mode de réflexion des participants d’une question à l’autre, on retarde également l’apparition de la survey fatigue. Pour en savoir plus sur ce phénomène et ses solutions, retrouvez notre article sur le sujet.

Cependant, dans ce cas précis, cette technique n’était pas vraiment envisageable : si l’on souhaite comparer les résultats, il est en effet indispensable de poser les mêmes questions d’un cours à l’autre !

3. Varier l’ordre

Une solution plus applicable à ce cas particulier aurait été de faire évaluer les cours dans un ordre aléatoire, permettant ainsi de lisser la courbe ci-dessus. Bien sûr, on n’aurait pas supprimé l’effet « mode automatique », mais les cours ici notés en dernier en auraient moins pâti, dans la mesure où le « mode automatique » aurait été constant d’un cours à l’autre, autour de 60%, au lieu de culminer à plus de 80%.

Si elle a une efficacité indéniable, cette méthode n’est pourtant guère plus qu’un cache-misère si elle n’est pas couplée à la méthode suivante.

4. Accorder de l’importance aux questions ouvertes

Finalement, il n’existe qu’un seul type de question pour lequel on est certain que la réponse n’est pas automatique : les questions ouvertes, qui suppriment la solutions de facilité de cocher les choix proposés, et nécessitent donc de la réflexion. Le participant ne répondra peut-être pas à toutes les questions ouvertes (et c’est tant mieux), mais on est certain que chacune de ses réponses a véritablement du sens.

Bien sûr, cela ne dispense pas de poser quelques questions fermées ! Mais c’est avec l’intelligence artificielle de Dialoog synthétisant les réponses aux questions ouvertes, et notre tableau de bord croisant intelligemment questions fermées et verbatim, que vous disposez véritablement de toutes les clés pour que vos questionnaires fassent une différence.

Envie d’en savoir plus ?

 

Pierre Simonnin
Cofondateur de Dialoog
Professionnel des séminaires collaboratifs et du questionnement.
Ingénieur des Ponts et Chaussées diplômé d’un MBA en technologie et entrepreneuriat, Pierre a notamment été consultant en stratégie, a créé une première entreprise et a conçu et supervisé de nombreux séminaires collaboratifs avant de créer Dialoog.

Commentaires

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *