Usage et efficacité
Comment distinguer l’effet du nouveau design de celui d’une campagne publicitaire ?
Pour examiner l’effet du design, comparez des situations aussi proches que possible et documentez ce qui change en même temps. Une campagne plus importante, une offre différente ou une nouvelle composition du trafic peuvent expliquer une partie de l’évolution observée après une refonte. Le constat « les résultats ont augmenté » et l’explication « le design les a fait augmenter » sont deux conclusions de portée différente.
L'essentiel.
Une hausse de résultats après une refonte ne prouve pas que le design l’a causée. Il faut documenter les changements simultanés, préparer des comparaisons crédibles et donner aux conclusions la portée que les données autorisent.
- Conservez un journal des changements de site, d’offre, de campagne et de mesure.
- Définissez avant le lancement les effets que vous souhaitez examiner.
- Utilisez une comparaison contrôlée lorsque le volume et l’architecture le permettent.
- Si plusieurs facteurs restent indissociables, présentez une contribution plausible et documentée plutôt qu’une causalité certaine.
Cette distinction ne retire pas sa valeur au travail créatif. Elle permet de décrire précisément sa contribution : rendre une offre plus claire, faciliter une tâche, améliorer la perception ou réduire une rupture dans le parcours. Ces effets peuvent être étudiés séparément de l’acquisition.
Séparer trois questions souvent mélangées
La première question porte sur l’acquisition : d’où viennent les personnes qui visitent le site ? La deuxième concerne leur comportement : que font-elles lorsqu’elles arrivent ? La troisième cherche une cause : que se serait-il passé si le site n’avait pas changé ? Les rapports habituels ne répondent pas automatiquement aux trois.
Les modèles d’attribution de Google Analytics répartissent un crédit entre des points de contact. Ils ne constituent pas, à eux seuls, une expérience isolant l’effet du nouveau design. Une campagne peut être créditée pour une demande tandis que la nouvelle fiche de service a participé à sa compréhension.
Évitez donc de demander à un seul indicateur d’arbitrer tout le projet. L’origine des visites, la réussite d’une tâche et la qualité perçue doivent être observées avec des méthodes adaptées. Leur articulation peut rendre le dossier plus solide, même lorsqu’aucune mesure unique ne résume le résultat.
Établir l’état de départ et le journal des changements
Avant la refonte, notez les caractéristiques du site, les parcours importants, les campagnes actives et les définitions des événements mesurés. Conservez les principales pages sous forme de captures ou de versions consultables pour comprendre ce qui a été modifié.
Après le lancement, consignez les changements qui pourraient influer sur l’interprétation : dépenses publicitaires, ciblage, prix, disponibilité, contenu de l’offre, saisonnalité, relations presse, incidents techniques. Un changement de formulaire ou de consentement peut également modifier ce que l’outil observe, même si le comportement réel n’a pas évolué de la même manière.
| Changement | Effet possible sur la lecture des résultats | Trace à conserver |
|---|---|---|
| Nouvelle campagne | Public ou intention différents à l’arrivée. | Dates, message, cible et budget. |
| Offre modifiée | Attractivité commerciale différente. | Versions et conditions de l’offre. |
| Refonte du parcours | Compréhension ou effort modifiés. | Pages, étapes et interactions concernées. |
| Plan de mesure changé | Rupture dans la comparaison des données. | Définitions et dates de mise en œuvre. |
Choisir une comparaison proportionnée au projet
Une répartition aléatoire entre deux versions peut aider à isoler un changement lorsqu’elle est correctement conçue. Elle exige cependant une implémentation fiable, une mesure définie et un volume adapté à l’effet recherché. Découper une audience très faible ne produit pas automatiquement une conclusion exploitable.
Si un test contrôlé n’est pas possible, une comparaison avant et après reste utile pour décrire ce qui s’est passé. Rapprochez autant que possible les périodes, les sources de trafic, les appareils et les publics. Cette précaution réduit certains écarts ; elle ne fait pas disparaître les facteurs non observés.
Une troisième voie consiste à tester les parcours et la compréhension sur les versions ancienne et nouvelle avec un protocole explicite. Elle peut documenter des améliorations localisées, sans prétendre calculer leur impact commercial global. Les travaux de Microsoft Research sur les pièges d’interprétation des métriques rappellent que l’existence d’un test ne dispense pas d’examiner la mesure.
Exemple : lancement simultané d’un site et d’une campagne
Imaginons un studio fictif qui refait son site et lance une campagne destinée aux directions marketing. Les demandes augmentent ensuite. Le studio souhaite présenter ce résultat dans son portfolio.
Il peut commencer par décrire honnêtement les deux interventions, puis examiner les demandes par contexte d’arrivée et leur pertinence commerciale. Un test de compréhension peut montrer comment les nouveaux visiteurs expliquent l’offre. Des observations de parcours peuvent repérer si les preuves et le formulaire sont plus faciles à trouver. Ces éléments documentent des contributions différentes.
Si aucune comparaison ne permet de séparer campagne et refonte, le dossier doit le dire. Une formulation telle que « la période de lancement a été accompagnée d’une hausse des demandes, avec une campagne et une refonte simultanées » conserve le fait observé sans fabriquer son explication.
La portée d’une preuve
- ObservationLes résultats changent après le lancement.
- Comparaison documentéePériodes, publics et changements sont examinés.
- Expérience contrôléeUn protocole adapté cherche à isoler une intervention.
Préparer une restitution défendable
Présentez l’objectif, la méthode, les données disponibles et les limites avant la conclusion. Indiquez les dates et les unités : personnes, sessions, demandes ou commandes. Un changement de dénominateur peut faire apparaître une amélioration qui disparaît lorsqu’on compare les mêmes objets.
Dans ses conseils aux candidats américains, Effie demande de contextualiser les résultats et d’examiner les autres facteurs explicatifs. Cette exigence est un repère utile pour votre dossier de projet ; les règles du concours effectivement visé doivent être vérifiées séparément.
Une conclusion prudente peut être très convaincante lorsqu’elle montre précisément ce qui a été amélioré. Une preuve localisée de compréhension ou de réussite d’une tâche est préférable à une hausse globale dont l’origine reste inconnue.
Questions fréquentes
Peut-on mesurer le retour sur investissement d’une direction artistique ?
On peut chercher à documenter ses effets et les coûts du projet. L’attribution financière exige cependant des hypothèses explicites sur les autres facteurs et le délai d’observation. Ne présentez pas un calcul théorique comme une mesure causale si le dispositif ne permet pas cette conclusion.
Faut-il retarder la campagne pour mieux mesurer le site ?
Pas systématiquement. Le calendrier commercial peut être prioritaire. Discutez en amont des possibilités de comparaison, des données à conserver et des conclusions qui resteront accessibles. Le protocole doit servir la décision réelle de l’entreprise, sans immobiliser le lancement pour une précision inaccessible.
Un résultat non concluant signifie-t-il que le design n’apporte rien ?
Non. Il peut refléter une mesure peu sensible, un volume insuffisant ou des effets qui se compensent. Examinez ce que le dispositif pouvait détecter. Distinguez l’absence de preuve disponible d’une preuve d’absence d’effet, puis choisissez une observation plus informative.
Sources
Formuler la contribution du design avec précision
LVX propose d’expliciter les objectifs de perception et d’usage au début du projet. Cela permet de relier les décisions créatives à des observations possibles : lecture de l’offre, reconnaissance de la marque, compréhension d’une réalisation ou continuité d’un parcours. Les équipes marketing et de mesure peuvent alors préparer leur propre dispositif.
Cette méthode évite de demander au portfolio de raconter plus que les données. Elle donne au travail de création une place précise dans une transformation souvent plus large, avec des preuves que le client et le studio peuvent défendre ensemble.
