Avez-vous vraiment besoin d’un groupe témoin ?

Les groupes témoins sont aujourd’hui devenus le Saint Graal du marketeur. Mais ne serait-ce pas qu’une apparence ?

De nombreux articles en ligne encouragent les tests de groupes témoins. Pour quelle raison ? Peut-être parce que les résultats de cette méthode de test vont bien au-delà des modèles d’attribution classiques.

Ils permettent de mesurer avec précision les revenus incrémentaux qu’une campagne marketing peut générer. Ils sont a priori efficaces, et plutôt faciles à mettre en place.

Qu’est-ce qu’un groupe témoin ?

Commençons par le commencement : qu’est-ce qu’un groupe témoin ?

Un groupe témoin est une portion de votre base de données clients que vous décidez de ne pas exposer à une nouvelle stratégie marketing à tester. Votre groupe test sera lui au contraire exposé à la stratégie à tester.

Comment mettre en place un test de groupe témoin ? Il vous suffit de diviser votre base de données clients en deux groupes, un groupe témoin et un groupe test.

Vous devrez ensuite exposer votre groupe test à la stratégie que vous voulez tester, en vous assurant que votre groupe témoin n’y sera pas exposé.

Ensuite, il vous suffira de mesurer les recettes incrémentales générées par la stratégie testée sur le groupe test.

A priori, rien de bien compliqué.

Mais dans la pratique, c’est autre chose.

Le plus difficile, avec les groupes témoins, n’est pas de les mettre en place. La vraie difficulté viendra lorsque vous aurez à vous pencher sur l’analyse des résultats de votre test et devrez vous assurer de la significativité de vos résultats.

Si votre analyse repose sur des résultats erronés, vous risquez alors une mauvaise interprétation de vos résultats de test, et pire, vous pourriez prendre les mauvaises décisions pour votre entreprise.

Au point par exemple de causer un déclin de la performance de l’intégralité de votre stratégie CRM.

J’imagine bien que ce n’est pas votre objectif.

Pour vous aider à obtenir de bons résultats pour vos futurs tests de groupes témoins, j’ai rassemblé ici quelques conseils pour vous aider à obtenir des résultats pertinents.

Ces conseils reposent sur deux choses :

1. Les bonnes pratiques concernant la méthodologie des groupes témoins, utilisés dans de nombreux domaines, en médecine par exemple, où les groupes témoins sont utilisés pour autoriser un traitement, comme un vaccin contre le Covid.
2. Notre expérience d’entreprise spécialiste du marketing, et les conseils de Nathan, Data Product Manager chez Splio, titulaire d’un doctorat en biologie. Il a mis en place de nombreux groupes témoins, aussi bien pour des campagnes CRM que dans la recherche scientifique. Il a déjà rédigé un article sur les groupes témoins, pour les curieux.

Les groupes témoins ne sont pas la solution à tous les problèmes

Les groupes de contrôle ne s’organisent pas d’un claquement de doigts.

Lorsque vous envisagez de mettre en place un groupe témoin, vous devez donc commencer par vous demander si la méthodologie des groupes témoins est la mieux adaptée à ce que vous cherchez à prouver.

Vous pourrez faire face à deux situations :

• Situation 1 : vous devez comparer deux stratégies : une méthode de ciblage comme Splio avec une méthode de ciblage que vous utilisez déjà. Vous voulez savoir si une méthode est plus efficace qu’une autre.
• Situation 2 : vous envisagez de changer de stratégie marketing et vous vous demandez si c’est la bonne décision pour votre entreprise. Vous envisagez par exemple d’ajouter des campagnes ciblées à votre plan de campagne. Cette approche améliorera-t-elle vos revenus ?

Situation 1

Dans la situation 1, vous êtes confronté à un problème de temps. Vous devez savoir rapidement si vous devez changer votre outil de ciblage et modifier votre stratégie actuelle. Dans ce cas, un groupe témoin ne sera peut-être pas la meilleure solution, car les résultats sont longs à obtenir. Une simple série de tests A/B devrait suffire et vous aidera à définir quelle méthode est la mieux adaptée à vos besoins.

Situation 2

Si vous êtes dans la deuxième situation, vous abordez alors une question plus profonde. En effet, elle impliquera un changement radical de votre stratégie marketing. Dans ce cas-là, vous allez devoir prouver de manière irréfutable que votre nouvelle stratégie est la bonne. Un groupe de contrôle serait ici parfaitement adapté.

Vos contraintes de temps peuvent donc vous orienter sur votre choix d’un test de groupe témoin.

Avez-vous besoin de résultats rapides pour prendre votre décision ? Ou préférez-vous être absolument certain.e que le changement de stratégie que vous vous apprêtez à opérer est le bon pour votre entreprise ?

Un groupe témoin n’est peut-être pas la meilleure réponse à vos questions du quotidien, mais avec le temps nécessaire, vous obtiendrez des preuves suffisantes vous permettant d’ajuster votre stratégie en toute confiance.

Les éléments clés pour mettre en place un groupe témoin

Vous savez maintenant si le test de groupe témoin est adapté à vos besoins.

Si c’est le cas, il vous reste quelques éléments à avoir en tête lors de leur mise en place.

J’ai rassemblé quelques bonnes pratiques pour vous aider à planifier vos tests de la meilleure manière possible et à obtenir des résultats pertinents le plus rapidement possible.

Votre test doit avoir un objectif défini

En fonction de vos besoins, vous devrez définir un objectif unique qui devra refléter ce que vous souhaitez démontrer avec votre test.

Si votre test de groupe témoin doit vous aider à prouver que votre nouvelle stratégie génère du revenu, vous devrez vous concentrer uniquement sur le revenu incrémental généré par cette stratégie.

La mesure de cette valeur sera votre priorité absolue, l’objectif qui définira si votre test a été fructueux ou pas.

Opérez un changement radical pour que vos résultats soient significatifs

Si vous optez pour un test de groupe témoin pour confirmer si votre changement de stratégie est le bon, vous allez devoir changer radicalement certains éléments de votre stratégie pour obtenir des résultats pertinents.

Pas de demi-mesure pour la nouvelle stratégie que vous prévoyez de mettre en place.

Prenons un exemple.

Si l’objectif de votre test est de montrer que vos campagnes Splio ont un impact sur vos revenus, vous allez devoir comparer les résultats obtenus par votre plan marketing avec et sans campagnes Tinyclues.

La seule différence entre votre groupe témoin et votre groupe test doit donc être l’ajout de campagnes Splio à votre planning de campagnes.

Les effets d’une seule campagne seront limités. Je vous conseille donc d’effectuer votre test sur plusieurs campagnes afin d’observer un réel impact : plus vous enverrez de campagnes à votre groupe test, plus vos résultats seront précis, et plus vous générerez de revenus.

La taille compte

J’ai une équation très simple à vous soumettre : plus vous testerez de données, plus vous pourrez avoir confiance en vos résultats.

Un groupe témoin de grande taille permettra de recueillir davantage de données, ce qui réduira l’incertitude et vous aidera à mesurer le revenu incrémental plus rapidement. Par contre, cela signifiera aussi que vous devrez geler une part importante de votre base de données, qui ne sera pas exposée à votre nouvelle stratégie de campagne, ce qui peut représenter une perte de revenus conséquente.

Au contraire, définir un groupe témoin de petite taille signifie que vous récolterez moins de données et aurez besoin de plus de temps pour obtenir des résultats significatifs. Mais c’est une approche plus sûre qui limitera vos pertes de revenus.

Si vous avez besoin de réponses rapides, un groupe témoin de grande taille vous apportera donc des réponses significatives pour prendre les bonnes décisions.

Il est essentiel de vous demander si votre base de données clients est suffisamment étendue pour supporter un test de groupe témoin.

Il y aura en effet une différence entre une base de données de 3 millions ou de 100 000 clients actifs. Cette différence aura un impact direct sur la taille du groupe témoin que vous pourrez définir.

Et comme nous l’avons vu, vous n’obtiendrez pas des résultats significatifs aussi rapidement avec un groupe témoin de 50 000 ou de 2 millions d’utilisateurs.

La patience est de mise

Si vous suivez nos conseils à la lettre et définissez un groupe témoin de grande taille, dans le cadre d’un changement radical de stratégie, alors vous pourrez obtenir des résultats rapidement.

Rapidement certes, mais il faut rester raisonnables.

Le maintien d’un groupe témoin fixe pendant plusieurs mois vous permettra de cumuler les effets de plusieurs campagnes pour améliorer la précision de votre test.

Et c’est bien là votre objectif.

Alors, groupe témoin ou pas ?

Comme nous l’avons vu, les groupes témoins ne conviennent pas à toutes les situations, aussi séduisants soient-ils sur le papier.

Vous allez devoir évaluer vos besoins, vos contraintes de temps, afin de définir la meilleure méthode de test pour vous.

Les quelques bonnes pratiques évoquées plus haut vous permettront d’obtenir des résultats significatifs rapidement avec un groupe témoin mis en place sur vos campagnes marketing.

N’oubliez jamais :

1. Définissez clairement ce que vous souhaitez démontrer : je veux mesurer l’impact de cet outil sur mes revenus CRM.
2. Comparez deux stratégies radicalement différentes pour des résultats significatifs : votre groupe test sera exposé à des campagnes base entière, alors que votre groupe témoin sera gelé et ne sera exposé à aucune campagne.
3. La taille et la patience comptent : n’ayez pas peur de geler 10% de votre base pour une année entière si cela vous permet d’obtenir des résultats probants.

Pour mon prochain article, je vous expliquerai comment évaluer la pertinence statistique des groupes témoins, sur la base d’exemples concrets tirés de mon expérience chez Splio.

On se retrouve bientôt !