Qu’est-ce que l’A/B testing, et comment l’utiliser ?

Qu’est-ce que l’A/B testing ?

L’A/B testing, ou test A/B, voire test multivarié est une procédure utilisée en marketing qui permet de mesurer et comparer l’impact d’un changement de variable sur des résultats. Un test A/B permet donc de tester plusieurs versions d’un contenu digital (page Web, formulaire, email…) et d’identifier la version la plus performante selon l’objectif défini (nombre de visiteurs, clics, inscriptions, ouvertures, taux de rebond…)

Par exemple, il est possible d’A/B tester :

• Le call-to-action d’une page Internet pour identifier le bouton qui génère le plus de clics.

• Le design d’une landing page pour déterminer la mise en page qui convertit le mieux.

• L'image d’un produit d’une page e-commerce pour analyser ce qui vend le plus.

• L’objet d’un email pour sélectionner celui qui génère le taux d’ouverture le plus élevé.

Avec les bons outils, la mise en place de tests A/B est relativement simple. Nous verrons d’ailleurs plus tard dans cet article les outils que vous pouvez utiliser pour vos A/B testings.

Pourquoi faire de l’A/B testing ?

Les tests A/B représentent une méthode simple mais très efficace qui déjà fait ses preuves dans de nombreux domaines du marketing digital.

L’A/B testing permet notamment :

• De construire et de vérifier des hypothèses en identifiant si les changements apportés ont eu un impact.

• De mieux comprendre comment certains éléments peuvent influencer le comportemen des utilisateurs et ainsi d’optimiser leur expérience.

• D'améliorer efficacement les résultats de vos différentes campagnes marketing en capitalisant sur les éléments qui montrent les meilleures performances.

Vous l'aurez compris, la mise en œuvre d'A/B testing est une manière éprouvée de prendre des décisions éclairées, basées sur de la data et non sur une intuition. Les marketeurs ne doivent plus dire « Je pense que... » mais « Je teste ! ».

Split testing et A/B testing : quelles différences ?

Pour les pages de votre site web, vous pouvez avoir recours à ce qu'on appelle le split testing. Contrairement à l’A/B testing qui fonctionne directement à partir de l’éditeur de l’outil utilisé pour créer la page, le split testing héberge les différentes versions d'une page sur des URL distinctes.

Lorsque le split test est lancé, le trafic sur vos pages est aléatoirement réparti sur les différentes versions. Les performances de chacune sont suivies et analysées par l’outil de split testing pour identifier la version qui générera le plus de conversions.

Et là où l’A/B test intervient sur des modifications d’éléments spécifiques proches de l’original, le split testing est surtout utilisé lorsque le design des pages et le contenu de la nouvelle version sont significativement différents de la version originale. Le split testing est très utile en cas de changement majeur du design de votre site internet. Par exemple, si vous envisagez de changer complètement le design de votre page d’accueil, le split testing est l’outil idéal pour vous aider dans l’optimisation de vos conversions.

Comment bien mener un test A/B ?

Tout bon test A/B doit respecter quelques règles essentielles afin d’obtenir les résultats les plus fiables. Nous les avons énumérées ci-dessous.

Règle n°1 : définissez votre objectif

Déterminez la raison pour laquelle vous souhaitez faire le test A/B (augmenter les taux d’ouverture de vos emails, par exemple) et réfléchissez aux modifications qui pourraient vous faire parvenir aux résultats escomptés. Un test A/B ne peut servir à mesurer qu’un objectif. Si c’est toute votre stratégie marketing que vous souhaitez passer en revue, il faudra donc vous armer de patience pour effectuer les différents tests au fur et à mesure, et pour déterminer ce qui fonctionne le mieux pour vos vues, vos ouvertures, vos clics, vos conversions...

Règle n°2 : ne testez qu’un élément à la fois

Tout comme vous ne devez mesurer qu’un type de résultat au gré de vos tests A/B, veillez à ne faire tester qu’une seule variable d’une version à l’autre afin d’être en mesure de déterminer celui qui a un impact sur le résultat de l'expérience menée. Si vous voulez tester plusieurs éléments, réalisez une nouvelle expérience pour chaque élément.

Si vous testez un contenu déjà existant, par exemple si vous voulez tester plusieurs versions d’une page web, la version A existante sera considérée comme la « version de contrôle » et la nouvelle version B comme la « version de traitement ». A la fin du test, la version gagnante sera celle qui sera publiée, envoyée, partagée...

Règle n°3 : vérifiez si vos résultats sont significatifs

La difficulté des tests A/B réside dans le fait d’avoir une taille d’échantillon suffisamment grande. Utilisez un calculateur de taille d’échantillon pour test A/B afin de trouver la quantité appropriée. Tout dépend évidemment de ce que vous mesurez et de votre audience habituelle, mais des échantillons de tests d’au moins 10 % de votre audience habituelle sont un bon point de départ.

En outre, en fonction de ce qui est testé (une page web, un post sur les réseaux sociaux, une newsletter...), il faudra prévoir une durée du test minimale. Cela peut aller de quelques heures (pour les contenus rapidement partagés comme un tweet ou un email), à quelques jours (pour une page web).

Règle n°4 : documentez les tests menés

Il est primordial de documenter et archiver les tests A/B et leurs résultats pour partager efficacement les informations à toutes les personnes concernées et optimiser le processus. En outre, ils serviront de points de comparaison pour vos tests ultérieurs. Car ce qui fonctionne aujourd’hui peut ne plus être aussi efficace demain.

Règle n°5 : testez en permanence

L’A/B testing est un processus d’optimisation continue. À l’issue de chaque test, des enseignements sont tirés et viennent alimenter de nouvelles hypothèses à tester. Alors continuez de tester en permanence. Encore une fois, le marketing est une course de fond à laquelle il faut s’adapter, et pas un sprint !

Quels outils utiliser pour faire de l’A/B testing ?

Faire de l’A/B testing peut-être compliqué si vous l’effectuez seul·e de votre côté. Heureusement, de nombreux outils existent pour vous simplifier la vie.

Pour les pages de votre site : AB Tasty, Convertize, Kameleoon...

Il existe une multitude d’outils pour effectuer votre A/B testing web. En fonction de vos ressources humaines et de vos compétences, vous pourrez favoriser un outil directement intégré à votre back-office, qui nécessitera donc l’intervention de vos équipes de développement, comme Nelio ou Convertize. A contrario, si vos ressources techniques sont limitées, vous pouvez opter pour des outils SaaS, avec des éditeurs en WYSIWYG comme Optimizely ou AB Tasty.

Il est essentiel que vous connaissiez vos besoins en termes de tests, puisque le prix d’une solution d’A/B test peut aller de la gratuité (comme avec Upflowy ou, par le passé, Google Optimize) à plusieurs centaines d’euros par mois. Les services plus chers proposent des démonstrations gratuites, ainsi que des services supplémentaires. Donc veillez bien à... tester vos solutions de tests avant de vous lancer.

Notez par ailleurs que la plupart des outils d’A/B testing permettent également de faire du split test. En fonction des solutions, des différentes versions des pages peuvent être directement hébergées sur leurs plateformes.

Pour vos campagnes emailing : Mailjet

Mailjet est une solution emailing qui proposer un éditeur d’emails intuitif en « drag-and-drop » pour créer, envoyer et suivre vos emails marketing et transactionnels. Parmi les nombreuses fonctionnalités avancées disponibles, Mailjet propose une fonctionnalité d’A/B testing permettant de concevoir jusqu’à 10 versions de vos emails pour maximiser vos chances d’atteindre vos cibles et optimiser les résultats de votre campagne.

Mailjet vous permet ainsi de tester différentes versions de votre message sur une portion de votre liste de contacts. La version la plus performante, selon le critère que vous avez défini (meilleur taux d’ouverture, meilleur taux de clics…) est ensuite envoyée au reste de votre liste. Vous pourrez ainsi vous assurer d’avoir les meilleurs résultats possibles sur la base d’une analyse statistique fiable.

Test A/B et emailing : quels éléments tester ?

Comme mentionné plus haut, l’emailing se prête également très bien aux tests A/B (c’est d’ailleurs pour cette raison que nous avons intégré une fonctionnalité d’A/B testing à Mailjet...) Encore faut-il savoir ce que vous voulez mesurer et améliorer. Voici donc quelques pistes d’éléments de l’email à tester pour améliorer vos campagnes et votre stratégie.

Le nom d’expéditeur et l’objet de l’email

Le nom d’expéditeur - généralement associé à votre marque – et l’objet de l’email sont les tous premiers éléments que vos destinataires voient, avant même d’ouvrir l’email, et pourra justement déterminer ou non leur ouverture. Comme le montre la récente enquête menée par Mailgun (en anglais), c’est avant tout la réputation de la marque qui va pousser les destinataires à ouvrir ou non un email. L’objet arrive en seconde position et semble moins importer.

Vous pouvez donc (et devez !) tester différents noms d’expéditeurs et différentes façons de mettre en avant le nom de votre marque dans ces éléments « pré ouverture », pour déterminer ce qui résonnera le plus chez vos destinataires.

En outre, même si son impact est manifestement moindre sur les destinataires, testez votre ligne d’objet. Chez Mailjet, nous le faisons systématiquement. Voici quelques-uns des objets que nous avons essayés pour souhaiter une bonne année 2024 à nos abonné·es :

• Prêts à vous aider en toutes occasions

• Là pour vous accompagner en toutes circonstances

• Nos vœux de réussite pour toute l’année

• Passez de bonnes fêtes de fin d’année !

Et voici l’objet qui, après tests, a tiré son épingle du jeu :

Les images et le texte

L’engagement de votre lectorat passe également par le contenu que vous leur proposez. En plus des bonnes pratiques de segmentation et de personnalisation permettant d’envoyer un contenu plus pertinent et d’effectuer un meilleur ciblage de vos différents publics, vous pouvez tester l’efficacité des contenus que vous envoyez. Quelles couleurs fonctionnent le mieux ? Des formulations courtes et poussant à l’urgence fonctionnent-elles mieux que des textes explicatifs ? Photos ou illustrations ? A vous de tester tout cela pour mieux comprendre ce qui plaît à votre audience.

Les CTA

Les call-to-action (CTA), ou appels à l’action en bon français, sont les boutons sur lesquels vos destinataires vont cliquer pour consulter vos offres, articles, promotions, livres blancs... bref, tout ce que vous souhaitez qu’ils consultent après avoir lu votre newsletter. Le bon CTA, en conjonction avec le bon contenu, est ce qui générera un taux de clics et un taux de conversion plus important.

Il est donc impératif de tester ces boutons. Devez-vous opter pour des verbes d’action à l’impératif ou à l’infinitif ? Le message doit-il être agressif ou au contraire passif ? Vous aurez les réponses à vos questions grâce aux tests A/B !

Les heures et jours d’envoi

L’optimisation d’une campagne d’emailing passe aussi par le choix du jour et de l’heure d’envoi (et de réception) durant lesquels vos destinataires seront les plus réceptifs. Si des principes généraux existent (ne pas envoyer un lundi matin, distinguer les audiences B2B et B2C...), vous ne pouvez être sûr·e de vous qu’en effectuant des tests. Testez donc différents créneaux horaires sur différents jours pour déterminer quand votre audience ouvre le plus vos campagnes.

Ce qu'il faut retenir

L'A/B testing n'est plus une option. C'est devenue une méthode incontournable pour vous permettre d'améliorer significativement vos résultats, votre retour sur investissement et l’expérience utilisateur. Mais attention, tout le monde n’a pas le même objectif. Avant de vous lancer, choisissez le meilleur outil en fonction de vos besoins et gardez en tête les principales règles à suivre.

Cet article est une version mise à jour de l’article « Qu’est-ce que l’A/B testing, pourquoi et comment l’utiliser ? », publié initialement sur le blog de Mailjet le 26 août 2020 par Julie Paci.