Comment effectuer un test de bêta fermée avec un budget nul

1,5 mois, plus de 100 entreprises, 20 industries - KeepSolid Sign Story.

L'objectif de cet article: montrer de manière progressive comment nous avons effectué un test bêta fermé pour KeepSolid Sign - dans un temps limité et avec des ressources limitées. Par conséquent, si vous êtes un démarreur, un spécialiste en marketing ou un entrepreneur, et que vous souhaitez donner votre produit MVP ou bêta aux premiers utilisateurs, restez quelques instants à l'écoute.

Lors du développement de votre propre produit, il serait certainement cool de faire tout comme Hotjar.

Mais que se passe-t-il si vous êtes plus limité dans le temps, les personnes, les ressources et le budget?

Et si, malgré cela, vous souhaitez toujours laisser les premiers utilisateurs tester votre produit pour recueillir des informations précieuses, alors que vous êtes encore en phase de développement?

C’est exactement la situation que nous avons connue lorsque nous étions au cœur du développement de notre dernière application, KeepSolid Sign.

C'est un service (évidemment) cool pour les contrats de signature électronique et autres documents. À ce stade, nous avions un peu plus de MVP pour trois plates-formes - MacOS, iOS et Android. Nous avons donc décidé qu’il était temps de mener une version bêta exclusive.

Nous n’avons eu que 2 mois (en réalité, il ne nous a pris que 1,5) pour le terminer, car nous prévoyons une version bêta ouverte pour 4 plates-formes (Windows inclus) et une application Web d’ici la fin du mois de septembre.

Voici donc comment nous avons réussi à obtenir ces résultats modestes mais décents étape par étape.

Étape de préparation

Tout d'abord, nous avons déterminé nos objectifs pour cette bêta fermée comme suit:

  1. Donnez le produit entre les mains des premiers utilisateurs et obtenez des commentaires sur l’apparence actuelle du produit, ses avantages et ses inconvénients.
  2. Comprenez comment les utilisateurs gèrent la signature des documents et des papiers maintenant - quelles solutions ils utilisent, quels sont les avantages et les inconvénients de la solution actuelle, etc. Découvrez comment nous nous en tirons par rapport à la solution qu'ils utilisent maintenant.
  3. Obtenez une meilleure image du développement futur des produits et créez une feuille de route.
  4. Construisez les Personas des clients pour notre produit.

Après avoir défini les objectifs, nous avons élaboré un plan ou un concept de notre test bêta. Nous avons réfléchi aux étapes de la version bêta, décidé de la manière dont nous allions interroger les participants, créé une page de destination et un autre contenu, et développé un système de communication. Plus de détails à venir.

Après en avoir terminé avec le concept bêta et la phase de planification, nous avons commencé à inviter les utilisateurs. Pour cela, nous avons utilisé trois canaux:

  • Notre propre base de courrier électronique des utilisateurs de nos produits précédents (nous a apporté environ 80% des participants)
  • Services spécialisés comme Betabound (~ 18%). Nous avons rassemblé une liste complète dans ce document Google. N'hésitez pas à l'utiliser, à ajouter d'autres services ou à le partager.
  • Reddit (~ 2%)

Cela a abouti à 232 bêta-testeurs (taux de conversion> 62% de ceux qui ont terminé notre enquête préliminaire à ceux qui ont postulé).

Et bien que les deux premières sources s’expliquent assez bien, nous allons expliquer un peu la partie Reddit.

Il est important de noter que nous avons choisi des subreddits qui attirent le type d'audience que nous recherchions - propriétaires de petites entreprises, agents immobiliers, experts en finance, etc. un professionnel. Ensuite, après avoir demandé la permission à leurs administrateurs, nous avons envoyé une invitation à notre bêta fermée.

Voici un exemple de ce post:

Nous avons également choisi les instruments appropriés:

  • Pour créer une page de destination pour la version bêta, nous avons utilisé le service Tilda. Nous l’avons choisie parce qu’elle a une version gratuite estropiée (nous avons finalement acheté un abonnement parce que nous avions besoin de fonctions supplémentaires) et, ce qui est plus important, elle permet de créer de belles pages et de l’effectuer rapidement.
  • Pour l'enquête elle-même, nous avons utilisé Survey Planet. C’est une solution décente, même si elle présente certains défauts dont nous discuterons éventuellement dans un autre article.
  • Nous avons utilisé Calendly (avec un essai gratuit de 2 semaines) pour programmer des appels avec les testeurs ayant accepté ce type d'enquête. Au fait, cela ne s’est pas très bien passé, mais nous y reviendrons plus tard. Et pour les appels, nous avons utilisé Skype, grosse surprise =)
  • Pour l'envoi en masse d'e-mails, nous avons utilisé reply.io. Encore une fois, tout simplement parce qu’il dispose d’un essai gratuit de 2 semaines. Il s’est avéré un très bon service et nous envisageons de nous y abonner.
  • Un autre outil que nous avons utilisé et que les utilisateurs ont particulièrement apprécié est Zendesk, un logiciel de support client basé sur des tickets. De toute évidence, nos testeurs l'utilisent le plus souvent pour nous envoyer des rapports de bogues et autres. Mais ils ont également beaucoup apprécié la possibilité de nous contacter depuis l'application.

Aux affaires

Donc, après avoir été armés et dangereux, nous avons lancé le test bêta.

Au début, nous avions prévu d'affecter deux membres de notre équipe en tant que gestionnaires bêta - un pour les enquêtes sur les appels et un pour les enquêtes en ligne, mais… Lisez la suite pour savoir ce qui s'est passé.

Nous avons commencé par envoyer à tous les participants un formulaire de candidature et une enquête préliminaire. Nous y avons posé des questions générales telles que l’occupation et le poste occupé. La question la plus importante ici était de savoir quelles plates-formes un participant pouvait utiliser pour les tests. Comme nous n'avions à l'époque que KeepSolid Sign disponible pour macOS, iOS et Android, nous devions demander à tous les utilisateurs Windows d'attendre notre prochaine version bêta ouverte.

Une fois que les utilisateurs ont rempli l’application, nous leur avons accordé un abonnement gratuit d’un an à KeepSolid Sign.

Ensuite, nous leur avons demandé de télécharger l'application et de l'utiliser pendant une semaine et demie.

Après cela, nous avons laissé un choix aux testeurs: qu’ils souhaitent passer un questionnaire texte en ligne ou via un appel Skype. Et c’est là que nous avons commis une erreur.

Les utilisateurs étaient encore trop froids, ils ne savaient pas grand chose de nous ou de notre application. Pour cette raison, même si un certain nombre d’entre eux ont accepté de passer un appel, la plupart d’entre eux ont changé d’avis par la suite et se sont tournés vers le sondage en ligne.

Ainsi, à partir de la psychologie classique de la persuasion, si vous souhaitez qu'un utilisateur effectue une action spécifique (remplissez le questionnaire, si tel est votre véritable objectif), offrez-lui une alternative pire (par exemple, avoir un appel téléphonique avec vous). Si vous réussissez à faire participer les gens à l'appel, assurez-vous de faire un suivi après chaque appel et de résumer ce dont vous avez parlé.

En passant, c'est une bonne idée d'enregistrer votre appel avec un utilisateur (essayez Callnote si vous utilisez Skype pour les appels), mais demandez toujours si vous pouvez le faire au préalable. Normalement, cela ne vous dérange pas que vous enregistriez la conversation, il serait poli de leur envoyer l'enregistrement lors de votre suivi.

Le premier sondage en ligne (25% des applications allant de CR à #) consistait en diverses questions sur les participants et sur la manière dont ils utilisaient notre application - à quelle fréquence, à quelles fins, ce genre de choses. Nous lisons les résultats dès que possible après que les testeurs ont passé l’enquête, afin de pouvoir les contacter pour obtenir des informations complémentaires si nécessaire.

Après cela, nous leur avons demandé d'utiliser le signe pendant une autre semaine et demie.

Dans le deuxième et dernier sondage en ligne (> 23% des applications allant de CR à #), nous avons interrogé les testeurs sur notre produit - ce qu’ils aimaient, ce qu’ils n’aimaient pas, les commentaires, etc. Nous avons également demandé à nous évaluer via un formulaire spécial le notre site Web, car ils utilisent Sign depuis quelque temps déjà et pourraient donner une critique équilibrée.

Dans les deux enquêtes, nous avions beaucoup de questions obligatoires. Nous sommes conscients que certains spécialistes du marketing en ont peur, mais nos testeurs ont réagi favorablement. Nous avons également posé des questions plusieurs fois sous différentes formes afin de nous assurer que les réponses couvrent tous les aspects qui nous intéressaient. La durée moyenne des deux enquêtes était de 11 à 12 minutes.

À la fin de la version bêta, nous avons créé une courte vidéo de remerciement, filmée personnellement par nos gestionnaires de la version bêta, que nous avons envoyée à nos utilisateurs, tout en demandant des témoignages;) que nous pouvons utiliser maintenant pour notre site Web.

Leçons apprises

Nous concluons que le test bêta a été un succès et que nous avons réussi à atteindre nos objectifs.

  1. Nous avons beaucoup appris sur la façon dont les utilisateurs perçoivent notre produit, ce qu’ils aiment, ce qu’ils comprennent et ce qu’ils aimeraient y voir. Par exemple, nous avons réalisé que les utilisateurs appréciaient vraiment le fait que Sign soit une application native pour diverses plates-formes, pas seulement une solution de navigateur. Cela seul a amélioré leur expérience grâce à de meilleures performances et à une disponibilité hors connexion.
  2. Nous avons beaucoup d'informations sur la manière dont les utilisateurs signent leurs documents. Par exemple, plus de 30% des personnes interrogées déclarent continuer à utiliser l'approche manuelle «impression - numérisation - signature - envoi». Bien que cela dépende encore beaucoup de la réglementation de l’industrie et des États / gouvernements, le pourcentage d’acceptations de signatures électroniques et numériques est beaucoup plus élevé aux États-Unis et au Royaume-Uni que, par exemple, en Pologne.
  3. Il n’y avait pas assez de testeurs pour créer un échantillonnage statistique légitime et établir une feuille de route solide sur cette base. Nous sommes donc impatients d’ouvrir la bêta ouverte pour résoudre ce problème. Cependant, nous avons clairement compris ce qu'il fallait ajouter à nos fonctionnalités principales (comme ajouter plus d'options pour créer et éditer des signatures ou ajouter des certificats de signature numérique).
  4. Nous avons réussi à définir et à décrire trois personnalités: un propriétaire de petite entreprise, un directeur informatique et un indépendant / pigiste.

Mais la plus grande chose que nous ayons finalement constatée (à notre grand soulagement) est que Sign est réellement commercialement viable et capable de faire face à la concurrence. C’est sans doute la leçon la plus importante que vous puissiez tirer de la réalisation d’un test bêta!

Parmi les leçons les moins importantes:

  • Ne proposez jamais des sondages téléphoniques trop tôt, cela pourrait effrayer votre auditoire.
  • Mais, dans le même temps, n’ignorez pas les enquêtes sur les appels. Malgré quelques appels, ils ont été très utiles et instructifs, et nous recommandons fortement cette méthode.
  • Soyez prêt à modifier votre enquête lors de vos déplacements. Lorsque nous avons commencé à recevoir les premières réponses, nous avons dû ajuster nos questions après avoir réalisé que les utilisateurs ne les percevaient pas comme prévu.
  • Moins vous avez de testeurs, moins vous devriez inclure de questions quantitatives, car les réponses ne seront pas suffisamment représentatives.

Dans l’ensemble, c’était une beta passionnante et sûrement utile.

Comme nous l'avons mentionné précédemment, nous prévoyons bientôt une bêta ouverte (le lancement de l'application sur toutes les plates-formes à la fin du mois de septembre, vous pouvez vous inscrire à notre liste de lancement ici.) Nous sommes impatients d'écrire un autre article à ce sujet. une fois que la version bêta est terminée. Considérez donc cet article comme un début de journal de développeur dans lequel nous décrivons notre travail avec Sign depuis le tout début.

Avez-vous déjà organisé un test bêta? Quelle partie de celle-ci était la plus difficile pour vous? Et si vous ne le souhaitez pas, aimeriez-vous en savoir plus sur notre expérience?

Votre

… Et partager nous encouragerait à écrire plus pour vous. ❤

Suivez-nous et notre parcours pour créer les meilleures solutions de productivité et de sécurité pour les entreprises sur Twitter, Facebook et notre blog.

Cette histoire est publiée dans The Startup, la principale publication de Medium destinée aux entrepreneurs et aux startups.

Vous pouvez vous inscrire pour obtenir les meilleures histoires ici.