Что такое A/B тестирование: зачем и кому нужно, как его проводить + список инструментов

Каждому бизнесу требуется развитие, движение вперед. Иначе происходит деградация. Чтобы этого избежать, иногда приходится вносить изменения в привычную организацию трудового процесса: расширять каталоги, добавлять новые услуги, запускать рекламу, улучшать качество выпускаемого продукта и т. д.

Одним из главных инструментов продвижения компании является сайт. Он также требует регулярного обновления для повышения конверсии. Чтобы узнать заранее, насколько эффективным окажется то или иное мероприятие по развитию ресурса, применяются A/B-тесты.

Они позволяют организовать проверку гипотез, на практике проанализировать поведение потенциальных клиентов. Так, предприниматель может принять решение, нужно ли вносить правки в работу веб-страницы или они не принесут ожидаемого результата.

Что такое А/В-тестирование простыми словами

A/B-тестирование (или сплит-тестирование) — это способ проведения маркетингового исследования разных этапов воронки продаж или интерфейса, дизайна сайта с целью оценки их эффективности.

Оно выполняется методом сравнения двух версий страницы или решений, принимаемых в ходе этапа. Во время тестирования обычно оцениваются следующие факторы:

• количественные показатели;
• дизайн;
• реакция на призывы к действиям и т. п.

Задача специалиста — выявить и внедрить те элементы, которые позволят улучшить результат от работы сайта или этапа.

С помощью А/B-экспериментов можно управлять конверсией, поддерживать спрос, увеличивать прибыль от проекта.

В начале сплит-тестирования маркетолог оценивает метрику уже функционирующей, контрольной единицы «А», планирует действия по ее улучшению.

Допустим, его задача — сделать конверсию в клик больше: не 2%, а 3%. Он предполагает, что повлиять на результативность может смена цвета кнопки с бледного на ярко-красный. Чтобы понять, увеличит ли это коэффициент эффективности, создается другая страница — «В», трафик, который идет с рекламы, делится на 2 части.

Далее применяются инструменты A/B-теста, чтобы разделить трафик поровну между страницами «А» и «B». Предполагается, что теперь половина пользователей будет попадать на первый вариант, половина — на второй.

Как только будет собрано достаточное количество данных, тестирование завершается. Если коэффициент эффективности второй страницы увеличился (например, стала 2.2%), это говорит о том, что смена цвета кнопки — верное решение, влияющее на результативность. Однако, показатель не достиг поставленной цели, а значит продолжается поиск других способов его увеличения. При этом версия «В» в новом тестировании становится контрольной — «А».

История появления А/В-тестирования

Установить точную дату появления метода довольно сложно, однако известно, что уже в 1835 году существовал прототип современных А/B-тестов. Тогда исследователи выполняли рандомизированное двойное испытание, чтобы оценить эффективность гомеопатических препаратов.

В начале XX века эксперименты стали практиковаться с рекламными кампаниями. Клод Хопкинс стал использовать специальные купоны, чтобы оценить, насколько его реклама эффективна. Но тогда еще не существовало понятий «статистической значимости» и «нулевой гипотезы», которые активно применяются сегодня.

В 1908 г. Уильям Сили Госсет работал над оценкой качества пива в компании Гиннесс. Тогда он изменил Z-критерий на t-критерий и стал использовать его для проверки гипотез.

По мере развития интернета и растущей популярности веб-ресурсов, стала расширяться выборка населения. Владельцы начали задумываться об увеличении их коэффициента эффективности. Для этого они стали менять различные элементы страниц, чтобы повысить их привлекательность для пользователей.

В 2000 г. корпорация Google осуществила свой первый A/B-тест для определения оптимального количества результатов для отображения на поиске. Первое тестирование оказалось неинформативным из-за медленной загрузки. Но после этого метод становится все более продвинутым. К 2011 г. на счету компании было около 7000 А/B-экспериментов.

В 2012 г. в Microsoft в рамках улучшения работы поиска Bing провел эксперимент-тестирование, чтобы проверить, какие рекламные заголовки наиболее удачны. За несколько часов доходы увеличились на 12%, благодаря демонстрации альтернативного варианта.

По мере развития популярности гаджетов тестирование стало применяться и для мобильных приложений. Сегодня спланированный эксперимент применяется во многих компаниях в процессе маркетинга. Например, Microsot и Google ежегодно практикуют около 10 000 таких исследований. С каждым годом происходит постоянное наращивание возможностей и опыта.

Зачем нужно А/В-тестирование

С помощью А/B-тестирования специалисты анализируют, насколько то или иное изменение необходимо для успешной и прибыльной работы сайта. Обычно этот показатель оценивается по конверсии (процентному выражению числа пользователей, совершивших какое-либо действие на ресурсе, по отношению к общему числу посетителей).

Например, одна компания решила сделать больше шрифт. В итоге коэффициент эффективности увеличился на 20%. На основе этого маркетологи сделали вывод: исправление шрифта – удачная идея.

Другая компания решила добавить иконки в меню для большей привлекательности интерфейса. Однако, конверсия стала падать. Их аудитории оформление показалось перегруженным и стало отпугивать. Тогда вернули первоначальный вариант дизайна меню.

Интерфейс страниц состоит из различных компонентов. Заранее предсказать, изменение каких именно данных увеличит прибыль почти невозможно. Часто требуется эксперимент, тестовый запуск, который покажет конкретные количественные итоги. На их основе принимается четкое, взвешенное решение.

Аудитория разная, в зависимости от региона, пола, возраста, времени дня или года и других сотен факторов. Ее поведение непредсказуемо. Поэтому важно практическое исследование.

Кому нужно А/В-тестирование

Проведение А/B-тестов прежде всего необходимо бизнесу: всем, кто хочет выйти на новый уровень продаж, улучшить качество работы, сделать продукт более оптимизированным для клиентов:

• продакт-менеджерам для экспериментов с переоценкой товаров, повышения прибыли, оптимизации стратегии продаж;
• маркетологам для проверки реакции потенциальных клиентов на новые элементы привлечения внимания;
• дизайнерам для опытов по внедрению новых цветовых решений или графики в оформление и т. д.

А/B-тестирование помогает понять, что улучшить, а также как не сделать товар или услугу хуже. Это тоже является важной задачей этих специалистов.

При получении объективных данных происходит более быстрое продвижение на рынке, ведь информация поступает непосредственно от целевой аудитории. Покупатель лучше знает, что ему требуется. Если при развитии продукта учитывать только собственные субъективные взгляды, это может сильно затормозить процесс.

Если ориентироваться только на личные ощущения, то конкуренты, которые проведут тщательный анализ метрики, легко вас обойдут и предложат потребителям тот вариант, который им нужен. Поэтому без А/B-тестирования сегодня не может обойтись ни один проект (приложения, товары, услуги и т. д.).

Какие элементы обычно тестируют в A/B тестах

В ходе А/B-тестирования происходит оценка разных параметров. Их выбор зависит от цели исследования. Например, маркетологи обычно тестируют следующие элементы:

• текст (шрифт, размер, цвет, форматирование);
• конверсионные элементы (размер, цвет, дизайн, расположение);
• заголовки и описания продуктов или услуг;
• общий внешний вид, их макеты;
• стоимость товаров;
• составляющие компоненты предложения для клиентов;
• изображение товаров;
• количество контента и т. д.

Скажем, если маркетолог видит, что большее число посетителей ресурса покидают его спустя всего несколько секунд, возможно, стоит усовершенствовать визуальное оформление главной страницы.

Если зафиксирован низкий показатель заявок, скорее всего, в исправлении нуждаются конверсионные элементы или интерфейс регистрационной формы.

Опытным путем в ходе сплит-тестирования выясняется, какой именно вариант оформления кнопок или текста будет самым удачным.

Какие задачи бизнеса решают А/В-тесты

С помощью А/B-тестов можно помочь предпринимательству с достижением следующих целей:

1. Решить проблемы клиентов

Посетители хотят от сайта решения конкретной задачи – узнать информацию о цене или о характеристиках товара, условиях совершение покупки и т. д.

Для большего коэффициента эффективности важно обеспечить доступность и простоту совершения необходимых действий. Скажем, кнопка «Покупка» должна сразу бросаться в глаза потенциальным покупателям.

С помощью сплит-тестов определяется, что именно хотелось бы потребителю в любой сфере предпринимательства.

2. Обеспечить лучшую окупаемость вложенных средств

С помощью тестов повышается качество трафика, позитивно влияющего на увеличение конверсии и прибыли. Иногда для этого достаточно внести небольшие правки.

3. Уменьшить количество отказов

Для этого важно понять причину, почему люди уходят без покупки или регистрации. У тех или иных ресурсов разные аудитории и цели, поэтому не существует универсальной причины.

Поиск оптимального решения осуществляется с помощью А/B-тестирования. Методом подбора специалист делает ресурс максимально удобным для аудитории, чтобы те находились на нем больше времени.

4. Снизить риски при внедрении изменений

Если принято решение изменить дизайн, лучше это делать постепенно, чтобы не бросалось в глаза и не вызывало негатива у его гостей. Так удастся максимально сохранить конверсию.

С помощью A/B-тестов отслеживается реакция на обновления и внедряются исправления по чуть-чуть, чтобы те оказались успешными и окупились.

5. Обеспечить улучшение значимых метрик

В результате сплит-тестирования специалист получит четкие данные (число запросов; время, проведенное пользователями; число закрытых «Корзин» без покупок и пр.), и ему не придется гадать, где есть провалы по итогам – а значит, сможет вовремя исправить ошибки.

6. Улучшить юзабилити сайта

К нему относится глобальная смена всей концепции оформления, либо изменение отдельных небольших компонентов для лучшего пользовательского опыта. При этом важно руководствоваться результатами А/B-тестирования.

Какая бы цель ни стояла перед специалистами, А/B-тесты помогают убедиться, что сейчас используется лучший вариант.

Что именно улучшат А/В-тесты

Все показатели, оптимизируемые с помощью A/B-тестов, разделяются на несколько категорий:

1. Конверсия

Объем посетителей, которые совершают целевые действия. При успешном изменении страниц, посетители начинают чаще проходить регистрацию, подписываться на рассылки, больше покупать товары. Так, она увеличивается.

2. Финансы

Прибыль, которую приносит веб-ресурс. Самая главная цель любого бизнеса – увеличение этого показателя. Чем приятнее интерфейс ресурса, тем чаще у покупателей будет возникать желание что-либо приобрести.

Параметр имеет конкретное количественное выражение. Он измеряется по нескольким факторам: объем продаж за месяц, средний чек, стоимость рекламы и т. д.

Для его увеличения используются специальные методики. Например, внедрить Suggestive-алгоритм, который оценивает выбор покупателя и предлагает ему товары, похожие на те, что он уже купил или просто просматривал.

3. Поведение

Оценка действий аудитории ресурса: время, объем постоянных пользователей, отказы и т. п.

Список инструментов для А/В-тестирования

A/B-тесты проводятся вручную или с помощью специализированных инструментов. Рассмотрим самые популярные из них:

Google Оптимизация

Бесплатный инструмент от Google, который доступен на базе Google Marketing Platform. Он позволяет выполнять а/b тестирование элементов для увеличения трафика: заголовков, шрифтов, конверсионных элементов, форм, изображений и т. д.

Optimizely

В отличие от Google, программное обеспечение платное, цена обговаривается индивидуально с каждым покупателем в отделе продаж. А/B-тесты создаются в визуальном редакторе. Это удобно, так как избавляет от необходимости создания HTML-кодов. Optimizely полностью интегрируется с Google Analytics.

Сервис Visual Website Optimizer

Тоже платный, стоимость 1 месяца от 99 до 999$, в зависимости от потребностей. Помогает создавать тестирования компонентов через HTML-коды.

Unbounce

Платное ПО для создания лендингов, стоимость от 79 до 399$ в месяц. Позволяет не только создавать страницы, но и оптимизировать их, практиковать a\b-тесты.

Как провести успешное А/В-тестирование

Чтобы успешно провести a\b-тестирование, следует выполнять его поэтапно:

1. Оценить необходимость проведения тестирования

A/B-тесты – один из лучших инструментов для оптимизации работы сайта, но для его запуска нужна четкая гипотеза, постоянное число посетителей, стабильная конверсия, постоянная аналитика процессов. Если какого-либо компонента пока нет, больше подойдут другие инструменты.

2. Сформулировать гипотезу

Гипотеза – основа всего исследования. Важно понимать, зачем нужно сравнение двух вариантов.

Если гипотезы пока нет, допустимо провести опрос среди покупателей, например, узнать, за что они выбирают вашу компанию, изучить статистику о поведении посетителей. Для этого удобно использовать вебвизор – инструмент, который записывает действия посетителей на вашем ресурсе.

3. Определение целевых показателей

То есть критериев, по которым будет производиться оценка сервиса (заявки, отказы, секунды или минуты, проведенные на странице, регистрации, покупки, средняя сумма чека и пр.). Их выбор зависит от проблемы, которую решает маркетолог.

Главное, обеспечить фиксацию метрики на сайте, чтобы она отражалась количественными показателями результатов.

4. Выбрать один элемент тестирования

Например, шрифт, заголовок, изображение. Нельзя начинать сплит-тест сразу на нескольких компонентах, в противном случае, будет сложно понять, что именно повлияло на метрику.

5. Определить выборку

То есть определенное число посетителей, которое необходимо для тестирования. Оно должно быть таким, чтобы итоги A/B-теста считались достоверными, а не случайными.

Показатель зависит от того, насколько сильные перемены ожидаются. Подсчет можно организовать онлайн-калькулятором.

Например, если начальный показатель конверсии 10% и предполагается, что она должна вырасти до 11%, значит, каждую страницу должно посмотреть ориентировочно 14400 посетителей. После этого можно завершать A/B-тестирование.

Также важно определить, всем ли посетителям будет показана тестовая версия или только части. Если всем, тест завершится быстрее. С другой стороны, если правки окажутся неэффективными, конверсия начнет падать и приведет к потерям.

Важно учесть, какие посетители просматривают страницу: новые или постоянные. Те, кто уже видел прежний вариант будут реагировать на поправки не так, как те, кто видит ее впервые.

6. Определить продолжительность тестирования

Минимальный срок – неделя, даже если необходимое число посетителей набралось за 1 день. Это объясняется разным поведением пользователей в разные дни недели.

Если цель тестирования – увеличение объема продаж, надо иметь в виду, что пользователь обычно совершает покупку в течение 10 дней. Поэтому оптимальный срок для получения достоверных результатов – 2 недели (даже если в первые дни уже лидирует какой-либо вариант).

7. Проверить две части аудитории на подобие

Чистота эксперимента зависит от того, насколько однородными и похожими будут посетители, относящиеся как к одной, так и к другой части трафика.

Чтобы начать проверку, сначала запускается А/B-тестирование с двумя идентичными страницами. Показатель однородности – одинаковый уровень конверсии.

8. Контролировать ход тестирования

В процессе экспериментов, важно замечать колебания в поведении и своевременно реагировать на аномалии. Так, если коэффициент эффективности двух страничек отличается слишком сильно, нужно проверить, все ли кнопки рабочие.

9. Провести повторное тестирование

Это необходимо для проверки достоверности полученных данных, а также статистическую значимость результатов.

При запуске сплит-тестирования важно учитывать время года, особенности окружающей среды. Например, сильное искажение метрики наблюдается в летний период, когда люди уходят в отпуск, перед новогодними праздниками, на фоне масштабных изменений в мире (война, скачки курсов валют, пандемия и пр.).

Роль аналитика в А/B-тестировании

Аналитик – главное лицо в процессе тестирования. Он производит A\B-тесты, собирает и обрабатывает полученные данные.

Так как от аналитика во многом зависит успех тестирования, специалисту важно избегать следующих ошибок:

1. Фиксировать эффект, где на самом деле он отсутствует. Допустим, если двум частям посетителей ошибочно показывается одна и та же версия.
2. Отрицать эффект там, где он есть. Такое может возникнуть, если игнорировать очевидные отличия в полученных результатах.

Исходом работы аналитика должны стать рекомендации или прогнозы о дальнейшей работе ресурса с нововведениями.

Частые ошибки в А/В-тестах

A/B тестирование — непростая задача, поэтому нередко специалисты совершают ошибки в процессе. Рассмотрим самые частые:

• одновременное сравнение нескольких компонентов;
• принятие решения до истечения срока завершения сплит-теста;
• проведение опыта специалистом, который не разбирается в методологии (в этом случае лучше довериться профессионалу);
• отсутствие стабильного потока конверсии (при этом необходимость в А/B-тестировании теряется);
• отсутствие четкой гипотезы, важно точно сформулировать цель и показатели, которые будут оцениваться.

Чтобы тестирование одержало успех, важно обращать внимание на возникающие недочеты и минимизировать их размер.

Примеры А/В-тестов

Рассмотрим наглядно, как делать а/b-тестирование.

Пример 1

Специалисты компании FreeMake выдвинули гипотезу о том, что изменение цвета заголовка на их официальном сайте увеличит конверсию. Изначально выбрали оранжевый цвет, но он плохо выделялся на фоне других элементов.

Для эксперимента выбрали черный цвет, т.к. он более читабельный, а значит повысить количество скачиваний. Предположение оказалось верным. Показатель конверсии увеличился на 6.64%, при том, что перемена была не такая значительная.

Из опыта можно сделать вывод: дизайн текстов, описаний, заголовков, подзаголовков очень важен для продвижения. Он должен быть привлекательным и читабельным.

Пример 2

Маркетинговое агентство провело эксперимент, связанный с рассылкой e-mail писем. Оно выдвинуло предположение, что исправленная тема письма увеличит количество просмотров.

В первом варианте написали: «Как можно найти ключевые слова». Второй вариант (экспериментальный) предполагал написание: «Вот это да! Как можно найти ключевые слова».

В ходе опыта удалось установить, что добавленное междометие увеличило объем просмотров на 24%. Причем, после этого выполнялось еще несколько аналогичных опытов с восклицающими фразами в начале предложения. Все они показали положительный результат.

Так, был сделан вывод: междометия помогают привлекать внимание пользователей, креатив и нестандартное оформление нравятся потенциальным клиентам.

Пример 3

На площадке ContentVerve.ru был организован эксперимент. Предполагалось, что исправление формы подписки увеличит количество пользователей, оставивших свои данные.

В начальной форме были поля для имени и e-mail. Принялось решение о добавлении к ним перечня преимуществ, доступных только для подписанных пользователей.

По итогам тестирования конверсия увеличилась на 84%. Сделано заключение: чтобы получить клиента, нужно убедить его, объяснить, какую выгоду он получит от сотрудничества.

Советы и рекомендации для правильных действий

Провести успешное тестирование помогут рекомендации от экспертов. К ним особенно стоит прислушаться тем специалистам, которые не обладают большим опытом в использовании метода:

1. Перед стартом тестирования изучите кейсы маркетологов и аналитиков, которым удалось добиться нужных вам результатов.
2. Тщательно спланируйте свои действия, предварительно подготовьте перечень элементов, которые вы собираетесь протестировать. При этом допустимо руководствоваться своими предположениями, данными, полученными с вебвизора или на основе проведения опроса.
3. Одновременно выполняйте только один эксперимент. Каждую правку необходимо анализировать отдельно, иначе можно что-нибудь упустить.
4. Тестируйте два варианта изменений одновременно, так все условия должны быть идентичными, чтобы не исказить результаты.
5. Формулируйте идею как можно точнее. Фраза: «Нужно что-то менять» не поможет увеличить прибыль. Если меняется цвет кнопки, важно понимать, каким он будет и почему. Только четкое обозначение критериев приведет к точным результатам.
6. Выделите достаточное количество времени для тестирования. За короткий период можно получить недостоверные результаты.
7. Выбирайте стандартный период времени без глобальных экономических или политических ситуаций, праздников и т.д. В эти дни могут получиться недостоверные данные.

Коротко о главном

Внедрение новых идей обязательно должно присутствовать в любом деле. Это обеспечит его развитие, поможет выделиться на рынке, повысить конкурентоспособность.

А/B-тестирование – эффективный и полезный инструмент для оценки этих изменений, как они влияют на конверсию сайта и, как следствие, прибыль компании.

С его помощью можно на практике проверить гипотезу и принять решение о необходимости нововведений для сервиса. Это позволяет организовать эффективное распоряжение временем и техническими возможностями, максимальное соответствие предложения компании потребностям пользователей.

Исследование можно организовать вручную или с помощью различных сервисов (например, бесплатно на платформе от Google).

Чтобы провести эффективное тестирование, выберите 1 элемент для исследования, четко сформулируйте гипотезу и запускайте 2 варианта одновременно. Для поучения достоверных результатов важно выделить на опыт достаточно количество времени.

Правильное тестирование поможет оценить, насколько то или иное изменение будет эффективно. Это неоценимый помощник для специалиста при продвижении сайта, товара или услуги, что в итоге повлияет на увеличение прибыли.