Что такое A/B тестирование: зачем и кому нужно, как его проводить + список инструментов

АБ-тестирование сайта: зачем и кому нужно, как проводить + инструменты
Косвинцев Михаил Михайлович
Косвинцев Михаил Михайлович
Практикующий маркетолог с опытом работы более 6 лет. Руководитель отдела маркетинга в международной компании ООО ВИДЖЕТ (Zvonobot) . Спикер тематических форумов для предпринимателей и онлайн-курсов по маркетингу.
Задать вопрос

Каждому бизнесу требуется развитие, движение вперед. Иначе происходит деградация. Чтобы этого избежать, иногда приходится вносить изменения в привычную организацию трудового процесса: расширять каталоги, добавлять новые услуги, запускать рекламу, улучшать качество выпускаемого продукта и т. д.

Одним из главных инструментов продвижения компании является сайт. Он также требует регулярного обновления для повышения конверсии. Чтобы узнать заранее, насколько эффективным окажется то или иное мероприятие по развитию сайта, применяются A/B-тесты.

Они позволяют организовать проверку гипотез, на практике проанализировать поведение потенциальных клиентов. Так, предприниматель может принять решение, нужно ли вносить изменения в работу веб-страницы или они не принесут ожидаемого результата.

Содержание
  1. Что такое А/В-тестирование простыми словами
  2. История появления А/В-тестирования
  3. Зачем нужно А/В-тестирование
  4. Кому нужно А/В-тестирование
  5. Что тестировать
  6. Какие задачи бизнеса решают А/В-тесты
  7. 1. Решить проблемы клиентов
  8. 2. Обеспечить лучшую окупаемость вложенных средств
  9. 3. Уменьшить количество отказов
  10. 4. Снизить риски при внедрении изменений
  11. 5. Обеспечить улучшение значимых метрик
  12. 6. Улучшить юзабилити сайта
  13. Что именно улучшат А/В-тесты
  14. 1. Конверсия
  15. 2. Финансы
  16. 3. Поведение
  17. Какие инструменты использовать для А/В-тестирования
  18. Google Оптимизация
  19. Optimizely
  20. Сервис Visual Website Optimizer
  21. Unbounce
  22. Как проводить успешное А/В-тестирование
  23. Шаг 1. Оценить необходимость проведения тестирования
  24. Шаг 2. Сформулировать гипотезу
  25. Шаг 3. Определение целевых показателей
  26. Шаг 4. Выбрать один элемент тестирования
  27. Шаг 5. Определить выборку
  28. Шаг 6. Определить продолжительность тестирования
  29. Шаг 7. Проверить две части аудитории на подобие
  30. Шаг 8. Контролировать ход тестирования
  31. Шаг 9. Провести повторное тестирование
  32. Какова роль аналитика в A/B-тестировании
  33. Частые ошибки в А/В-тестах
  34. Примеры А/В-тестов
  35. Пример 1
  36. Пример 2
  37. Пример 3
  38. Советы и рекомендации для правильных действий
  39. Коротко о главном

Что такое А/В-тестирование простыми словами

A/B-тестирование (или сплит-тестирование) — это способ проведения маркетингового исследования разных этапов воронки продаж или интерфейса, дизайна сайта с целью оценки их эффективности.

Оно проводится методом сравнения двух версий страницы или решений, принимаемых в ходе этапа. Во время проведения тестирования обычно оцениваются следующие факторы:

  • количественные показатели;
  • дизайн;
  • реакция на призывы к действиям и т. п.

Задача специалиста — выявить и внедрить те элементы, которые позволят улучшить результат от работы сайта или этапа.

С помощью A/B-тестов можно управлять конверсией, поддерживать спрос, увеличивать прибыль от проекта.

В начале сплит-тестирования маркетолог оценивает метрику уже функционирующей, контрольной единицы «А», планирует действия по ее улучшению.

Например, его задача — сделать конверсию в клик больше: не 2%, а 3%. Он предполагает, что повлиять на результативность может смена цвета конверсионной элемента (кнопки) с бледного на ярко-красный. Чтобы проверить, увеличит ли это конверсию, создается другая страница — «В», трафик, который идет с рекламы, делится на 2 части.

Далее применяются инструменты A/B-теста, чтобы разделить трафик поровну между страницами «А» и «В». Предполагается, что теперь половина пользователей будет попадать на первый вариант страницы, половина — на второй.

Как только будет собрано достаточное количество данных, тестирование завершается. Если конверсия второй страницы увеличилась (например, стала 2.2%), это говорит о том, что смена цвета кнопки — верное решение, влияющее на результативность. Однако, показатель не достиг поставленной цели, а значит продолжается поиск других способов его увеличения. При этом страница «В» в новом тестировании становится контрольной — «А».

А/Б тестирование

История появления А/В-тестирования

Установить точную дату появления метода довольно сложно, однако известно, что уже в 1835 году существовал прототип современных A/B-тестов. Тогда исследователи проводили рандомизированное двойное испытание, чтобы оценить эффективность гомеопатических препаратов.

В начале XX века эксперименты стали проводиться с рекламными кампаниями. Клод Хопкинс стал использовать специальные купоны, чтобы оценить, насколько его реклама эффективна. Но тогда еще не существовало понятий «статистической значимости» и «нулевой гипотезы», которые активно применяются сегодня.

В 1908 г. Уильям Сили Госсет работал над оценкой качества пива в компании Гиннесс. Тогда он изменил Z-критерий на t-критерий и стал использовать его для проверки гипотез.

По мере развития интернета и растущей популярности веб-сайтов, стала расширяться выборка населения. Владельцы начали задумываться об увеличении их конверсии. Для этого они стали менять различные элементы страниц, чтобы повысить их привлекательность для пользователей.

В 2000 г. корпорация Google провела свой первый A/B-тест для определения оптимального количества результатов для отображения на поисковой странице. Первое тестирование оказалось неинформативным из-за медленной загрузки. Но после этого метод становится все более продвинутым. К 2011 г. на счету компании было около 7000 проведенных A/B-тестов.

В 2012 г. в Microsoft в рамках улучшения работы поиска Bing был проведен эксперимент-тестирование, чтобы проверить, какие рекламные заголовки наиболее удачны. За несколько часов доходы увеличись на 12%, благодаря демонстрации альтернативного варианта.

По мере развития популярности гаджетов тестирование стало применяться и для мобильных приложений. Сегодня спланированный эксперимент применяется во многих компаниях в процессе маркетинга. Например, Microsot и Google ежегодно проводят около 10 000 таких исследований. С каждым годом происходит постоянное наращивание инструментов и опыта.

Зачем нужно А/В-тестирование

С помощью A/B-тестирования специалисты анализируют, насколько то или иное изменение необходимо для успешной и прибыльной работы сайта. Обычно этот показатель оценивается по конверсии (процентному выражению количества пользователей, совершивших какое-либо действие на сайте, по отношению к общему количеству посетителей).

Например, одна компания решила сделать больше шрифт на странице. В результате конверсия увеличилась на 20%. На основе этого маркетологи сделали вывод: изменение шрифта – удачная идея.

Другая компания решила добавить иконки в меню для большей привлекательности интерфейса. Однако, конверсия стала падать. Посетителям оформление показалось перегруженным и стало отпугивать. Тогда был возвращен первоначальный вариант дизайна меню.

Интерфейс страницы состоит из различных компонентов. Заранее предсказать, изменение каких именно данных увеличит прибыль почти невозможно. Часто требуется эксперимент, тестовый запуск изменений, который покажет конкретные количественные результаты. На их основе можно принять четкое, взвешенное решение.

Аудитория может быть разной, в зависимости от региона, пола, возраста, времени дня или года и других сотен факторов. Ее поведение непредсказуемо. Поэтому важно проводить практические исследования.

Что такое A/B тестирование: зачем и кому нужно, как его проводить + список инструментов

Кому нужно А/В-тестирование

Проведение A/B-тестов прежде всего необходимо бизнесу: всем, кто хочет выйти на новый уровень продаж, улучшить качество работы, сделать продукт более оптимизированным для клиентов:

  • продакт-менеджерам для экспериментов с изменениями цен на товары, повышения прибыли, оптимизации стратегии продаж;
  • маркетологам для проверки реакции потенциальных клиентов на новые элементы привлечения внимания;
  • дизайнерам для проведения экспериментов по внедрению новых цветовых решений или графики в оформление сайтов и т. д.

A/B-тестирование помогает понять, что нужно улучшить, а также как не сделать товар или услугу хуже. Это тоже является важной задачей этих специалистов.

При получении объективных данных происходит более быстрое продвижение на рынке, ведь информация поступает непосредственно от целевой аудитории. Покупатель лучше знает, что ему нужно. Если при развитии продукта учитывать только собственные субъективные взгляды, это может сильно затормозить процесс.

Если ориентироваться только на личные ощущения, то конкуренты, которые проведут тщательный анализ метрики, легко вас обойдут и предложат потребителям тот вариант, который им нужен. Поэтому без A/B-тестирования сегодня не может обойтись ни один проект (сайты, приложения, товары, услуги и т. д.).

Что тестировать

В ходе A/B-тестирования происходит оценка разных параметров. Их выбор зависит от цели исследования. Например, маркетологи обычно тестируют следующие элементы:

  • текст (шрифт, размер, цвет, форматирование);
  • конверсионные элементы (размер, цвет, дизайн, расположение на странице);
  • заголовки и описания продуктов или услуг;
  • общий внешний вид страниц, их макеты;
  • стоимость товаров;
  • составляющие компоненты предложения для клиентов;
  • изображение товаров;
  • количество контента на странице и т. д.

К примеру, если маркетолог видит, что большее количество посетителей сайта покидают его спустя всего несколько секунд, возможно, стоит усовершенствовать визуальное оформление главной страницы.

Если зафиксирован низкий показатель заявок, скорее всего, в изменении нуждаются конверсионные элементы или интерфейс регистрационной формы.

С помощью эксперимента в ходе сплит-тестирования можно выяснить, какой именно вариант оформления кнопок или текста будет самым удачным.

Что такое A/B тестирование: зачем и кому нужно, как его проводить + список инструментов

Какие задачи бизнеса решают А/В-тесты

С помощью A/B-тестов можно помочь бизнесу с достижением следующих целей:

1. Решить проблемы клиентов

Посетители хотят от сайта решения конкретной задачи – узнать информацию о цене или о характеристиках товара, условиях совершение покупки и т. д.

Для большей конверсии важно обеспечить доступность и простоту совершения необходимых действий. К примеру, кнопка «Покупка» должна сразу бросаться в глаза потенциальным покупателям.

С помощью сплит-тестов можно определить, что именно хотелось бы потребителю в любой сфере бизнеса.

2. Обеспечить лучшую окупаемость вложенных средств

С помощью тестов можно повысить качество трафика, чтобы он позитивно влиял на увеличение конверсии и прибыли. Иногда для этого достаточно внести небольшие изменения.

3. Уменьшить количество отказов

Для этого важно понять причину, почему люди уходят с сайта без покупки или регистрации. У сайтов разные аудитории и цели, поэтому не существует универсальной причины.

Поиск оптимального решения осуществляется с помощью A/B-тестирования. Методом подбора специалист делает сайт максимально удобным для посетителей, чтобы те проводили время на нем как можно больше времени.

4. Снизить риски при внедрении изменений

Если принято решение изменить дизайн сайта, лучше это делать постепенно, чтобы это не бросалось в глаза и не вызывало негатива у посетителей. Так удастся максимально сохранить конверсию.

С помощью A/B-тестов можно отслеживать реакцию на обновления и внедрять изменения по чуть-чуть, чтобы те оказались успешными и окупились.

5. Обеспечить улучшение значимых метрик

В результате сплит-тестирования специалист получит четкие данные (количество запросов; время, проведенное пользователями на странице, количество закрытых «Корзин» без покупок и пр.), и ему не придется гадать, где есть провалы по результатам – а значит, сможет вовремя исправить ошибки.

6. Улучшить юзабилити сайта

Это может быть глобальная смена всей концепции оформления страницы, либо изменение отдельных небольших компонентов для лучшего пользовательского опыта. При этом важно руководствоваться результатами A/B-тестирования.

Какая бы цель ни стояла перед специалистами, A/B-тесты в результате помогают убедиться, что сейчас используется лучший вариант сайта.

Что такое A/B тестирование: зачем и кому нужно, как его проводить + список инструментов

КСТАТИ

Зарегистрируйтесь в нашем сервисе голосовых рассылок Zvobobot и получите первые 20 звонков — бесплатно!

Что именно улучшат А/В-тесты

Все показатели, оптимизируемые с помощью A/B-тестов, можно разделить на несколько категорий:

1. Конверсия

Объем посетителей, которые совершают целевые действия. При успешном изменении страниц, посетители начинают чаще проходить регистрацию, подписываться на рассылки, больше покупать товары. Так, увеличивается конверсия.

2. Финансы

Прибыль, которую приносит сайт. Самая главная цель любого бизнеса – увеличение этого показателя. Чем приятнее интерфейс сайта, тем чаще у покупателей будет возникать желание что-либо приобрести.

Параметр имеет конкретное количественное выражение. Он измеряется по нескольким факторам: объем продаж за месяц, средний чек, стоимость рекламы и т. д.

Для его увеличения можно использовать специальные методики. Например, внедрить Suggestive-алгоритм, который оценивает выбор покупателя и предлагает ему товары, похожие на те, что он уже купил или просто просматривал.

3. Поведение

Оценка действий посетителей: время, проведенное на странице, количество просмотренных страниц, объем постоянных пользователей, отказы и т. п.

Какие инструменты использовать для А/В-тестирования

Провести a/b-тесты можно вручную или с помощью специализированных инструментов. Рассмотрим самые популярные из них:

Google Оптимизация

Бесплатный инструмент для малого бизнеса от Google, который доступен на базе Google Marketing Platform. Он позволяет проводить a/b тестирование элементов страниц для увеличения трафика: заголовков, шрифтов, конверсионных элементов, форм, изображений и т. д.

Optimizely

В отличие от Google, этот инструмент платный, цена обговаривается индивидуально с каждым покупателем в отделе продаж. A/B-тесты создаются в визуальном редакторе. Это удобно, так как избавляет от необходимости создания HTML-кодов для страниц. Сервис полностью интегрируется с Google Analytics.

Сервис Visual Website Optimizer

тоже платный сервис, стоимость 1 месяца от 99 до 999$, в зависимости от потребностей бизнеса. Помогает создавать тестирования компонентов страниц через HTML-коды.

Unbounce

Платный инструмент для создания лендингов, стоимость от 79 до 399$ в месяц. Позволяет не только создавать страницы, но и оптимизировать их, проводить a\b-тесты.

сплит-тестирование

Как проводить успешное А/В-тестирование

Чтобы успешно провести a\b-тестирование, следует выполнять его поэтапно:

Шаг 1. Оценить необходимость проведения тестирования

A/B-тесты – один из лучших инструментов для оптимизации работы сайта, но для его запуска должна быть четкая гипотеза, стабильное количество посетителей, стабильная конверсия, постоянная аналитика процессов. Если какого-либо компонента пока нет, больше подойдут другие инструменты.

Шаг 2. Сформулировать гипотезу

Гипотеза – основа всего исследования. Важно понимать, для чего проводится сравнение двух вариантов.

Если гипотезы пока нет, можно провести опрос среди покупателей, например, узнать, за что они выбирают вашу компанию, изучить статистику о поведении посетителей на страницах. Для этого удобно использовать вебвизор – инструмент, который записывает действия посетителей на вашем сайте.

Шаг 3. Определение целевых показателей

То есть критериев, по которым будет производиться оценка сервиса (заявки, отказы, секунды или минуты, проведенные на странице, регистрации, покупки, средняя сумма чека и пр.). Их выбор зависит от проблемы, которую решает маркетолог.

Главное, обеспечить фиксацию метрики на сайте, чтобы она отражалась количественными показателями результатов.

Шаг 4. Выбрать один элемент тестирования

Например, шрифт, заголовок, изображение. Нельзя проводить сплит-тест сразу на нескольких компонентах, в противном случае, будет сложно понять, что именно повлияло на метрику.

Шаг 5. Определить выборку

То есть определенное количество посетителей, которое необходимо для проведения тестирования. Оно должно быть таким, чтобы результаты A/B-теста можно было считать достоверными, а не случайными.

Показатель зависит от того, насколько сильные изменения ожидаются. Подсчет можно организовать онлайн-калькулятором.

Например, если начальный показатель конверсии 10% и предполагается, что она должна вырасти до 11%, значит, каждую страницу должно посмотреть ориентировочно 14400 посетителей. После этого можно завершать A/B-тестирование.

Также нужно определить, всем ли посетителям будет показана тестовая страница или только части. Если всем, тест завершится быстрее. С другой стороны, если изменения окажутся неэффективными, конверсия начнет падать и приведет к потерям.

Важно учесть, какие посетители просматривают страницу: новые или постоянные. Те, кто уже видел прежний вариант страницы будут реагировать на изменения не так, как те, кто видит ее впервые.

Шаг 6. Определить продолжительность тестирования

Минимальный срок – неделя, даже если необходимое количество посетителей набралось за 1 день. Это объясняется разным поведением пользователей в разные дни недели.

Если цель тестирования – увеличение объема продаж, нужно иметь в виду, что пользователь обычно совершает покупку в течение 10 дней. Поэтому оптимальный срок для получения достоверных результатов – 2 недели (даже если в первые дни уже лидирует какой-либо вариант).

Шаг 7. Проверить две части аудитории на подобие

Чистота эксперимента зависит от того, насколько однородными и похожими будут посетители, относящиеся как к одной, так и к другой части трафика.

Чтобы начать проверку, нужно сначала запустить A/B-тестирование с двумя идентичными страницами. Показатель однородности – одинаковый уровень конверсии.

Шаг 8. Контролировать ход тестирования

В процессе тестов, важно замечать колебания в поведении и своевременно реагировать на аномалии. Например, если конверсия двух страниц отличается слишком сильно, нужно проверить, все ли кнопки рабочие.

Шаг 9. Провести повторное тестирование

Это шаг необходим, чтобы проверить достоверность полученных данных, а также статистическую значимость результатов.

При запуске сплит-тестирования важно учитывать время года, особенности окружающей среды. Например, сильное искажение метрики наблюдается в летний период, когда люди уходят в отпуск, перед новогодними праздниками, на фоне масштабных изменений в мире (война, скачки курсов валют, пандемия и пр.).

Что такое A/B тестирование: зачем и кому нужно, как его проводить + список инструментов

Какова роль аналитика в A/B-тестировании

Аналитик – главное лицо в процессе тестирования. Он проводит A\B-тесты, собирает и обрабатывает полученные данные.

Так как от аналитика во многом зависит успех тестирования, специалисту важно избегать следующих ошибок:

  1. Фиксировать эффект, где на самом деле он отсутствует. К примеру, если двум частям посетителей ошибочно показывается одна и та же версия страницы.
  2. Отрицать эффект там, где он есть. Такое может возникнуть, если игнорировать очевидные отличия в полученных результатах.

Результатом работы аналитика должны стать рекомендации или прогнозы о дальнейшей работе сайта с нововведениями.

Частые ошибки в А/В-тестах

A/B тестирование — непростая задача, поэтому нередко специалисты совершают ошибки в процессе. Рассмотрим самые частые:

  • одновременное сравнение нескольких компонентов;
  • принятие решения до истечения срока завершения сплит-теста;
  • проведение теста специалистом, который не разбирается в методологии (в этом случае лучше довериться профессионалу);
  • отсутствие стабильного потока конверсии (при этом необходимость в A/B-тестировании теряется);
  • отсутствие четкой гипотезы, важно точно сформулировать цель и показатели, которые будут оцениваться.

Чтобы тестирование было успешным, важно обращать внимание на возникающие недочеты и минимизировать их количество.

Примеры А/В-тестов

Рассмотрим на реальных примерах, как проводить a/b-тестирование.

Пример 1

Специалисты компании FreeMake выдвинули гипотезу о том, что изменение цвета заголовка на их официальном сайте увеличит конверсию. Изначально был выбран оранжевый цвет, но он плохо выделялся на странице на фоне других элементов.

Для эксперимента был выбран черный цвет, т.к. он более читабельный, а значит повысить количество скачиваний. Гипотеа оказалась верной. Показатель конверсии увеличился на 6.64%, при том, что изменение было не таким значительным.

Из эксперимента можно сделать вывод: дизайн текстов, описаний, заголовков, подзаголовков очень важен для продвижения сайта. Он должен быть привлекательным и читабельным.

Пример 2

Маркетинговое агентство проводило эксперимент, связанный с рассылкой e-mail писем. Была выдвинута гипотеза, что измененная тема письма увеличит количество просмотров.

В первом варианте было написано: «Как можно найти ключевые слова». Второй вариант (экспериментальный) предполагал написание: «Вот это да! Как можно найти ключевые слова».

В ходе эксперимента удалось установить, что добавленное междометие увеличило объем просмотров на 24%. Причем, после этого было проведено еще несколько аналогичных экспериментов с восклицающими фразами в начале предложения. Все они показали положительный результат.

Так, был сделан вывод: междометия помогают привлекать внимание пользователей, креатив и нестандартное оформление нравятся потенциальным клиентам.

Пример 3

На сайте ContentVerve.ru был организован эксперимент. Предполагалось, что изменение формы подписки увеличит количество пользователей, оставивших свои данные.

В начальной форме были поля для имени и e-mail. Было решено добавить к ним перечень преимуществ, доступных только для подписанных пользователей.

По итогам тестирования конверсия увеличилась на 84%. Так, был сделан вывод: чтобы получить клиента, нужно убедить его, объяснить, какую выгоду он получит от сотрудничества.

Как проводить A/B тестирование сайта: видео

Советы и рекомендации для правильных действий

Провести успешное тестирование помогут рекомендации от экспертов. К ним особенно стоит прислушаться тем специалистам, которые не обладают большим опытом в использовании метода:

  1. Перед стартом тестирования изучите кейсы маркетологов и аналитиков, которым удалось добиться нужных вам результатов.
  2. Тщательно спланируйте свои действия, предварительно подготовьте перечень элементов, которые вы собираетесь протестировать. При этом можно руководствоваться своими предположениями, данными, полученными с вебвизора или на основе проведения опроса.
  3. Одновременно проводите только один тест. Каждое изменение необходимо анализировать отдельно, иначе можно что-нибудь упустить.
  4. Тестируйте два варианта изменений одновременно, так все условия должны быть идентичными, чтобы не исказить результаты.
  5. Формулируйте гипотезу как можно точнее. Фраза: «Нужно что-то менять» не поможет увеличить прибыль. Если меняется цвет кнопки, важно понимать, каким он будет и почему. Только четкое обозначение критериев приведет к точным результатам.
  6. Выделите достаточное количество времени для тестирования. За короткий период можно получить недостоверные результаты.
  7. Выбирайте стандартный период времени без глобальных экономических или политических изменений, праздников и т.д. В эти дни могут быть получены недостоверные данные.

Коротко о главном

Внедрение новых идей обязательно должно присутствовать в любом бизнесе. Это обеспечит его развитие, поможет выделиться на рынке, повысить конкурентоспособность.

A/B-тестирование – эффективный и полезный инструмент для оценки этих изменений, как они влияют на конверсию сайта и, как следствие, прибыль компании.

С его помощью можно на практике проверить гипотезу и принять решение о необходимости нововведений для сервиса. Это позволяет организовать эффективное распоряжение временем и техническими возможностями, максимальное соответствие предложения компании потребностям пользователей.

Эксперимент можно организовать вручную или с помощью различных сервисов (например, бесплатно на платформе от Google).

Чтобы провести эффективное тестирование, выберите 1 элемент для исследования, четко сформулируйте гипотезу и запускайте 2 варианта страницы одновременно. Для поучения достоверных результатов важно выделить на эксперимент достаточно количество времени.

Правильно проведенное тестирование поможет оценить, насколько то или иное изменение будет эффективно. Это неоценимый инструмент для специалиста при продвижении сайта, товара или услуги, что в итоге повлияет на увеличение прибыли.

Оцените статью
( 1 оценка, среднее 5 из 5 )