В данной статье представлено полное руководство по A/B-тестированию, которое поможет вам оптимизировать свой сайт, улучшить процесс взаимодействия с посетителями и увеличить продажи.
Вы узнаете, что такое A/B-тестирование, зачем оно нужно, когда и как следует его проводить, как анализировать полученные результаты, примеры использования этого инструмента известными компаниями и важные моменты при проведении A/B-тестов.
Что такое A/B-тестирование
Методика, применяемая в A/B-тестировании, появилась в начале XX в. В наш дни A/B-тестирование представляет собой способ маркетингового исследования, который используется для сравнения двух версий одной и той же страницы и определения того, какая из них работает лучше.
Версия А — это текущий (контрольный) вариант страницы, версия B — ее измененный (альтернативный) вариант. Выигрывает тот вариант, у которого выше конверсия.
Наверное, многие слышали историю о том, как некто изменил цвет кнопок на сайте с красного на зеленый и за счет этого увеличил продажи. Таким образом, правильная настройка лишь одного элемента может привести к повышению эффективности сайта.
A/B-тест покажет, является ли предложение новой функции или какого-либо изменения на сайте хорошей идеей. В качестве элементов, которые подвергаются тестированию, могут выступать заголовки, текст, изображения, цвета, ссылки, кнопки, функции и т.д.
Никогда не тестируйте два элемента на странице одновременно, если они не находятся в комбинации друг с другом.
Например, если вы тестируете цвета кнопок, нельзя тестировать также и текст с описанием нового продукта, т.к. вы не узнаете, какое из изменений повлияло на результат.
Однако вы можете проверить одновременно другой цвет кнопки и измененную формулировку текста на кнопке.
Выделяют следующие виды A/B-тестов:
- Классический A/B-тест. Тестирование предполагает использование одной переменной (например, кнопки с призывом к действию) и двух вариантов страницы с одним и тем же URL-адресом.
- Сплит-тест, или тест с перенаправлением. При таком виде тестирования могут использоваться несколько отдельных URL-адресов.
- Многовариантный тест, или тест MVT. В ходе тестирования вносится несколько изменений и проверяется более двух версий страницы.
Например, тестирование альтернативных версий для двух отдельных элементов (кнопки с призывом к действию X и изображения заголовка Y) даст четыре комбинации (рис. 1):
1) Y1 и X1;
2) Y2 и X1;
3) Y1 и X2;
4) Y2 и X2.
Рис. 1. Пример многовариантного тестирования.
Многовариантное тестирование требует значительного размера выборки. Данный тест подходит для крупных сайтов с большим трафиком.
Зачем нужно A/B-тестирование
A/B-тестирование избавляет от необходимости строить догадки при внесении изменений на сайт компании. Неудачное изменение на сайте способно привести к потере доходов и отрицательно повлиять на бизнес. Благодаря A/B-тестированию риск подобных ошибок сводится к нулю.
Кроме того, A/B-тестирование помогает выяснить, какие функции и элементы на сайте улучшают пользовательский опыт, а какие недочеты заставляют посетителей уходить. Порой даже незначительные изменения могут сильно повлиять на продажи.
Данные A/B-тестирования дадут информацию, необходимую для объективного принятия решений при изменении отдельных элементов на сайте.
Приведем несколько примеров успешного использования A/B-тестов известными компаниями.
- В 2000 г. компания Google провела тест, чтобы найти оптимальное количество результатов поиска, отображаемых на одной странице в выдаче поисковой системы. Наилучшим вариантом оказался показ на странице десяти результатов.
- В 2009 г. в компании Microsoft был разработан тип ссылки, которая открывала страницы в новой вкладке. Тест показал, что при ее использовании количество переходов на главную страницу увеличивается на 8,9%.
- В 2009 г. компания Google протестировала 41 оттенок синего цвета для текста ссылки, выбрав в итоге два варианта. Использование результатов данного теста ежегодно приносит компании дополнительные $200 млн.
- В 2013 г. компания Microsoft протестировала альтернативные цвета для заголовков и подписей на своих страницах результатов поиска. Внесенные по итогам теста изменения увеличили доход компании на $10 млн в год.
Крупные игроки рынка, такие как Google, Microsoft, Amazon и др., постоянно проводят A/B-тесты, поскольку это самый надежный способ повысить продажи.
Преимущества A/B-тестирования
Большинство инструментов для A/B-тестирования просты в применении и дешевы в установке. При этом использование данной методики дает компании серьезные преимущества, поскольку позволяет решить целый ряд задач.
-
Улучшить пользовательский опыт. Часто на сайте присутствуют своего рода «блокировщики» — недочеты, которые затрудняют посетителям решение их задач.
Результатом становится негативный пользовательский опыт, высокий показатель отказов, уменьшение времени пребывания на сайте и глубины просмотра.
A/B-тестирование позволяет выявить и устранить такие «блокировщики», тем самым повысив вовлеченность посетителей и конверсию.
-
Увеличить объем продаж без существенных дополнительных затрат. A/B-тестирование дает возможность повысить эффективность работы с уже имеющимся трафиком, без привлечения новой аудитории.
Таким образом, незначительные изменения могут обеспечить существенный рост продаж при небольших вложениях.
-
Проверить идеи конкурентов. Когда конкуренты что-то добавляют или изменяют на своих сайтах, вы можете с помощью A/B-тестирования определить, будут ли подобные изменения полезны для вашей компании и как они повлияют на продажи.
Например, если 5 из 7 конкурентов добавили опцию «Бесплатная доставка», подумайте о том, чтобы протестировать ее на своем сайте.
- Подтвердить или опровергнуть гипотезы. У сотрудников компании могут быть разные представления о том, что лучше всего подойдет для сайта. Разрешить спор поможет проведение A/B-теста, которое подтвердит или опровергнет выдвигаемые гипотезы.
- Сделать бизнес клиентоориентированным. Чем удобнее сайт для посетителей, тем более клиентоориентированным становится бизнес. A/B-тестирование — простой способ сделать сайт максимально удобным для пользователей.
Когда следует проводить A/B-тестирование
Прибегать к A/B-тестированию рекомендуется в следующих случаях.
-
После изучения данных веб-аналитики. Сервисы Google Analytics или Яндекс.Метрика помогут выявить проблемы, с которыми сталкиваются пользователи при посещении сайта.
Например, затруднения при использовании меню или заполнении формы. Разработав новое меню, запустите А/B-тестирование. Оно покажет, какой вариант удобнее для посетителей.
- При снижении коэффициента конверсии. Проведите A/B-тестирование, если конверсия не соответствует вашим ожиданиям. Определите, где вы теряете клиентов, и проверьте свои предположения.
-
При редизайне сайта. Бывает, что после редизайна сайт выглядит лучше, но посетителям становится непонятно, как по нему перемещаться.
A/B-тесты следует проводить до, во время и после любого изменения дизайна, чтобы убедиться, что сайт максимально эффективен и удобен для использования.
Если новая версия сайта не демонстрирует ожидаемых результатов в ходе A/B-тестирования, стоит переосмыслить и оптимизировать обновленный дизайн.
-
При добавлении на сайт новой функции, услуги. Результаты A/B-тестирования имеют решающее значение, если вносимые изменения влияют на продажи.
Например, плохо оптимизированное изменение корзины покупок или формы регистрации может привести к потере трафика и снижению конверсии.
Убедитесь, что нововведения улучшают процесс взаимодействия с пользователем.
- Когда поставлена задача увеличить продажи. Оптимизация сайта сделает взаимодействие с пользователями более эффективным и в конечном итоге приведет к росту продаж.
Что тестировать
Некоторые элементы сайта оказывают на пользователей большее влияние, чем другие. Применяйте A/B-тестирование, чтобы оптимизировать следующие наиболее важные «вехи» на пути пользователя.
1. Заголовки. Заголовок заставляет посетителей оставаться на странице. Он должен вызывать интерес и вовлекать пользователей. Тестировать нужно:
- длинные заголовки в сравнении с короткими;
- заголовки, несущие позитивную смысловую нагрузку в сравнении с имеющими негативный смысл;
- подчеркивающие выгодность в сравнении с делающими упор на функциональность;
- вопросительные в сравнении с утвердительными;
- убеждающие в сравнении с информативными;
- степень персонализации заголовка;
- шрифт заголовка;
- цветовое решение.
2. Дизайн. Решив внести изменения в дизайн страницы, протестируйте:
- различное расположение блоков на странице;
- видеоотзывы клиентов в сравнении с текстовыми отзывами;
- статичные изображения в сравнении с видеофоном;
- фото в сравнении с рисованными иллюстрациями;
- цвета;
- фоновое изображение;
- разные варианты фотографий товара.
Тепловые карты и карты кликов помогут при проведении A/B-теста выявить отвлекающие факторы и «мертвые» клики, которые не ведут на другую страницу.
3. Контент. Пользователи лучше реагируют на контент, который оптимизирован специально для них. Релевантный контент должен быть легким для восприятия и не сбивающим с толку. Тестировать следует:
- длинный текст в сравнении с коротким;
- тональность текста (убеждающий, информативный или описательный текст);
- формальный стиль в сравнении с неформальным;
- маленькие абзацы в сравнении с большими;
- использование маркированных списков;
- использование различных цифр.
4. Призывы к действию (Call to Action, CTA). Выбирая элементы, служащие для призыва к действию на странице, следует протестировать:
- текст в сравнении с кнопкой;
- убеждающий текст в сравнении с информационным;
- цвет текста / кнопки;
- размер текста / кнопки;
- расположение CTA на странице (вверху, внизу, слева, справа, по центру)
5. Навигация. A/B-тестирование поможет оптимизировать навигацию по сайту, убедиться, что он хорошо структурирован и каждый щелчок ведет на нужную страницу. Протестировать необходимо:
- горизонтальную навигацию в сравнении с вертикальной;
- количество и названия категорий товаров;
- длину меню.
6. Формы. Для оптимизации форм нужно протестировать:
- разное количество полей;
- дизайн и структуру форм;
- обязательные и необязательные поля;
- расположение форм;
- заголовки форм.
7. Изображения, видео- и аудиофайлы. Данные материалы могут использоваться по-разному в зависимости от пути, которым пользователь идет к покупке. Тестировать следует:
- статичные изображения в сравнении с видео;
- видео со звуком в сравнении с видео без звука;
- демонстрацию продукта как такового в сравнении с демонстрацией его преимуществ;
- использование одного материала в сравнении с размещением нескольких;
- повествование в сравнении со скрытыми субтитрами;
- функцию автовоспроизведения видео;
- расположение материалов;
- их размер.
8. Описание продуктов. Описание в значительной степени зависит от продукта, но некоторые его характеристики все же можно оптимизировать. Для этого необходимо протестировать:
- краткий и четкий рассказ о товаре / услуге в сравнении с более длинным и подробным;
- большие абзацы в сравнении с маркированными списками.
9. Социальное доказательство. A/B-тестирование поможет определить, есть ли смысл размещать на сайте социальные доказательства. Протестировать нужно:
- наличие отзывов клиентов;
- наличие отзывов влиятельных лиц;
- отсылку к упоминаниям в СМИ.
Какой объем трафика необходим для проведения A/B-тестирования
Очень важно определить размер выборки до проведения A/B-теста. Размер выборки — это количество людей, посетивших тестируемые страницы.
На рис. 2 представлена диаграмма, которая поможет понять, сколько посетителей в месяц нужно для того, чтобы добиться надежных результатов при A/B-тестировании. На данной диаграмме можно выделить несколько зон.
Рис. 2. Диаграмма зависимости между размером выборки и конверсией при A/B-тестировании
- Зона 1. Если количество посетителей меньше 10 тыс. в месяц, A/B-тестирование будет считаться ненадежным при конверсии ниже 30%.
- Зона 2. Если страницу посещают от 10 тыс. до 100 тыс. человек в месяц, минимально необходимое для обеспечения надежности A/B-теста значение конверсии должно находиться в интервале от 9% до 30%.
- Зона 3. При количестве посетителей от 100 тыс. до 1 млн в месяц требуемый для проведения теста показатель конверсии может колебаться от 2% до 9%.
- Зона 4. Трафик, превышающий 1 млн посетителей в месяц, позволяет проводить многовариантные тесты при значении конверсии не более 2%.
Как провести A/B-тестирование
Рассмотрим алгоритм действий, которые нужно выполнить, чтобы A/B-тестирование принесло максимальную пользу.
1. Анализ статистических данных. Изучите с помощью сервисов Google Analytics или Яндекс.Метрика, как посетители перемещаются по сайту. Так вы сможете обнаружить слабые места в вашей воронке продаж.
Например, страницы с низкой конверсией или высоким процентом прерывания сеанса.
2. Выдвижение гипотез и расстановка приоритетов. Сформулируйте гипотезы относительно того, что, по вашему мнению, может увеличить коэффициент конверсии страницы. Гипотезы должны быть:
- четко сформулированы;
- основаны на данных аналитики;
- связаны с ключевыми показателями эффективности;
- реалистичны.
Предположим, к примеру, что проблема связана с высоким процентом отказов от заполнения формы регистрации. Тогда гипотеза будет такой: «Сокращение формы путем удаления необязательных полей увеличит количество заявок».
Оцените все гипотезы по пятибалльной шкале по следующим параметрам:
- цель (насколько тесно гипотеза связана с ключевыми показателями эффективности);
- страница (является ли страница важной);
- положение (насколько заметно изменение на сайте);
- ценность (имеет ли вносимое изменение ценность для клиента, или это чисто «косметическая» процедура);
- доказательства (подтверждается ли эффективность подобной корректировки предыдущим опытом).
Если гипотеза набрала в сумме более 20 баллов, она очень сильна и ее тестирование имеет хорошие шансы на успех (табл. 1)
Таблица 1. Оценка гипотез для A/B-тестирования
| Гипотезы | Цель | Страница | Положение | Ценность | Доказательства | Итого |
| Гипотеза 1 | 5 | 5 | 5 | 4 | 4 | 23 |
| Гипотеза 2 | 5 | 1 | 4 | 1 | 1 | 12 |
Запишите все гипотезы и расставьте приоритеты, определив, какие из них следует проверить в первую очередь.
3. Выбор и настройка инструментов для A/B-тестирования. Существует много различных инструментов для проведения A/B-тестов, и все они имеют свои плюсы и минусы. Изучите каждый инструмент, чтобы узнать, какой именно лучше подходит для ваших целей.
Наиболее популярные инструменты для A/B-тестирования: Google Optimize, Optimizely, AB Tasty, Kameleoon.
Перед запуском A/B-теста нужно определить следующие связанные с ним атрибуты и показатели.
- Предмет тестирования (например, тестирование дизайна, товара, маркетинга и т.д.)
- Тестируемые страницы (например, главная страница, страница с карточкой товара, каталог, страница с контактной информацией и т.д.)
- Средний коэффициент конверсии на текущий момент.
- Контрольный трафик на страницы. Умножьте количество посетителей в день (в неделю, в месяц) на коэффициент конверсии. Полученное значение должно быть достаточно большим для применения A/B-теста (табл. 2)
Таблица 2. Атрибуты и показатели, определяемые перед запуском A/B-теста.
| Элементы для тестирования | Страница | Предмет тестирования | Средний коэффициент конверсии, % | Контрольный трафик, посещений в день? |
| Цвет кнопки | Дизайн | Карточка товара | 1,2 | 7000 |
| Описание продукта А | Товар | Карточка товара | 0,85 | 20000 |
| Описание продукта В | Товар | Карточка товара | 0,85 | 20000 |
| Шрифт | Дизайн | Все страницы | 0,85 | 30000 |
| Цена со скидкой | Маркетинг | Каталог | 1,05 | 15000 |
Также необходимо определить уровень уверенности, или статистическую значимость, которую вы ожидаете получить.
Статистическая значимость — это вероятность того, что результаты тестирования и сделанные на их основании выводы являются достаточно надежными, позволяющими вносить изменения на сайт.
При низком значении статистической значимости есть риск внести изменения, которые уменьшат конверсию.
При уровне уверенности, равном 95%, вероятность того, что результаты были получены случайно, составляет всего 5%. Такой уровень уверенности является стандартным при проведении исследований.
4. Определение целевого действия, для которого будет отслеживаться конверсия. Выберите ключевое действие, по которому будет определяться успех.
Например, переход на конкретную страницу, покупка продукта, заполнение формы, оформление подписки, регистрация, скачивание файла и т.д.
Выбранную цель установите на используемой для тестирования платформе, чтобы система знала, что считать конверсией. Так, если целью является заполнение формы, то платформа регистрирует достижение цели, когда пользователь получает сообщение «Спасибо за отправку».
5. Создание вариантов для тестирования. Варианты для тестирования можно создавать и использовать следующими способами.
- Создайте два разных варианта элемента. Используемый для A/B-тестирования инструмент будет случайным образом выбирать вариант, который увидит тот или иной посетитель сайта.
- Создайте два варианта страницы с одним изменяемым элементом и разными URL. Инструмент тестирования будет случайным образом перенаправлять часть пользователей на альтернативный URL.
В обоих случаях входящий трафик делится между вариантами поровну.
6. Проведение теста. Проводите тестирование столько времени, сколько потребуется для получения статистически значимых результатов. Не прерывайте тест, если увидите результаты раньше, чем планировалось.
Продолжительность теста в идеальном случае должна составлять две недели.
Если показатель конверсии замеряется для сложных продуктов / услуг или рынка b-2-b, этот период может быть больше.
Очень важно придерживаться установленного размера выборки. Необходимый размер выборки обычно зависит от вносимых изменений. Если они незначительны, то для проверки гипотезы потребуется меньшее количество пользователей.
Имейте в виду, что не весь трафик одинаков. Посетители, обеспечивающие «холодный» трафик, т.е. незнакомые с вашим сайтом, будут действовать совсем иначе, чем «теплые» лиды, которые взаимодействовали с вашей компанией в течение длительного времени.
Чтобы A/B-тест дал статистически достоверные результаты, вы должны убедиться, что аудитория на обеих тестируемых страницах одинакова. В противном случае вы рискуете сделать неверные выводы.
Использование при проведении теста платной рекламы для увеличения числа посетителей изменит качественные характеристики аудитории, вследствие чего представление о том, какая версия страницы лучше, может оказаться ложным.
Во время тестирования не следует также редактировать сценарии или менять настройки.
7. Сбор и анализ данных. Проанализируйте результаты, используя выбранный вами инструмент тестирования. Независимо от того, подтвердилась гипотеза или была опровергнута, важно рассчитать, являются ли полученные данные статистически значимыми.
Проведение теста в течение более длительного периода времени и участие в нем большего числа пользователей снижают вероятность того, что результаты окажутся случайными.
Как анализировать результаты тестирования
При анализе полученных результатов необходимо придерживаться следующих правил.
-
Сосредоточьтесь на своей первоначальной цели. A/B-тестирование позволяет собрать много разнородной информации касательно различных аспектов поведения пользователей. Процесс анализа и результаты должны согласовываться с вашей исходной гипотезой и целями исследования.
-
Измерьте статистическую значимость. Обязательно проверьте, являются ли результаты статистически значимыми, т.е. достаточно ли они надежды для того, чтобы можно было без опасений вносить изменения на сайт.
Большинство инструментов тестирования включают функцию анализа, необходимую для расчета статистической значимости собранных данных.
-
Основывайте дальнейшие действия на результатах тестирования. Если проверка измененного варианта дала статистически значимые положительные результаты, внедрите его.
Если результаты неубедительны или отрицательны, используйте полученные знания при разработке следующих тестов. Не считайте отрицательный результат неудачей, т.к. он помогает понять, какие изменения бесполезны и что делать дальше.
A/B-тестирование предоставляет возможность получить количественные данные, но не всегда помогает выявить причины, по которым посетители ведут себя так, а не иначе.
-
Анализируйте трафик. После того, как вы определили лучший из тестируемых вариантов, проанализируйте качественные характеристики поступавшего трафика:
- соотношение мобильного и немобильного трафика;
- платным он был или органическим;
- какие использовались браузеры и устройства;
- каковы были каналы поступления трафика;
- каково соотношение новых и вернувшихся посетителей;
- пол посетителей.
Важно иметь точное представление о том, как протестированные страницы работают в случае с каждым сегментом: каков для него показатель отказов, какова скорость выхода, как его представители перемещаются по воронке продаж?
Какие результаты может показать A/B-тестирование
Рассмотрим, какая картина может получиться при построении графиков по результатам тестирования.
-
Стабильность. Колебания и различия между результатами будут больше в начале теста, чем в конце. Со временем значения показателей стабилизируются и станут ближе друг к другу (рис. 3).
Частая ошибка при таком развитии событий — преждевременный отказ от продолжения теста.
Рис. 3. Изменение конверсии при сценарии «Стабильность»
-
Падение. Иногда можно наблюдать падение конверсии до нуля в какой-либо день (рис. 4). Для некоторых сайтов это может быть вполне нормальным явлением из-за низкого трафика или конверсии.
Однако при большом объеме трафика такой провал сигнализирует о том, что необходимо проверить качество настройки тестирования, т.к. что-то могло сбиться.
Рис. 4. Изменение конверсии при сценарии «Падение»
-
«Победная серия». Бывает, что в течение нескольких дней наблюдается явное преимущество одного из вариантов или происходит более высокий, чем обычно, всплеск (рис. 5). В этом случае следует отложить остановку тестирования.
Пусть оно проводится немного дольше, пока пиковые значения не перестанут быть конечными на графике или пока не появятся несколько пиков, которые дадут более полную картину.
Рис. 5. Изменение конверсии при сценарии «Победная серия»
-
«Удар». На графике появляется выпуклость, а затем значение конверсии начинает стабилизироваться (рис. 6).
Данное явление может быть вызвано притоком нового или нерегулярного трафика, происхождение которого требует дальнейшего исследования.
Рис. 6. Изменение конверсии при сценарии «Удар»
-
«Случайный танец». Если варианты A и B попеременно лидируют, словно танцуя друг с другом, это указывает на то, что для достижения значимых результатов тестирования потребуется больше времени (рис. 7).
Возможно также, что причина кроется в том, что эффект от внесения изменения слишком мал.
Рис. 7. Изменение конверсии при сценарии «Случайный танец»
Примеры результатов A/B-тестирования
Рассмотрим несколько примеров того, какие результаты могут быть получены в ходе A/B-тестирования.
Тест 1. Значительная разница в результатах при небольшом объеме трафика. Недельное тестирование при количестве посетителей, равном 2000, показало следующие результаты.
- Контрольный вариант A: коэффициент конверсии составил 1,5%.
- Новый вариант B: коэффициент конверсии составил 1,75%.
- Разница в значениях коэффициентов конверсии — 16,7%, что соответствует пяти продажам.
Вывод: в ходе тестирования получено достаточно данных, чтобы принять решение о переходе на вариант B.
Тест 2. Небольшая разница в результатах на сайте с высокой посещаемостью. За один день тестирования при 50 000 посещений были получены следующие результаты.
- Контрольный вариант A: коэффициент конверсии составил 1,25%.
- Новый вариант B: коэффициент конверсии составил 1,3%.
- Разница в значениях коэффициентов конверсии — 4%, что соответствует 50 продажам.
Вывод: хотя в процентном соотношении изменение незначительно, благодаря большому трафику прирост продаж в абсолютном выражении достаточно велик для того, чтобы переключиться на вариант В.
Тест 3. Существенная разница в результатах при небольшом трафике. В ходе тестирования было зафиксировано 1000 посещений и получены следующие результаты.
- Контрольный вариант A: коэффициент конверсии составил 1,5%.
- Новый вариант B: коэффициент конверсии составил 1,7%.
- Разница в значениях коэффициентов конверсии — 13,3%, что соответствует двум продажам.
Вывод: хотя разница значительная, полагаться на нее рискованно из-за небольшого трафика. Следует либо продолжить тестирование для получения более достоверных результатов, либо прекратить его, оставив все без изменений.
Важные правила при A/B-тестировании
При проведении тестирования следует придерживаться ряда правил.
1. Тестировать одну переменную за раз. Если одновременно изменить, например, расположение кнопки и заголовок страницы, то невозможно будет определить, какое изменение оказало влияние на результат.
2. Проводить один тест за раз. Результаты будет сложно интерпретировать, если параллельно проводить несколько тестов, особенно в том случае, когда тестируемые элементы находятся на одной странице.
3. Правильно расставлять приоритеты. Невозможно протестировать все, поэтому вам следует расставить приоритеты, отобрав для проверки наиболее перспективные гипотезы.
4. Отказаться от нулевой гипотезы. Сервивы Google Analytics и Яндекс.Метрика позволяют понять, в чем заключаются проблемы пользователей, и сформулировать объективные гипотезы.
Различают два типа гипотез: нулевые (H0) и альтернативные (Н1). В случае с нулевой гипотезой отсутствуют убедительные доказательства того, что она верна и что предлагаемые изменения улучшат сайт.
При выдвижении альтернативной гипотезы есть веские доказательства того, что внесение указанных в ней изменений сделает сайт лучше.
Задача состоит в том, чтобы отсекать нулевые гипотезы. Проводя A/B-тестирование, стремитесь использовать только альтернативные гипотезы.
5. Адаптировать количество вариантов к объему трафика. Проверка большого количества вариантов при небольшом трафике приведет к тому, что тестирование продлится очень долго.
Чем меньший трафик задействован при проведении теста, тем меньше должно быть проверяемых версий.
Например, если сайт с коэффициентом конверсии 30% посещают 10 000 человек в день, тестирование 6 вариантов даст достоверные результаты в течение нескольких дней.
Однако, если на сайте бывают всего 200 посетителей в день, 6 вариантов протестировать невозможно.
6. Не прекращать тестирование раньше времени. Обычно маркетологи прерывают тестирование, потому что хотят быстрее получить результат. Однако чтобы результаты были достоверными, требуется размер выборки, достаточный для достижения статистической значимости.
Иногда следует продлить время проведения тестирования даже при том, что нужный уровень достоверности уже получен, поскольку необходимо учитывать размер выборки и различия в поведении пользователей, связанные с днями недели.
7. Не начинать действовать, пока не достигнут нужный уровень статистической значимости. Не рекомендуется принимать какие-либо решения, если статистическая значимость составляет менее 95%.
8. Обеспечить случайную выборку. Если трафик на сайт равномерно распределяется между двумя страницами, но выборка не случайна, это может привести к ошибкам из-за различий в поведении посетителей.
Например, если сайт посетило 100 человек, и всем мужчинам была показана одна версия страницы, а всем женщинам — другая, то сравнение между ними невозможно, даже если трафик разделен в соотношении 50% на 50%. Так как различия в результатах могут быть обусловлены разницей демографических характеристик пользователей.
9. Не затягивать тестирование. Чрезмерное увеличение времени проведения тестов, так же как и его сокращение, не идет на пользу делу. Тесты, которые длятся месяц, дадут менее достоверные результаты, чем завершенные в течение двух недель (именно такая продолжительность периода тестирования считается идеальной)
10. Проводить тестирование на постоянной основе. A/B-тесты следует проводить регулярно (еженедельно, ежемесячно). Постоянно добавляйте мелочи, которые сделают ваш сайт лучше, в противном случае вы можете упустить потенциальных клиентов.
Используйте результаты каждого теста и возникшие при его проведении идеи, чтобы сформировать базу для следующих проверок. Учитесь не только на историях успеха, но и на своих ошибках и неудачах.
Мы провели исследование того, как маркетологи компаний относятся к A/B-тестированию. Согласно нашим данным:
- 28,8% не знают, что это такое;
- 18,8% проводят A/B-тестирование каждую неделю;
- 17,9% знают об A/B-тестировании, но не проводят его;
- 16,5 периодически проводят A/B-тесты, но не каждый месяц;
- 9,1% проводят A/B-тестирование один раз в месяц;
- 8,8% не интересуются A/B-тестированием.
11. Сохранять объективность. Постарайтесь игнорировать собственное мнение и результаты, полученные другими. Сосредоточьтесь на статистической значимости получаемых вами данных, чтобы убедиться, что каждое вносимое изменение обосновано.
При планировании A/B-теста обязательно учитывайте любые внешние факторы (например, праздничные дни или распродажи), которые могут повлиять на трафик.
Следует также изучить, какой инструмент тестирования лучше всего подходит для ваших нужд. Некоторые из них могут замедлять работу вашего сайта или не иметь необходимых функций, например, отображения тепловых карт и записей сеансов.
При объективном использовании данных A/B-тестирование обеспечит высокую рентабельность инвестиций, поможет повысить продажи и улучшить взаимодействие с пользователями.
12. Показывать каждому пользователю тот вариант страницы, который он просмотрел в первый раз. Демонстрация пользователю разных вариантов запутает его и не поможет вам в тестировании, поэтому следует убедиться, что каждый посетитель всегда видит одну и ту же версию страницы.
Итак, вы получили подробное руководство, которое поможет вам понять наиболее сложные нюансы A/B-тестирования. A/B-тестирование — отличный инструмент, если использовать его правильно. Оно даст вам возможность улучшить свой сайт и повысить конверсию.
Чем больше тестов вы проведете, тем лучше узнаете своих клиентов и тем большего роста продаж добьетесь.
