Программа помогает рассчитать, сколько пользователей нужно для участия в эксперименте. Для этого нужно знать базовую конверсию и минимальный видимый эффект — относительную разницу в конверсии в сравнении с базовой. Изучение поведения пользователей на сайте помогает сделать интерфейс более удобным, повысить продажи и улучшить позиции сайта в выдаче. Одним из таких методов изучения является А/В тестирование. Запускать А/В-тесты лучше через специальные сервисы, которые позволят правильно разметить аудиторию и собрать статистические данные. Для сравнения случайных параметров оценивают средние показатели, поэтому потребуется 7–14 дней для накопления данных.
Glassbox — удобный инструмент аналитики данных в процессе тестирования. Он даст полную информацию по цифровому следу посетителя веб-страницы и позволит объективно оценить результаты эксперимента. Быстрый запуск программ тестирования и интеграция возможностей платформы с веб-сайтом клиента — фишка компании. https://deveducation.com/ Плюс получение достоверных результатов уже через 10 дней после старта эксперимента. Алгоритмы ИИ помогут вам удерживать посетителей веб-страниц и привлекать новых пользователей. Аналитические инструменты, такие как Google Analytics, помогают отслеживать результаты теста и измерять их эффективность.
К примеру, если вы тестируете кнопку «Зарегистрироваться», целью конверсии будет окно «Спасибо за регистрацию», которое появляется после успешного действия. Если вы поняли, то вам хватает трафика для проведения эксперимента, можно приступать к следующему шагу. Еще он поможет определить статистическую значимость после проведения теста.
Варианты пользователям нужно показывать случайным образом. Иначе может получиться так, что отдельный сегмент аудитории будет видеть только один вариант — и результат будет недостоверным. Лучше использовать специальные сервисы — они распределяют трафик автоматически. Только когда мы опровергнем нулевую гипотезу, сможем принять альтернативную — о том, что новый вариант работает лучше старого. Две гипотезы используют, чтобы не возникало ситуаций, когда тестовый вариант вводят не потому что он лучше работает, а потому что он новый. Гипотеза в A/B-тестировании — предположение о том, какой вариант объекта принесёт лучший результат.
- A/B тест предупреждает о возможных потерях, из за новых изменений, благодаря тому, что тестирование проводится на небольшой группе пользователей.
- Вариант подойдет компании среднего размера без собственного отдела маркетинга.
- A/B/n-тестирование позволяет выбрать подходящее решение из нескольких предложенных вариантов.
- Одновременно запускаются один или несколько вариантов на исходной странице.
Разберем проведение A/B-тестирования на примере классического сплит-теста, так как две другие разновидности выполняются в целом по тому же алгоритму действий. Сплит-тест — экспериментально-статистический метод исследования, поэтому его эффективность напрямую зависит от соблюдения ряда строгих правил. Рассчитать размер выборки для сплит-тестирования, в котором сравнивают конверсию вариантов, можно в специальных калькуляторах от Mindbox или от Evan Miller.
Инструменты Для A/b-тестирования
Продвинутые инструменты A/B-тестирования используют алгоритм Multi-Armed Bandit — «многорукий бандит» — для разделения посетителей между тестируемыми страницами. Существует также множество прикладных решений для А/Б-тестирования, которые работают со сторонними сервисами или существуют в виде надстроек к основному функционалу системы. Пример тому — CMS Тильда, tilda.cc, работающая через Гугл Optimize, CMS Bitrix, у которой есть собственный модуль для А/Б-тестов.
Существует много задач, которые можно решить при помощи A/B тестирования, но мы расскажем о самых часто используемых. Маркетологи и веб-мастеры практикуют такие исследования, чтобы выявить из разных вариантов самый конверсионный заголовок, вид кнопки, цвет и прочие элементы на сайте. Необходимо следить за тем, чтобы на протяжении теста устройства равномерно распределялись между сегментами аудитории. Для получения точных данных, важно придерживаться определенных правил на протяжении всего тестирования — от постановки цели до анализа результатов. Позволяет настраивать свыше 15 параметров для проведения эксперимента, частично интегрируется с Google Analytics, но без возможности импорта целей.
Так что не забывайте регулярно проверять предположительно эффективные гипотезы и модифицировать ресурс, используя A/B-тестирование. Допустим, у нас есть лендинг А с определенным дизайном кнопок. Владелец сайта считает, что кнопки другого цвета могут сделать ресурс более привлекательным для клиентов. Тогда он создает лендинг Б с другими кнопками и разделяет трафик между вариантами А и Б.
Как Провести A/b Тест?
Для подключения системы нужен доступ администратора сайта — код события нужно будет добавить в шапку на исследуемой странице. Или наоборот, видите негативный эффект ключевой метрики и завершаете АВ тест. В некоторых АВ тестах с сильными изменениями, такой как наш пример – необходимо больше времени, для получения реальной картины. В Авито, называют это “дождаться привыкания” – то есть +7/14 дней для того, чтобы посмотреть на поведение пользователей с новым UX. Например, количество посетителей сайта в месяц или число активных пользователей сервиса.
Инструмент подойдет в случаях, когда времени на длительные проверки нет, а увидеть и оценить результаты нужно быстро. Подключите все рекламные кабинеты, CRM и даже коллтрекинг к единому интерфейсу. Так вы увидите, что принесло больше всего клиентов, а какие объявления просто слили бюджет. Бесплатный план позволяет тестировать до 5000 просмотров. Он не является приемлемой альтернативой платному тарифу, так как с его помощью практически невозможно достичь статистически значительных результатов с таким объемом трафика. Современные сервисы A/B-тестирования выполняют процесс почти автоматически — вам не придется вручную сравнивать полученную статистику.
Если исторических данных нет, то используется значение равное zero.5 (50%). Например, на данный момент конверсия онлайн-магазина — 4%. Маркетолог, который недавно посмотрел вебинар о восприятии цветов, предлагает изменить текущий агрессивный красный цвет кнопки «Купить» на более приятный зеленый. Предполагается, что это может увеличить конверсию в 2-2,5 раза.
A/b Тест — Это Просто
Напоминаем, что ее уровень в 95% — привычный стандарт для проведения A/Б-тестов. Как и Clickthroo, Unbounce — решение для А/Б-тестирования лендингов. Это один из самых известных инструментов для создания и оптимизации целевых страниц.
При наличии отдельного сегмента целевой аудитории, с которым вы взаимодействуете через почтовую рассылку, стоит особое внимание уделить темам (subject) письма. Это важный аспект, который зачастую является решающим в вопросе, откроют ли ваше письмо. Невозможно затронуть каждый сегмент своей целевой аудитории, используя исключительно SEO-тексты. Это может быть подкаст, видеоролик, какая-то наглядная инфографика и т.п. Если еще задаетесь вопросом, нужно ли вам A/B-тестирование, то спросите себя, должен ли ваш сайт приносить больше прибыли.
Если отслеживать метрики, которые не влияют на коммерческие показатели, можно принять неправильное решение. Лучше выбирать показатели, которые влияют на выручку и прибыль, — например, коэффициент конверсии. В этом случае нужно сформулировать новую гипотезу и провести новое сплит-тестирование. Эксперимент остановится сам, когда придёт время или когда накопится достаточно данных. Чтобы оценить результаты, нужно нажать на кнопку «Посмотреть отчет» в списке экспериментов. Сплит-тестирование проводят до тех пор, пока не будет достигнут заданный размер выборки.
Цена сервиса A/B-тестирования зависит от количества выполненных вами тестов. Вариант подойдет компании среднего размера без собственного отдела маркетинга. Если значения будут в рамках погрешности, калькулятор даст результат об отсутствии статистической значимости. Стандартный срок выполнения исследования составляет дней.
Например, измененная с прямоугольной на круглую кнопка подписки не привела к увеличению числа заказов, но улучшила отдачу у женской части аудитории. Такое сегментирование можно провести по географическим параметрам, типу платформы (десктопной или мобильной), полу, возрасту, источнику трафика и т. А/Б-тестирование — мощный инструмент улучшения рекламной стратегии, сайта и других параметров.
Помимо этого, стоит подумать о составе аудитории — это будут только новые пользователи или постоянные. В большинстве случаев, новые пользователи предпочтительнее, потому что постоянные привыкли к интерфейсу и могут не заметить изменений. Есть множество сервисов, которые помогают формировать гипотезы. Они варьируются от визуальных инструментов «тепловых карт», таких как Вебвизор от Яндекс.Метрика, до инструментов опросов, таких как Typeform. Site Tuners — агентство, специализирующееся на маркетинговом консалтинге.
В онлайн-сервисах для проведения сплит-теста порог значимости выбирается автоматически. Проверять несколько или все сразу — не лучший вариант, так как после тестирования будет сложно определить, какая переменная оказала решающее влияние на результат. Поэтому для одного сплит-тестирования необходимо выбрать только один проверяемый элемент (при этом его вариаций может быть более двух). A/B-тестирование — это метод маркетингового исследования, который заключается в сравнении контрольного (A) варианта продукта с его измененной (B) версией.
Соблюдая все пункты этой нехитрой инструкции, по окончании тестирования вы получите искомый результат. Чтобы проанализировать все клики разных версий А/В тестирования просто добавляйте элементы за выбранный период — они отобразятся автоматически. Например, «увеличить количество переходов по ссылке на 6%». Понятно, к чему нужно стремиться, и не приходится отвлекаться на другие показатели.
Наиболее популярным инструментом для А/В-тестирования считается Google Optimize. Этот сервис легко настроить, он бесплатный и легко интегрируется с Google Analytics.. С его помощью можно протестировать разные элементы страницы и настроить полную автоматизацию эксперимента. Для получения методы эффективного тестирования достоверных результатов рекомендуется проводить тестирование минимум 7 дней. За 7 дней ваша аудитория проходит и будни и выходные дни и устраняется сезонность. Сезонность в данном случае, это когда аудитория может активнее использовать ваш продукт в выходные дни или, наоборот, в будние.
Новички часто сразу придумывают много вариантов для проверок с разными размерами кнопок, цветами и другим оформлением. Опытные веб-мастеры советуют разбивать тесты на несколько этапов и начинать с проверки больших изменений. Протестируйте очень разные версии страницы с разными кнопками и постепенно дорабатывайте и проверяйте ту, которая показывает лучший результат. Расставляйте приоритеты гипотезам и начинайте с самых важных. A/B-тестирование невозможно, если на сайте мало трафика, потому что статистической значимости такие результаты не дадут. На маленьких выборках даже небольшие отклонения будут выглядеть значимым плюсом для одного из вариантов, поэтому нужно изучать реакцию множества пользователей.