Настройка и проведение тестов

Настройка А/Б-теста¶

1. В главном меню Roistat выберите пункт А/Б-тесты:

   

2. Выберите, какой тип теста вы хотите создать:

   

3. Настройте и запустите тест:

Если вы создаете тест стилей

1. Введите название теста. На вкладке Вариант 1 добавьте CSS-код для альтернативного варианта страницы:

   

   Если нужно добавить другие тестовые варианты, нажмите . Чтобы переименовать или удалить вариант, нажмите и выберите нужную команду из списка.

2. В поле Предпросмотр варианта введите адрес тестируемой страницы и нажмите Посмотреть.

3. Чтобы сохранить и запустить тест, нажмите Создать и запустить. Если вы хотите сохранить тест, не запуская его, нажмите Создать новый тест – в этом случае тест можно будет запустить позже из общего списка.

Подробнее о тесте стилей

Если вы создаете программируемый тест

Следуйте одной из инструкций:

Программируемый тест на PHP


Программируемый тест на Python

Просмотр и управление¶

При входе в раздел А/Б тесты автоматически открывается список всех тестов.

Тесты разделены на 2 категории:

• Запущенные тесты;
• Тесты в архиве.

Рядом с заголовком категории отображается количество тестов.

В табличной части каждому тесту соответствует одна строка.

Для тестов отображается следующая информация:

• Название теста – наименование созданного теста;
• Тип теста – один из двух типов теста: CSS или Программируемый;
• Дата начала – дата и время начала теста с точностью до секунды;
• Дата окончания – дата и время окончания/остановки теста с точностью до секунды;
• Продолжительность – продолжительность теста в секундах, минутах, днях или др.;
• Количество визитов – число посещений сайта с тестируемым интерфейсом.

Тесты на вкладке Запущенные тесты можно:

• Запустить, если это тест CSS, с помощью кнопки Запустить тест;
• Остановить с помощью кнопки Остановить;
• Возобновить с помощью кнопки Продолжить;
• Переместить в архив запущенный тест с помощью кнопки Архив;
• Отредактировать, если это тест CSS, с помощью кнопки .

Тесты на вкладке Тесты в архиве можно:

• Восстановить с помощью кнопки Восстановить – в списке активных тестов он появится после перехода на соответствующую вкладку;
• Отредактировать, если это тест CSS, с помощью кнопки .

Отредактировать запущенный или завершенный тест невозможно. Но вы можете создать копию этого теста, нажав кнопку Клонировать на открывшейся странице настроек теста. В скопированный тест можно вносить любые изменения.

Результаты тестирования¶

В качестве показателя эффективности А/Б-тестирования в Roistat используется прибыль.

Выводы о результатах А/Б-тестирования часто основываются на конверсии. Это необъективно, так как заявки не всегда конвертируются в продажи. 

Для просмотра результатов теста необходимо в Списке тестов нажать на его название:

На странице результатов теста отобразится общая информация о нем:

• Название теста, его тип и состояние;
• Период – продолжительность теста в секундах, минутах, днях или др., а также начальная и конечная/текущая даты;
• Визиты для этого теста – количество посещений сайта с тестируемым интерфейсом за весь период.

Результаты проведения тестирования отображаются ниже в виде таблицы.

Результаты проведения теста представляют собой статистику по сделкам, которые сгруппированы в таблице по тестируемым вариантам интерфейса. Например, в данном случае тестируются исходный вариант, Вариант 1, интерфейс с голубым оформлением и красным оформлением:

Подробная статистика отобразится, если вы развернете список. Данные внутри каждого варианта теста сгруппированы точно так же, как и в основном отчете в разделе Аналитика:

Для просмотра деталей сделок нужно навести курсор на вариант интерфейса и кликнуть на четвертый по счету значок (Показать список сделок):

В таблице отображены следующие бизнес-показатели:

• Визиты;
• Конверсия в заявки;
• Заявки;
• Конверсия в продажи;
• Продажи;
• Выручка;
• Средний чек;
• Расходы;
• CPO;
• ROI;
• Польза варианта (в рублях);
• CBA;
• CBA+.

При наведении на название показателя появляется всплывающая подсказка, напоминающая, что означает данный термин:

У вас есть возможность управлять отображением результатов в таблице:

1. Выбирать период, за который вы хотите просмотреть значения показателей. Для этого нажмите нужную кнопку над таблицей: календарь, Сегодня, Вчера, Неделя, Месяц, 3 месяца:

   

2. Выбирать те тестируемые варианты, рекламные каналы, кампании, ключевые слова и сделки, по которым вы хотите увидеть общую статистику. Для этого установите флажки напротив нужных позиций и посмотрите на строку Итог/Среднее. По умолчанию отображается общая статистика по всему тесту, хотя флажки и не установлены:

   

Данные можно упорядочить по любому из показателей, нажав на его название. По умолчанию они упорядочены по заявкам в порядке убывания.

Ключевыми считаются два показателя, выражающие вероятность некоторого варианта победить остальные:

• CBA – вероятность, основанная на конверсии из визитов в заявки. Используется, если цикл продаж оказывается большим, например, от визита на сайт до продажи проходит несколько месяцев.

• CBA+ – вероятность, основанная на прибыли. Используется в большинстве случаев, так как показатель основан на прибыли и показывает, какой из вариантов заработал больше денег.

Как рассчитываются CBA и CBA+

При расчете CBA и CBA+ Roistat учитывает не только конверсию, но и доверительный интервал.

Например, вы тестируете два варианта страницы. На странице A вы получили 50 заявок на 1000 визитов, на странице B – 55 заявок на 1005 визитов:

Вариант	Заявки	Визиты	% визитов с заявками
A	50	1000	5%
B	55	1005	5,47%

Из таблицы видно, что вариант B лучше варианта A. Но насколько достоверен этот результат и какова вероятность победы варианта A? Чтобы определить, насколько вариант B лучше варианта A, применяется статистический анализ.

Сначала Roistat вычисляет доверительный интервал для каждого варианта. Для варианта A доверительный интервал составляет 0,69, для варианта B – 0,72.

Затем рассчитываются минимально и максимально возможные значения для обоих вариантов с учетом правила 68–95–99.7:

• Вариант A:

  min = % визитов с заявками - доверительный интервал * 2, то есть min = 5 - 0,68 * 2 = 3,62

  max = % визитов с заявками + доверительный интервал * 2, то есть max = 5 + 0,68 * 2 = 6,38

• Вариант B:

  min = % визитов с заявками - доверительный интервал * 2, то есть min = 5,47 - 0,72 * 2 = 4,04

  max = % визитов с заявками + доверительный интервал * 2, то есть max = 5,47 + 0,72 * 2 = 6,91

Ниже размещен график распределения вероятностей для вариантов A и B. Для примера выделена площадь, отражающая вероятность того, что у варианта B конверсия окажется меньше 5, а у варианта A – больше 5:

Если посчитать суммарную вероятность для ряда значений конверсии от минимально до максимально возможного (т.е. от 3,62 до 6,91), станет понятно, что вариант B победит с вероятностью 67%, вариант A – с вероятностью 33%. Эти значения и будут указаны для показателя CBA.

CBA+ рассчитывается аналогичным образом на основе прибыли.

Если разрыв между показателем-лидером и остальными оказывается очень велик, это значит, что результатов теста собрано достаточно, а вероятность, что лидирующий вариант не победит, мала. Это и является сигналом того, что тест пора останавливать: у вас есть вариант, который гарантированно победит и принесет большую прибыль.