Надстройка Excel для; упрощения А/Б-тестирования в; те

Надстройка Excel для упрощения А/Б-тестирования в Yandex.Директе

Крайняя часть серии материалов о A/Б-тестировании от ведущего спеца по контексту Media108 Евгения Юдина. Создатель ведает о своей надстройке для Excel, ее использовании при проведении тестов и анализе результатов.

Эта статья — 3-я и заключительная в серии моих материалов о А/Б-тестах. В первой мы гласили о теоретических качествах тестирования. Во 2-ой разглядели, как рассматривать статистику по объявлениям при проведении А/Б-тестирования, также разобрали пример группировки данных по объявлениям.

Надстройка, которую мы рассматриваем в данной статье, упростит процесс сопоставления объявлений в большенном количестве групп. Она работает лишь с данными Yandex.Директа, для этого нам довольно выгрузить отчет из Мастера отчетов.

Также надстройка включает пользовательскую функцию, которая упрощает процесс составления запроса для Директ Коммандера для остановки старенькых объявлений и пуска новейшего теста.

Установка надстройки

Так как сама по для себя надстройка создана для Excel (протестирована на версиях 2010 и 2013), нам нужно скачать ее и установить.

Видео по установке на примере иной моей надстройки в Excel 2013 (1-ые полторы минутки видео):

Чтоб проверить, корректно ли прошла установка, попытайтесь добавить макрос «ЗапускФормыАБТестирования» на панель резвого доступа. Открываем пункт меню «Файл»:

Перебегаем в характеристики:

Добавляем макрос на панель резвого доступа:

Если у вас все вышло и установка надстройки прошла корректно, то на панели резвого доступа покажется соответственная иконка:

Как работает надстройка?

В качестве начальных данных надстройка воспринимает отчеты из Мастера отчетов Директа. При всем этом в зависимости от опций нужно включить в их столбцы с номерами объявлений, групп и/либо кампаний.

Принципиально! Не добавляйте излишние срезы. Это может воздействовать на работоспособность надстройки.

Надстройка будет работать так, как задумано, когда отмечены срезы:

1. Кампании, группы, объявления.
2. Группы, объявления.
3. Кампании + один хоть какой иной срез.

Надстройка НЕ будет работать корректно, если отмечены срезы:

1. Кампании, группы, объявления, устройства, пол.
2. Группы, объявления, возраст.
3. Кампании, группы + два и наиболее остальных срезов.
4. Группы + два и наиболее остальных срезов.

Представим, что мы уже скачали отчет в подходящем формате (XLS либо XLSX), отметив группировку «за избранный период» и последующие срезы (период, атрибуцию и столбцы можем отмечать любые по собственному усмотрению):

Дальше при запуске надстройки нам нужно избрать, по какому параметру и при каких критериях мы будем ассоциировать наши объявления. Представим, что мы желаем отыскать объявления с самым низким CPA в группе. Такие объявления мы будем считать более действенными и другие ассоциировать с ними. 1-ая часть опций:

Дальше мы должны указать непременное условие для сопоставления. Например, мы желаем учесть при сопоставлении лишь те объявления, по которым было больше одной конверсии. Соответственно, мы создаем условие «Не учесть объявления, по которым было меньше 1 конверсии». 2-ая часть опций:

Итог работы надстройки:

Используя данные о относительной разнице и количестве воззваний, мы можем принять решение о том, какие объявления останавливать, а какие оставлять.

Представим, что сейчас мы желаем приостановить часть объявлений, которые плохо отработали. Фильтруем объявления, которые желаем приостановить, и копируем их номера на отдельный лист. Фильтровать можно по собственному усмотрению, я выделил те, по которым CPA выше на 30%:

На новеньком листе под объявлениями вставляем формулу и незначительно модифицируем ее:

«A2:A7» заменяем на спектр, в котором находятся номера ваших объявлений.

Получившееся значение в ячейке с формулой вставляем в Директ Коммандер — это готовый запрос для фильтрации данных объявлений:

Сейчас мы можем приостановить эти объявления и сделать новейшие в этих же группах для пуска новейшего А/Б-теста.

Необычное внедрение надстройки

Надстройку можно применять не по прямому предназначению. К примеру, мы желаем добавить корректировки ставок по устройствам. Для этого выгружаем отчет из мастера отчетов в последующем виде: группировка «за избранный период», срезы «Кампании» и «Тип устройства». Период, атрибуцию и столбцы можем отмечать любые:

Открываем отчет и запускаем форму для примера со последующими опциями:

Получившиеся результаты можем применять для опции корректировок ставок на уровне кампаний:

Из таблицы выше видно, что не по всем типам устройств была хотя бы одна конверсия.

В этих примерах я отсеивал срезы (объявления и типы устройств) по принципу «было наименее 1 конверсии», но практически вы сможете применять тот фильтр, который посчитаете необходимым. Например, можно испытать отфильтровать объявления и срезы по принципу «фактический расход меньше среднего CPA по аккаунту».

Заключение

При большенном количестве групп эта надстройка способна серьезно облегчить задачку сопоставления маркетинговых объявлений. Буду рад, если она окажется для вас полезной. Если возникнут вопросцы — пишите в комментах.