Есть два утверждения, которые выглядят одинаково и означают совершенно разное.

Первое: человек видел рекламу и потом пришёл. Это факт, он измеряется, спорить не о чем.

Второе: человек пришёл из-за рекламы. Это уже гипотеза о причине, и из первого утверждения она не следует.

Вся дисциплина атрибуции живёт в зазоре между этими фразами. Разберу, что можно утверждать честно, а где начинается натяжка — включая ту, которую делаем мы сами, когда рассказываем про наши цифры.

Почему совпадение не равно причине

Представьте: вы показываете рекламу людям, которые уже ходят мимо вашей двери каждый день по дороге на работу. Часть из них зайдёт на этой неделе — не потому что реклама, а потому что они и так заходят раз в месяц.

В отчёте это будет выглядеть как отличная доходимость. Вы решите, что нашли рабочую связку, и увеличите бюджет на аудиторию, которая приходила бы бесплатно.

Мы называли это инкрементальностью: значение имеет прирост, которого не было бы без кампании, а не общее число дошедших. Атрибуция — это способ отделить одно от другого.

Единственный честный инструмент

Контрольная группа. Часть аудитории намеренно оставляется без показов, и сравниваются доли дошедших в обеих группах.

Всё остальное — приближения разной степени грубости. Только сравнение с контрольной группой отвечает на вопрос о причине, потому что обе группы одинаковы во всём, кроме факта показа.

Практическое замечание: контрольная группа должна формироваться случайно, а не по остаточному принципу. Если в неё попали те, кого площадка не смогла сматчить, вы сравниваете разные по природе группы, и результат бессмысленный.

Размер: чем меньше ожидаемый эффект, тем больше нужна группа. При доходимости порядка процента группа в тысячу человек даёт десяток визитов, и разница в два-три визита между группами не значит ничего.

Что можно утверждать без контрольной группы

Сравнение сегментов между собой. Если сегмент А даёт доходимость 2%, а сегмент Б — 0,3%, при прочих равных А лучше. Это корректный вывод, потому что оба меряются одинаково и в одинаковых условиях.

Динамику. Доходимость по одному и тому же сегменту выросла после смены креатива — наблюдение, годное для дальнейшей проверки.

Порядок величин. Кампания дала не сотни визитов, а единицы — это видно и без статистики.

Чего утверждать нельзя

Что все дошедшие пришли из-за рекламы. Часть пришла бы всё равно.

Что отсутствие роста означает неработающую рекламу. Возможно, она удержала поток, который иначе упал бы. Без контрольной группы это неразличимо.

Что рост выручки вызван кампанией. Радар видит визиты, а не покупки. Между визитом и выручкой стоит работа продавца, ассортимент и погода.

Что цифра абсолютно точна. В Крипте матчится до 30% адресов, телефон с выключенным Wi-Fi невидим. Все абсолютные значения занижены, и это не поправимо коэффициентом, потому что смещение неравномерное.

Как мы сами это нарушаем

Честности ради. Когда мы приводим кейс, где кампания на бюджете 1 140 рублей дала 102 клика и рост выручки на 10% за десять дней, подтверждённый заказчиком, — это наблюдение, а не доказательство причинности. Контрольной группы там не было.

То же с кейсом, где сегмент дал возврат на вложения 216%. Цифра посчитана честно, но она описывает то, что произошло, а не то, что произошло бы без кампании.

Это нормальные рабочие результаты и плохие научные доказательства. Так к ним и стоит относиться — и к нашим, и к чужим.

Скажу спорное. Индустрия маркетинга держится на утверждениях о причинности, которые никто не проверял контрольной группой, потому что это дорого и результат может разочаровать. Компания, которая один раз честно поставит такой тест, узнает о своей рекламе больше, чем за предыдущие пять лет отчётности.

Что дальше

Дальше разберём кейс, где контрольная группа была: сравнение сегмента радара с классическими каналами на идентичных креативах. Там видно, как выглядит корректно поставленный тест и что он показывает.

Поставить свой тест

Демо-кабинет открыт без регистрации: cp.wifiradar.ru/radar, логин и пароль wifiradar_demo. Сегменты для контрольной группы делятся там же.

Разборы внедрений с цифрами — в кейсах.