Подбросьте монету три раза. Выпало три орла — вы же не станете утверждать, что монета бракованная. Подбросьте триста раз, получите двести восемьдесят орлов — вот теперь разговор предметный.

Разница между этими ситуациями не в честности наблюдений. Оба раза вы записали ровно то, что видели. Разница в том, что в первом случае результат легко объясняется случайностью, а во втором нет.

Ровно это происходит с данными о проходимости в первые дни. Цифры настоящие, выводы из них — нет. Разберу, где проходит граница, и дам два правила, которыми можно пользоваться без статистики.

Правило двух недель

Минимальный осмысленный период наблюдений — две недели. Не потому, что это красивое число, а потому что меньше просто не покрывает основной цикл.

Неделя даёт вам по одному экземпляру каждого дня: один понедельник, один вторник. Если в этот вторник шёл дождь, вторник у вас навсегда останется плохим днём. Две недели дают по два экземпляра и первую возможность отличить день недели от погоды.

Три-четыре недели дают уже приличную картину буднего цикла. До этого срока любое сравнение дней недели между собой — гадание.

Одна точка собирает в среднем около 960 идентификаторов в сутки, 3 900 за неделю, 12 300 за месяц. Объём набирается быстро. Проблема не в количестве строк, а в количестве повторов каждой ситуации.

Правило сотни

Второе правило касается не срока, а размера группы, по которой вы делаете вывод.

Звучит так: если в срезе меньше сотни человек, относитесь к нему как к наблюдению, а не как к факту.

Пример. Вы разложили поток по возрасту и увидели, что людей старше пятидесяти всего восемь процентов. Если общий поток за период — двенадцать тысяч, восемь процентов это почти тысяча человек, и цифре можно верить. Если общий поток за три дня — триста человек, восемь процентов это двадцать четыре человека, и завтра их может оказаться сорок без всякой причины.

Особенно коварно это при пересечении признаков. Стоит наложить друг на друга время, частоту визитов и возраст, как в ячейках остаётся по десятку человек. Каждая ячейка выглядит осмысленной, интерфейс рисует по ней аккуратный процент, и вы принимаете решение по шуму.

Про матчинг тоже помните: обогащённые поля — возраст, интересы, города — заполнены не у всех строк, в Крипте матчится до 30%. То есть при разговоре о возрасте ваша фактическая выборка втрое меньше общего числа собранных адресов.

Что можно смотреть уже на третий день

Не всё требует накопления. В первые дни честно работают вещи, где вы сравниваете не группы, а порядки величин.

Порядок потока. Двести человек в сутки или две тысячи — это видно сразу и почти не зависит от случайностей.

Грубый профиль дня. Утро сильно живее вечера или наоборот — если разница кратная, она проявится быстро.

Работоспособность установки. Данные идут, устройство на связи, поток похож на правду. Это стоит проверить в первый же день, а не через месяц.

Что требует месяцев

Сезонность. Здесь никаких хитростей: чтобы сравнить сентябрь с сентябрём, нужен год. Всё, что вы скажете о сезонности по трём месяцам, будет догадкой.

Эффект изменений. Поменяли витрину, хотите увидеть отклик — нужен период до и период после, сопоставимые по длине и по условиям.

Отток постоянных. Чтобы заметить, что человек перестал приходить, надо сначала установить, что он приходил регулярно. Это само по себе занимает недели.

Главный признак того, что вы смотрите на шум

Простой тест, который я советую применять ко всем отчётам, включая наши.

Разбейте период пополам и посчитайте интересующий вас показатель отдельно по каждой половине. Если в первой половине месяца доля молодой аудитории тридцать процентов, а во второй пятьдесят пять — у вас нет вывода. У вас есть разброс, и любая из этих цифр случайна.

Если же обе половины дают близкие значения, показателю можно верить и с ним можно работать. Проверка занимает пять минут и спасает от решений, за которые потом неловко.

Скажу спорное. Большинство ошибок в работе с данными — не ошибки измерения, а нетерпение. Инструмент показал цифру, цифра выглядит убедительно, ждать не хочется. Дисциплина ожидания стоит дороже точности прибора, и её нельзя купить вместе с оборудованием.

Что дальше

На этом закрывается базовая часть: мы разобрали, что собирается, как это читать, как выгружать в рекламу, как мерить доходимость и когда цифрам можно верить. Дальше будем разбирать отрасли по отдельности — там у каждой своя специфика, и общие правила в них работают по-разному.

Проверить на своих данных

Демо-кабинет открыт без регистрации: cp.wifiradar.ru/radar, логин и пароль wifiradar_demo. Попробуйте на нём тест с делением периода пополам — он одинаково работает на любых данных.

Как устроен сбор — на странице продукта. Для двухнедельного замера на своей площадке подойдёт аренда комплекта.