Эксперименты со сплитом по гео обладают рядом проблем, связанных с SUTVA (Stable Unit Treatment Value Assumption). В рамках исследования необходимо провести ряд валидаций на предмет соблюдения SUTVA и других близлежащих условий.
SRM – проверка честного деление пользователей между группами. Необходим для проверки равномерности распределения пользователей по веткам эксперимента и разным группам. Иначе говоря, репрезентативны ли группы (по каким-либо описательным характеристикам) по сплитам между экспериментами
Проверка осуществляется с помощью критерия согласия
$$ \chi^{2} = {\sum_{i=1}^{k}{(O_{i}-E_{i})^{2}\over{E_{i}}}} $$
где O - наблюдаемое значение, E - ожидаемое, k - число степеней свободы
Нулевая гипотеза заключается в том, что баланс групп не отличается от ожидаемого
В соответствии с методикой SRM будет произведена проверка гомогенности групп. Пропорции по ряду характеристик должны быть одинаковыми и не отличаться. К примеру, категорийная матрица охваченных полигоном точек отличается между точками; курьеры имеют разный перфоманс