В этом материале разберемся, зачем такой вид проверки гипотез нужен бизнесу, в чем его преимущества и недостатки и как его проводить. Файловые расширения помогают компьютерам найти правильное приложение для открываемых файлов. Операционные системы обычно не смотрят на содержание открываемых файлов. Вместо этого они немедленно анализируют расширение файла и на основе него пробуют найти необходимое для открытия приложение.
Трудно сказать — мнения профессиональных и широко известных маркетологов разделились. Но если у вас хватает трафика, то полнофакторный тест точно не навредит ресурсу. А когда вы хотите принять бизнес-решение, критичное по времени и не предполагающее шестимесячные эксперименты, то вам наверняка подойдет дробно-факторный подход.
Другая частая ошибка — в недостаточности метрик, через которые отслеживают результаты тестирования. Например, вы видите, что конверсия в результате теста упала. Если вы не добавили метрики на промежуточных шагах, нельзя точно сказать, из-за чего конверсия хуже. A/B-тестирование, наоборот, проводят небольшими итерациями, постепенно что-то меняя или добавляя.
В то время как мультивариантные кампании запускаются на внушительное число версий, но с небольшими различиями. Провести A/B/n и MVT-тестирование без современных инструментов сложно. В Altcraft Platform доступен вид теста A/B/n для что такое мвт кампаний email, sms, push и других подключенных каналов. Ищем, что работает неэффективно или вообще не приносит никаких результатов. A/B/n сравнивает больше двух вариантов, и трафик равномерно распределяется между каждой версией.
«Мультивариантное тестирование выступает против традиционных научных представлений. MVT — это процесс тестирования более одного компонента веб-сайта в реальной обстановке (контексте). По существу, это несколько A/B/n-тестов, запущенных одновременно на одной странице». При тестировании вариантов дизайна сайта поисковики могут заподозрить вас в клоакинге — поисковом спаме, когда пользователь и поисковая система видят разные варианты страниц.
Тестируйте, чтобы собрать данные для решения об оптимизации сайта. Как было сказано выше, пока у вас нет огромных объемов трафика, даже задумываться о мультивариантных тестах преждевременно. А после определения общей картины вы можете протестировать взаимодействие элементов через мультивариантный эксперимент.
Результат зависит от времени суток, дня недели, сезонности и других факторов. Остановите тест, когда каждый вариант наберёт нужное количество просмотров. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных. Лендинг плохо работает, email- и push-рассылки не дают результата.
Если вам необходимо измерить 20 взаимодействий, а коэффициент обнаружения ложных срабатываний составляет 5%, то вы будете ожидать около одного взаимодействия, которое обнаружится случайно. В приведенном выше примере достаточно протестировать четыре комбинации. Информация о взаимодействии между факторами, включенными в экспериментальные группы, позволит оценить эффективность тех комбинаций, которые были исключены из тестирования. Три фактора в двух различных вариантах в итоге дают (23) 8 групп. В полноразмерном многомерном тестировании будут использованы все 8 комбинаций. Это означает, что необходимо будет создать 8 вариантов страницы и равномерно распределить между ними посетителей.
Закройте все работающие программы и попробуйте открыть файл MVT. Иногда разработчики программного обеспечения вводят новые форматы вместо уже поддерживаемых вместе с новыми версиями своих приложений. Причиной того, что Ultimate Wish Lists не может обрабатывать файлы с MVT, может быть то, что программное обеспечение устарело.
Однако и сам тест тоже может дать неверный результат в некоторых особенных случаях. Нет ничего проще, чем купить экспресс-тест на беременность — они продаются в любой аптеке, часто их можно встретить даже на кассе в ближайшем к дому магазине. При его проведении, кажется, тоже не требуется особых навыков и знаний. Тем не менее, у большинства женщин есть истории от собственных подруг, когда он дал им ложные надежды или, наоборот, заставил паниковать без повода.
Для того, чтобы избежать подобного казуса, не стоит сильно нагружать почки работой, т.е. Пить перед проведением теста много жидкости или принимать мочегонные препараты. Идея такая — нам надо протестировать обработчик заказов. В ней гораздо больше возможностей для создания мок-объектов, чем в Unittest, но и пользоваться ей сложнее.
Сам принцип мультивариантного тестирования заставляет взглянуть на лендинг или страницу сайта как на систему, в которой все элементы связаны. Сейчас весьма популярно неправильное представление о том, что сплит-тесты содержат всего два варианта, либо что мультивариантные тесты являются сплит-тестами с более, чем двумя вариантами. К примеру, A/B/C/D тест — это все еще сплит-тест, а не мультивариантный тест. Трафик на любой тест — это, казалось бы, маленький процент от общего числа визитёров. «Мультивариантное тестирование — это акцент на мелких элементах, слабо влияющих на остальные или не влияющих вовсе. Вместо этого маркетологи должны сосредоточиться на ведении программных и динамичных сплит-тестов, позволяющих получить сегментированный опыт нескольких целевых групп по всему сайту.
