Когда-то давно я уже
писал про A/B тестирование. А не так давно Рома Рудник выложил
видео с ISDEF (за что ему большущее спасибо. Заказывайте у него
иконки! :) и там среди прочего был доклад Дениса Журавлёва
"Как я провел это лето: битва за конверсию на одном шароварном сайте" (за что ему тоже спасибо, юзайте
Dr.Explain для создания хелпов :)
Мало того, что по мере слушания доклада я пару раз ставил его на паузу и бежал делать кое-какие изменения на сайте, так под конец я тоже загорелся идеей написать свой скриптик для a/b-тестирования, в голове уже сложилась структура базы под это дело и всё, процесс уже не остановить. Вобщем, пару недель назад выходные прошли интересно, написал системку. Изобрёл велосипед, ага. Про велосипед я еще много могу рассказать, но нет, давайте к результатам.
Снова я разочаровался в A/B тестировании! Пришёл к такому выводу - пользователю (который потом купит) пофигу - красная кнопка или зелёная, слева скриншот или справа, кнопка в правой колонке или в основном тексте. Ну реально пофигу. От таких мелочей конверсия практически не зависит на самом деле. Зря Денис заканчивал тесты раньше - надо было подождать подольше. Чем дольше ждёшь, тем больше результаты стремятся к паритету. У меня тоже некоторые тесты начинались с явной победой какого-то одного варианта, а к исходу пары недель победа уже неочевидна совершенно - небольшой перевес то у одного варианта, то у другого. Единственный раз, когда я заставил один вариант чуть-чуть выиграть - это был тест "одна кнопка Download на странице vs три кнопки в разных местах".
Может очевидную вещь скажу, но увлекающимся A/B тестированием надо о ней постоянно помнить.
Конверсия зависит в основном от качества трафика, а не от цвета кнопки (и, кстати, у меня пока оранжевая кнопка выигрывает у зеленой :)) 79 vs 72 клика). То есть основная зависимость от внешних факторов, а не от внутренних. Если на страницу приходит незаинтересованный человек - он и не будет качать софт. А заинтересованный кнопку любую найдёт, если ее специально не спрятать. Так что этой мышиной вознёй (a/b тестами) мы тешим себя надеждой, что что-то настраиваем и улучшаем. Есть у меня страницы, на которые идут люди и качают всего 7% от зашедших. И там хоть лбом бейся, играясь с содержимым странички, а не заставишь качать больше (не рассматриваем читерские варианты, которые в продажи всё равно не выльются). Ну может до 8% получится поднять за полгода опытов (и врядли это даст рост продаж на 12%). А есть странички, где качают 30% зашедших. А потому что трафик более целевой туда идёт. Ну и еще одно наблюдение из практики - чем больше трафика, тем он менее целевой :) К сожалению...
И почему мы продолжаем заниматься A/B тестированием? А потому что это интересно! Я люблю смотреть на изменяющиеся цифры (это болезнь может такая?) - у меня даже real time гугл-аналитика в отдельном окне уже несколько лет крутится :) И всякие приборчики с цифрами обожаю (кстати, единомышленникам - приобрёл классную зарядку для AA/AAA аккумуляторов - Technoline (La Crosse) BC-700- кучу циферок показывает, рекомендую). Сейчас у меня с десяток активных A/B тестов. Само собой, не только кнопки, но и тексты, расположение элементов, оформление. Нигде не добился явного результата, но наблюдаю :) А внешними факторами, от которых в основном конверсия и зависит, мы не можем так быстро жонглировать и изменять, вот и приходится довольствоваться легкодоступным.
Такое вот мнение. Разубедите?
