пятница, 29 октября 2010 г.

A/B тестирование

Давненько не писал ничего, ибо развел кипучую деятельность (или её  имитацию :), в очередной раз промотивированный поездкой на конференцию ISDEF :)

Пока напишу только про A/B-тестинг страничек сайта. Все говорят, как это здорово и полезно. Я это всё понимал, но лень побороть не мог, чтобы заняться. А тут вдруг поборол и занялся.

Вкратце для тех, кто не совсем в курсе, что такое A/B тестирование сайта. Это когда создается два (или несколько) вариантов какой-то странички и разным пользователям показываются разные варианты. При этом замеряется конверсия во что-нибудь полезное. Где она больше - тот вариант лучше, его оставляем, делаем очередные варианты (кнопку с зеленой на красную меняем, например) и снова запускаем тестирование. И так до бесконечности, ведь пределов совершенству, как известно, нет.

Вобщем заставил себя и запустил штук 6 экспериментов в гугловском Website Optimizer-e. В качестве конверсии у меня трекается конверсия в закачки. Покупки у меня как-то плохо трекаются, да и не со всех регистраторов.

Первое впечатление от просмотра статистики по тестам - ё-моё, все мои "улучшалки" на самом деле ухудшают :) Оно примерно так и оказалось, но еще я понял, что не стоит вообще никаких выводов делать, основываясь на статистике за первые дни. Ведь бывают и такие картинки:

То есть на самом деле победил тот вариант, что в первые дни проигрывал. Вообще, в A/B-тестировании, как я погляжу, всё не так радужно, как периодически пишут в блогах. Например, из 6 тестов более-менее убедительные результаты были в двух, в остальных либо конверсия вариантов бродит туда-сюда, либо вообще  происходит что-то странное. Вот посмотрите:

А ведь это, между прочим, переходы на страницу покупки. В одном варианте на странице есть кнопки "Купить" и "Скачать", а во втором - только "Купить". Как понимать этот график - не знаю. Сначала народ отвлекался на скачивание и забывал про покупку, а потом вдруг отвлекаться перестал? Хотя именно в этом эксперименте есть кое-какие сомнения относительно качества подсчета конверсии.

А кто писал, что фотографии людей на сайте увеличивают конверсию? Я когда-то повелся и понавешал. Потестировал - у меня они конверсию уменьшают! Вот:

Совсем ненамного, но уменьшают. В этом эксперименте результат статистически более-менее надежен, больше 1000 конверсий. Так что в некоторых местах девочек уберу.

Что еще интересного... А, ну вот например кнопка с моргающим текстом Download у меня народ пугает и кликают туда меньше, чем по её статическому варианту. Надо будет еще попробовать вариант с более плавной анимацией, а не двумя кадрами :)

Интересный момент A/B тестинга - чужие эксперименты могут только дать понять, в каком направлении проводить свои, но вовсе не факт, что ваши посетители будут реагировать на них так же. Так что A/B тестирование - штука индивидуальная и нужная.

Тестируйте :)