Шрифт:
А/В-тестирование дает ответы, основанные на реальных данных и не зависящие от нашего мнения. В ходе измерений быстро выяснилось, что вариант D намного лучше остальных. Тестирование принесло сайту тысячи долларов прибыли.
Как правильно провести тестирование
Теперь вы видите, насколько полезными могут быть тесты. Положим, вы решили применить свои знания на практике, но не до конца в себе уверены. Например, как вы докажете остальным, что результаты тестирования являются верными? При проведении любых тестов обязательно учитывайте такие факторы, как сезон и даже время суток. Лучше запускать проверку двух версий одновременно и отслеживать результаты на протяжении двух недель. Убедитесь, что размер выбранной контрольной группы достаточно большой, а разница между результатами является статистически значимой.
Майк Сэк, исполнительный директор и главный инженер компании Inceptor, дает несколько советов по проведению А/В-тестирования:
В первую очередь решите, в каких пропорциях будете делить своих посетителей на группы: 50/50, 90/10 или 80/20. Вы можете сформировать группы по какому-либо признаку, например по времени суток или даже по поисковой системе, из которой пришли посетители (пользователи Google увидят вариант А, а пользователи Yahoo! – вариант В). Во-вторых, определите стабильность теста. Другими словами, если посетитель ушел с сайта и зашел на него вновь, увидит ли он тот же самый вариант, что и раньше? Вы можете сохранять версию тестовой страницы в течение одной сессии или устанавливать для посетителя соответствующий вариант страницы с помощью cookies. Желательно, чтобы тестируемая страница не менялась хотя бы в течение сессии, хотя cookies, конечно, дают больше возможностей, поскольку позволяют отследить покупку, совершенную через какое-то время.
Как правильно выбрать размер контрольной группы и установить критерии успеха?
Чтобы определиться с размером контрольной группы, проведите «нулевое» А/В-тестирование. Оно, по сути, представляет собой А/А-тестирование: вы предлагаете обеим группам одинаковые страницы сайта и смотрите, насколько различаются между собой полученные результаты. Обычно погрешность составляет не более 0,05 %, хотя это вам решать. Размер контрольных групп, при котором результаты измерений примерно одинаковы, будет оптимальным.
Критерием успеха можно сделать определенное количество продаж за период времени, скажем, за две недели. Определите, какая разница в показателях эффективности будет считаться достаточной для того, чтобы выявить победителя. Существует негласное правило: результат считается лучшим, если превосходит другой результат в три раза (например, если при А показатель эффективности равен 5, а при В – 15, то вариант В будет лучшим).
А/В-тестирование – очень мощное средство оптимизации. Вот несколько советов по его проведению:
– используйте недорогие скрипты;
– поместите варианты тестируемой страницы на разные серверы, тогда каждый участник тестирования попадет на соответствующий сервер;
– используйте программное обеспечение, позволяющее проводить А/В-тестирование: Inceptor, Optimost, OfferMatica и Visual Sciences.
С помощью соответствующего ПО [25] можно изучить тысячи разных факторов, но помните, что значимую роль в работе сайта играют лишь некоторые из них. Хотя специальные программы и позволяют отследить влияние тех или иных показателей, они не помогут вам в поиске данных для измерения и не дадут знаний и опыта, необходимых для успешного А/В-тестирования. Здесь уже все зависит от вас.
25
Главный инструмент для этого Google Websiteoptimizer. Прим. научн. ред.
Что нужно тестировать? Легче, пожалуй, составить список того, о чем можно не беспокоиться, – это будет чистый лист бумаги. Но мы все-таки перечислим элементы, заслуживающие особого внимания. Вот что следует тестировать в первую очередь:
– рекламную рассылку: подарки, купоны, текст сообщений, гарантии, слова в поле «От:», призывы к действию, приветствие, шрифт, расположение элементов на странице, графические изображения;
– сайт: целевые страницы, продающий текст (заголовки, содержание, призывы к действию, аргументы, подкрепляющие уверенность), цветовое решение, расположение элементов, настроение, создаваемое сайтом, и ссылки.
А/В-тестирование – это вовсе не высшая математика, и, конечно, существуют более сложные методы исследования эффективности сайта. Но именно в простоте и заключается главное преимущество А/В-тестирования. Проведя необходимые тесты, вы сможете, не колеблясь, принимать серьезные решения. Ведь, кроме интуиции, в вашем распоряжении будут реальные цифры.
Веб-аналитика для интернет-магазина
Наши клиенты часто спрашивают, правильную ли систему веб-аналитики они выбрали. Владельцам интернет-магазинов мы рекомендуем вначале найти для этой цели правильного специалиста, а уже потом инвестировать деньги в соответствующее программное обеспечение.
В 2004 г. компания Jupiter Research провела исследование, в ходе которого выяснилось, что лишь у 27 % владельцев онлайн-бизнеса, участвующих в опросе, имелся в штате специалист по веб-аналитике. В ходе исследования руководителям задавали вопрос: «С какими трудностями при управлении сайтом вы сталкиваетесь чаще всего?» Почти все респонденты ответили, что им сложно собирать нужные данные, правильно их интерпретировать и использовать в работе.
А ведь в этом и заключается задача веб-анализа. Сначала настройте систему веб-аналитики, чтобы она формировала отчеты, содержащие требуемые сведения. Будет ли при расчете тех или иных показателей учитываться активность поисковых роботов? Если пользователь обновит страницу, увеличится ли от этого счетчик просмотров?