Но аналогия с подбором очков, к сожалению, не полностью подходит для нашего случая. Окулист, проверяя зрение, опирается на данные многочисленных медицинских исследований. В его распоряжении имеется готовая шкала и хорошо откалиброванная аппаратура, поэтому точность измерения гарантирована, а для обработки результатов нужно лишь воспользоваться проверенными методами. И все-таки эффективность А/В-тестирования очень впечатляет.

Вот один из наших любимых примеров. Несколько лет назад на сайте Amazon.com возникла необходимость внести некоторые улучшения в работу. Ниже показана область, которую изменяли в ходе А/В-тестирования:

А/В

Первоначально в каждом разделе сайта использовалась версия А. А/В-тест провели следующим образом: версия В появилась лишь в книжном разделе: были убраны некоторые слова в скобках и текст на кнопках. Неизвестно, почему организаторы теста решили так поступить; мы всегда рекомендуем подкреплять уверенность покупателей в точке действия. Но тут важен сам подход к А/В-тестированию. Оба варианта оформления страницы довольно долго сосуществовали в разных разделах сайта.

А вот еще один пример. На сайте Ice.com А/В-тестирование проводилось с использованием программы Visual Sciences tool. Целью тестирования было найти оптимальный вариант продающего текста для каждого из продуктов, представленных на домашней странице сайта. Для тестов выбрали три варианта продающего текста, а эталоном для измерения стало изображение продукта, под которым вообще не было ни слова описания. Посмотрим на эти четыре версии.

Как вы думаете, какая из них оказалась лучшей? Часто бывает, что нам нравится один из вариантов, и мы очень хотим, чтобы он победил.

А/В-тестирование дает ответы, основанные на реальных данных и не зависящие от нашего мнения. В ходе измерений быстро выяснилось, что вариант D намного лучше остальных. Тестирование принесло сайту тысячи долларов прибыли.

Теперь вы видите, насколько полезными могут быть тесты. Положим, вы решили применить свои знания на практике, но не до конца в себе уверены. Например, как вы докажете остальным, что результаты тестирования являются верными? При проведении любых тестов обязательно учитывайте такие факторы, как сезон и даже время суток. Лучше запускать проверку двух версий одновременно и отслеживать результаты на протяжении двух недель. Убедитесь, что размер выбранной контрольной группы достаточно большой, а разница между результатами является статистически значимой.

Майк Сэк, исполнительный директор и главный инженер компании Inceptor, дает несколько советов по проведению А/В-тестирования:

Чтобы определиться с размером контрольной группы, проведите «нулевое» А/В-тестирование. Оно, по сути, представляет собой А/А-тестирование: вы предлагаете обеим группам одинаковые страницы сайта и смотрите, насколько различаются между собой полученные результаты. Обычно погрешность составляет не более 0,05 %, хотя это вам решать. Размер контрольных групп, при котором результаты измерений примерно одинаковы, будет оптимальным.

Критерием успеха можно сделать определенное количество продаж за период времени, скажем, за две недели. Определите, какая разница в показателях эффективности будет считаться достаточной для того, чтобы выявить победителя. Существует негласное правило: результат считается лучшим, если превосходит другой результат в три раза (например, если при А показатель эффективности равен 5, а при В – 15, то вариант В будет лучшим).

А/В-тестирование – очень мощное средство оптимизации. Вот несколько советов по его проведению:

– используйте недорогие скрипты;

– поместите варианты тестируемой страницы на разные серверы, тогда каждый участник тестирования попадет на соответствующий сервер;

– используйте программное обеспечение, позволяющее проводить А/В-тестирование: Inceptor, Optimost, OfferMatica и Visual Sciences.

С помощью соответствующего ПО [25] можно изучить тысячи разных факторов, но помните, что значимую роль в работе сайта играют лишь некоторые из них. Хотя специальные программы и позволяют отследить влияние тех или иных показателей, они не помогут вам в поиске данных для измерения и не дадут знаний и опыта, необходимых для успешного А/В-тестирования. Здесь уже все зависит от вас.