Proba.ai - сервис для проведения A/B-тестов в мобильных приложениях. В сервисе реализованы классические методы тестирования, применены методы байесовской статистики и алгоритм Томпсона. Подробнее ознакомится с алгоритмами сервиса можно по ссылке.

Для начала работы с сервисом необходимо зарегистрироваться в системе и добавить приложение. После этого открывается окно приложений.

Создание эксперимента

Для создания эксперимента необходимо выбрать приложение. В окне статус приложения отображен список запущенных экспериментов, информация об SDK и статус режима отладки.

При нажатии на кнопку добавить эксперимент, откроется окно настройки эксперимента.

Для корректной работы эксперимента необходимо задать уникальный идентификатор (ключ) эксперимента, в зависимости от значения которого меняется логика в интерфейсе приложения. Например, buttonColor

Значение ключа может быть переменной, текстом или другим типом (например, JSON, Markdown). Предполагается, что о формате значения ключа на стороне пользователя договариваются менеджер и разработчик. Сервис передает его без изменений. Для каждого эксперимента используется уникальное значение ключа.

Сервис позволяет работать с разными сегментами пользователей: новыми и старыми. Для запуска эксперимента необходимо выбрать сегмент актуальный в рамках эксперимента. Подробнее ознакомится с тем, как реализована сегментация пользователей можно здесь.

В сервисе реализовано два метода распределения пользователей: ручное и автоматическое.

При классическом распределении пользователей делят на группы, распределение трафика задается вручную в процентах, каждой группе показывается свой вариант.

Эксперимент, запущенный с классическим распределением пользователей, можно отредактировать. Например, это может потребоваться, если у одного из вариантов эксперимента низкие показатели конверсии. При редактировании эксперимента создается новая версия. Подробнее...

Выбор автоматического распределения пользователей в эксперименте доступен только при интеграции аналитических систем. Подробнее о порядке настройки интеграций по ссылке.

Для облегчения дальнейшей работы с с экспериментом можно заполнить поле с информацией об эксперименте.

После заполнения всех полей эксперимент можно запустить или сохранить без запуска. Запущенный эксперимент можно поставить на паузу или завершить в ручную.

Обратите внимание, что уже завершенный эксперимент нельзя запустить заново, а также уже запущенный эксперимент нельзя удалить. Подробнее ознакомится со статусами эксперимента здесь.