Выполнение экспериментов в приложении с использованием A/B-тестированияRun app experiments with A/B testing

Центр партнеров можно использовать для определения удаленных переменных, которые можно получить во время выполнения из приложений универсальная платформа Windows (UWP), а также можно проверить вариации этих значений с помощью пользователей, чтобы определить наиболее эффективные значения для выполнения желаемого поведения пользователя.You can use Partner Center to define remote variables that you can retrieve at run time from your Universal Windows Platform (UWP) apps, and you can test variations of these values with your users to identify the most effective values for driving desired user behavior. Приложение может использовать удаленные переменные для настройки поведения приложения, например покупок из приложения, процедура входа, заголовки и размещение рекламы.Your app can use remote variables to configure app experiences such as in-app purchases, sign-up flow, captions, and ad placements.

Целью A/B-теста должно стать выявление варианта значений удаленной переменной, который, скорее всего, обеспечит оптимальные коэффициенты конверсии (например, больше покупок в приложении) благодаря более удобной работе в приложении.The goal of your A/B test should be to identify a variation of your remote variable values that is likely to earn you improved conversion rates (for example, more in-app purchases) by providing a more engaging app experience. Определив успешное изменение, можно сразу завершить эксперимент и включить этот вариант для всей аудитории пользователей из центра партнеров, без повторной публикации приложения.After you have identified a successful variation, you can immediately end the experiment and enable that variation for your entire user audience from Partner Center, without having to republish your app.

Создание и выполнение A/B-тестаCreate and run an A/B test

Чтобы создать и выполнить A/B-тест, выполните следующие действия.To create and run an A/B test, follow these steps:

  1. Создание проекта и определение удаленных переменных в центре партнеров.Create a project and define remote variables in Partner Center. Этот проект содержит переменные и значения переменных по умолчанию для ваших экспериментов.This project contains the variables and default variable values for your experiments.
  2. Код приложения для экспериментов.Code your app for experimentation. Используйте API в пакете SDK для служб Microsoft Store Services, чтобы получить значения удаленных переменных из проекта, созданного в центре партнеров. Используйте эти данные, чтобы изменить поведение тестируемой функции и отправить события просмотра событий и преобразований в центр партнеров.Use an API in the Microsoft Store Services SDK to get remote variable values from the project you created in Partner Center, use this data to modify the behavior of the feature you are testing, and send view event and conversion events to Partner Center.
  3. Определите свой эксперимент в центре партнеров .Define your experiment in Partner Center . Создайте в своем проекте эксперимент, определяющий уникальные цели и варианты для вашего A/B-теста.Create an experiment in your project that defines the unique goals and variations for your A/B test.
  4. Запустите свой эксперимент и управляйте им в центре партнеров ашбоард.Run and manage your experiment in Partner Center ashboard. Активируйте свой эксперимент и используйте центр партнеров для просмотра результатов эксперимента и завершения эксперимента.Activate your experiment, and use Partner Center to review the results of the experiment and complete the experiment.

Пошаговое руководство, которое описывает весь процесс, см. в разделе Создание и запуск первого эксперимента с использованием A/B-тестирования.For a walkthrough that demonstrates the end-to-end process, see Create and run your first experiment with A/B testing.

ТребованияRequirements

A/B. тестирование в центре партнеров поддерживается только для приложений UWP.A/B testing in Partner Center is supported only for UWP apps.

Прежде чем начинать эксперименты с A/B-тестированием, необходимо настроить компьютер, на котором ведется разработка.Before you can run experiments with A/B testing, you must set up your development computer:

  • Следуйте инструкциям, приведенным здесь, для настройки компьютера разработчика для разработки UWP.Follow the instructions here to set up your development computer for UWP development.
  • Установите пакет Microsoft Store Services SDK.Install the Microsoft Store Services SDK. Помимо API для экспериментов этот пакет SDK также предоставляет API для других функций, таких как отображение рекламы и направление пользователей в Центр отзывов для сбора отзывов о приложении.In addition to the API for experiments, this SDK also provides APIs for other features such as displaying ads and directing your customers to Feedback Hub to collect feedback on your app.

РекомендацииBest practices

Для получения оптимальных результатов рекомендуем соблюдать следующие инструкции во время экспериментов с A/B-тестированием.For the most useful results, we recommend that you follow these recommendations when running experiments with A/B testing:

  • Проведите эксперимент только с двумя вариантами со случайным распределением вариантов 50/50.Consider running experiments with only two variations with a randomized 50/50 split distribution for variation assignments.
  • Эксперимент должен длиться по крайней мере 2–4 недели для сбора достаточного объема статистически значимых и полезных данных.Run experiments for at least 2 – 4 weeks to gather sufficient data that is statistically significant and actionable.
ТерминTerm ОпределениеDefinition
ProjectProject Коллекция удаленных переменных со значениями по умолчанию, которые доступны вашему приложению с помощью набора инструментов Microsoft Store Services SDK.A collection of remote variables with default values that your app can access by using the Microsoft Store Services SDK. Проект также может содержать один или несколько экспериментов с общими удаленными переменными.A project can also optionally contain one or more experiments that share the same remote variables.
ЭкспериментExperiment Набор параметров, определяющих A/B-тест, который получат ваши пользователи.A set of parameters that define an A/B test that your users will receive. Эксперименты определяются в области проекта, и каждый из них состоит из следующего:экспериментExperiments are defined in the scope of a project, and each experiment consists of:

  • Событие просмотра , указывающее, когда пользователь начинает просмотр варианта, являющегося частью эксперимента.A view event that indicates when the user starts viewing a variation that is part of your experiment.
  • Одна или несколько целей с событиями конверсии , которые указывают, когда достигнута цель.One or more goals with conversion events that indicate when an objective has been reached.
  • Один или несколько вариантов , определяющих данные переменных, которые используются в эксперименте.One or more variations that define the variable data used by your experiment. Вариант control использует значения переменных по умолчанию, которые определены в проекте для эксперимента.The control variation uses the default variable values that are defined in the project for the experiment. Помимо варианта control эксперименты, как правило, содержат как минимум один дополнительный вариант с переменными значениями, уникальными для этого эксперимента.In addition to the control variation, experiments typically have at least one additional variation with variable values that are unique to the experiment.
Идентификатор проектаProject ID Уникальный идентификатор, связывающий приложение с проектом в учетной записи центра партнеров.A unique ID that associates your app with a project in your Partner Center account. Этот идентификатор необходимо использовать для подключения к службе тестирования A/B в коде приложения, чтобы получить данные о вариантах, представление отчетов и события преобразования в центр партнеров.You must use this ID to connect with the A/B testing service in your app code to receive variation data and report view and conversion events to Partner Center. Дополнительные сведения см. в разделе Кодирование приложения для экспериментов.For more information, see Code your app for experimentation.

Каждый проект и все эксперименты в этом проекте связаны только с одним кодом проекта.Each project, and all experiments in the project, are associated with exactly one project ID. Коды проекта можно использовать для разграничения различных наборов экспериментов.You can use project IDs to help differentiate between different sets of experiments. Например, у вас может быть один набор экспериментов, который вы предоставляете тестировщикам в своей организации, и другой набор экспериментов, который предоставляется только внешним пользователям приложения.For example, you might have one set of experiments that you release to testers in your organization and another set of experiments that you release only to external users of your app. Приложение может ссылаться на несколько кодов проекта, если в нем реализовано несколько экспериментов.An app can reference multiple project IDs if it implements multiple experiments.

ВариацияVariation Коллекция, состоящая из одной или нескольких переменных, которые вы тестируете в эксперименте.A collection of one or more variables that you are testing in your experiment. Каждый эксперимент должен содержать хотя бы одну переменную и два варианта (включая элемент управления).Every experiment must have at least one variable and two variations (including the control). Эксперимент может включать до пяти вариантов.An experiment can have up to five variations.
ПеременнаяVariable Значение, которое ваше приложение использует для инициализации свойства или некоторых других значений в приложении.A value that your app uses to initialize a property or some other value in your app. Во время эксперимента значение переменной меняется в зависимости от варианта.During an experiment, the value of the variable changes from variation to variation. После завершения эксперимента переменной назначается значение из варианта, который предоставляете всем пользователям вашего приложения.After you end an experiment, the variable is assigned the value from the variation that you choose release to all users of your app. Переменные могут иметь следующие типы: string, Boolean, double и integer.Variables can have the following types: string, Boolean, double, and integer.
Событие просмотраView event Это произвольная строка, которая представляет действия при начале просмотра пользователем варианта, являющегося частью вашего эксперимента.An arbitrary string that represents an activity when the user starts viewing a variation that is part of your experiment. Обычно это имя события в коде.Typically, this is the name of an event in your code. Код приложения будет отсылать эту строку событий представления в центр партнеров, когда пользователь начинает просмотр варианта.Your app code will send this view event string to Partner Center when the user starts viewing a variation. Дополнительные сведения см. в разделе Кодирование приложения для экспериментов.For more information, see Code your app for experimentation.
Событие преобразованияConversion event Произвольная строка, представляющая целевой объект для цели эксперимента.An arbitrary string that represents an objective for a goal of an experiment. Обычно это имя события в коде.Typically, this is the name of an event in your code. Код вашего приложения будет передавать эту строку события преобразования в центр партнеров, когда пользователь достигает цели.Your app code will send this conversion event string to Partner Center when the user reaches an objective. Дополнительные сведения см. в разделе Кодирование приложения для экспериментов.For more information, see Code your app for experimentation.