Роли и задачи в команде обработки и анализа данных

Командный процесс обработки и анализа данных (TDSP) — это разработанная корпорацией Майкрософт платформа, предоставляющая структурированную методологию для эффективного создания решений в сфере прогнозной аналитики и интеллектуальных приложений. В этой статье кратко описываются ключевые роли сотрудников и задачи команды обработки и анализа данных, которая стандартизирует этот процесс.

Эта вводная статья содержит ссылки на учебники по настройке среды TDSP. В учебниках содержатся подробные инструкции по использованию Azure DevOps Projects, репозиториев Azure Repos и Azure Boards. Мотивирующая цель — переход от концепции к моделированию и развертыванию.

В учебниках описывается Azure DevOps, поскольку TDSP реализован в корпорации Майкрософт именно так. Azure DevOps упрощает совместную работу за счет интеграции безопасности на основе ролей, управления рабочими элементами и их отслеживания, размещения кода, совместного использования и системы управления версиями. Кроме того, в учебниках в качестве аналитического компьютера применяется виртуальная машина для обработки и анализа данных (DSVM) Azure. Для нее предварительно настроен ряд популярных средств обработки и анализа данных, и она интегрирована с ПО Майкрософт, а также службами Azure.

Эти учебники можно использовать для реализации TDSP с использованием других средств и сред для размещения кода, гибкого планирования и разработки, но некоторые функции могут быть недоступны.

Структура групп и команд обработки и анализа данных

Функции обработки и анализа данных в организациях часто имеют следующую иерархическую структуру:

  • Группа обработки и анализа данных
    • Команды обработки и анализа данных в составе группы

В подобной структуре есть руководители групп и команд. Как правило, проект обработки и анализа данных выполняется командой обработки и анализа данных. В командах обработки и анализа данных есть руководители проектов, отвечающие за проекты и задачи по управлению, а также отдельные специалисты по этапам обработки, анализа и инжиниринга проектных данных. Руководители групп, команд или проектов выполняют начальную настройку проекта и управление им.

Определения и задачи для четырех ролей TDSP

Предполагая, что подразделение обработки и анализа данных состоит из команд в составе группы, рассмотрим четыре характерные роли персонала, занимающегося TDSP:

  1. Менеджер группы руководит всем подразделением обработки и анализа данных на предприятии. В подразделение обработки и анализа данных может входить несколько команд, каждая из которых выполняет несколько проектов по обработке и анализу данных для разных подразделений компании. Менеджер группы может делегировать свои задачи подчиненным, но задачи для этой роли не изменяются.

  2. Руководитель команды управляет командой в подразделении обработки и анализа данных предприятия. Команда состоит из нескольких специалистов по анализу данных. Если подразделение обработки и анализа данных небольшое, один и тот же человек может совмещать роли менеджера группы и руководителя команды.

  3. Руководитель проекта управляет повседневной работой отдельных специалистов по обработке и анализу данных в масштабах определенного проекта обработки и анализа данных.

  4. Отдельные участники проекта: специалисты по обработке и анализу данных, бизнес-аналитики, инженеры данных, архитекторы и другие лица, вовлеченные в проект обработки и анализа данных.

Примечание

В зависимости от структуры и размера предприятия один сотрудник может играть более чем одну роль. Кроме того, одна и та же роль может быть присвоена нескольким сотрудникам.

Задачи, относящиеся к четырем ролям

На диаграмме ниже показаны задачи верхнего уровня для каждой роли командного процесса обработки и анализа данных. Эта схема вместе с приведенным далее более подробным описанием задач для каждой роли TDSP поможет вам выбрать нужный учебник исходя из ваших обязанностей.

Обзор ролей и задач

Задачи менеджера группы

Менеджер группы (или назначенный им системный администратор TDSP) выполняет следующие задачи по внедрению TDSP:

  • Создает организацию Azure DevOps и проект группы в пределах организации.
  • Создает репозиторий шаблонов проектов в проекте группы Azure DevOps и задает для него начальные значения из репозитория шаблонов проектов, разработанного командой разработчиков TDSP из корпорации Майкрософт. Возможности репозитория шаблонов для проектов TDSP корпорации Майкрософт:
    • стандартизованная структура каталогов, включая каталоги для данных, кода и документов;
    • набор стандартизованных шаблонов документов с инструкциями по эффективному анализу и обработке данных.
  • Создает репозиторий служебных программ и задает для него начальные значения из репозитория служебных команд, разработанного командой TDSP корпорации Майкрософт. Репозиторий служебных программ TDSP корпорации Майкрософт содержит набор полезных служебных программ, помогающих специалисту по анализу данных повысить эффективность работы. Репозиторий служебных программ Майкрософт включает служебные программы для интерактивного просмотра данных, анализа, создания отчетов, а также моделирования базовых показателей и составления соответствующих отчетов.
  • Настраивает политику управления безопасностью для учетной записи организации.

Подробные инструкции см. в статье Задачи менеджера группы для команды обработки и анализа данных.

Задачи руководителя команды

Руководитель команды или назначенный им администратор проекта выполняет следующие задачи по внедрению TDSP:

  • Создает командный проект в организации Azure DevOps, входящей в состав группы.
  • Создает в проекте репозиторий шаблонов проектов и получает для него начальные значения из репозитория шаблонов для проекта группы, настраиваемого менеджером или делегатом группы.
  • Создает репозиторий служебных программ команды, получает для него начальные значения из репозитория служебных программ группы и добавляет в репозиторий служебные программы для команды.
  • При необходимости создает хранилище файлов Azure, где хранятся полезные ресурсы данных для команды. Другие члены команды могут подключать это облачное хранилище файлов к рабочим столам аналитики.
  • При необходимости подключает хранилище файлов Azure к DSVM команды и добавляет в него ресурсы данных команды.
  • Настраивает управление безопасностью путем добавления членов команды и настройки их прав доступа.

Подробные инструкции см. в статье Задачи руководителя для команды обработки и анализа данных.

Задачи руководителя проекта

Руководитель проекта выполняет следующие задачи в целях внедрения TDSP:

  • Создает репозиторий проекта в командном проекте и получает для него начальные значения из репозитория шаблонов проектов.
  • Создает хранилище файлов Azure для хранения ресурсов данных проекта в случае необходимости.
  • Подключает хранилище файлов Azure к DSVM и добавляет в него ресурсы данных проекта.
  • Настраивает управление безопасностью путем добавления членов проекта и настройки их прав доступа.

Подробные инструкции см. в статье Задачи руководителя проекта для команды обработки и анализа данных.

Задачи отдельного участника проекта

Отдельный участник проекта (как правило, специалист по обработке и анализу данных) выполняет с помощью TDSP следующие задачи:

  • Клонирует репозиторий проекта, настроенного руководителем проекта.
  • Подключает общее хранилище файлов Azure команды и проекта к своей виртуальной машине для обработки и анализа данных по мере необходимости.
  • Выполняет проект.

Подробные инструкции по началу работы над проектом см. в статье Задачи отдельных участников команды обработки и анализа данных.

Рабочий процесс выполнения проекта обработки и анализа данных

Выполняя инструкции из соответствующих учебников, специалисты по обработке и анализу данных, руководители проектов и руководители команд могут создавать рабочие элементы для отслеживания всех задач и этапов выполнения проекта с начала до конца. Использование Azure Repos помогает наладить совместную работу специалистов по обработке и анализу данных, а также гарантирует контроль за версиями всех создаваемых в ходе выполнения проекта артефактов, которые будут доступны всем членам проекта. Azure DevOps позволяет связывать рабочие элементы Azure Boards с ветвями репозитория Azure Repos, а также легко следить за тем, что сделано для рабочего элемента.

Ниже представлена схема рабочего процесса TDSP для выполнения проекта.

Стандартный рабочий процесс проекта обработки и анализа данных

Этапы рабочего процесса можно распределить по трем группам действий:

  • руководители проекта выполняют планирование спринта;
  • специалисты по обработке и анализу данных разрабатывают артефакты в ветвях git для рабочих элементов;
  • руководители проектов или другие члены команды выполняют проверку кода и объединяют рабочие ветви, создавая основную ветвь.

Подробные инструкции по рабочему процессу выполнения проекта см. в статье Гибкая разработка проектов обработки и анализа данных.

Репозиторий шаблонов проектов TDSP

Используйте репозиторий шаблонов проектов команды TDSP корпорации Майкрософт, чтобы обеспечить эффективное выполнение проекта и совместную работу над ним. Этот репозиторий содержит стандартизированную структуру каталогов и шаблоны документов, которые можно использовать в собственных проектах TDSP.

Дальнейшие действия

Ознакомьтесь с более подробным описанием ролей и задач, определенных командным процессом обработки и анализа данных.