Роли и задачи в процессе командной Обработка и анализ данных

  • Статья

Командный процесс обработки и анализа данных (TDSP) — это разработанная корпорацией Майкрософт платформа, предоставляющая структурированную методологию для эффективного создания решений в сфере прогнозной аналитики и интеллектуальных приложений. В этой статье кратко описываются ключевые роли сотрудников и задачи команды обработки и анализа данных, которая стандартизирует этот процесс.

Среда, совместимая с Git, предлагается дополнить артефакты MLflow, хранящиеся в Машинное обучение Azure. Машинное обучение Azure интегрируется с репозиториями Git, поэтому можно использовать множество служб, совместимых с git, например GitHub, GitLab, Bitbucket, Azure DevOps или любой другой службы, совместимой с Git.

Структура групп и команд обработки и анализа данных

Функции обработки и анализа данных в организациях часто имеют следующую иерархическую структуру:

  • Группа обработки и анализа данных
  • Команды по обработке и анализу данных в группе

В подобной структуре есть руководители групп и команд. Как правило, команда по обработке и анализу данных выполняет проект обработки и анализа данных. В командах обработки и анализа данных есть руководители проектов, отвечающие за проекты и задачи по управлению, а также отдельные специалисты по этапам обработки, анализа и инжиниринга проектных данных. Руководитель группы, команды или проекта выполняет начальную настройку и управление проектами.

Определения и задачи для четырех ролей TDSP

Предполагая, что подразделение обработки и анализа данных состоит из команд в составе группы, рассмотрим четыре характерные роли персонала, занимающегося TDSP:

  • Руководитель группы: управляет всей единицей обработки и анализа данных в организации. В группе обработки и анализа данных может быть несколько команд, каждая из которых работает над несколькими проектами обработки и анализа данных в разных бизнес-областях. Диспетчер групп может делегировать свои задачи суррогатной, но задачи, связанные с ролью, не изменяются.

  • Руководитель группы: управляет командой в подразделении обработки и анализа данных предприятия. Команда состоит из специалистов по обработке и анализу данных. Для небольшой единицы обработки и анализа данных руководитель группы и руководитель группы могут быть одинаковыми.

  • Руководитель проекта: управляет повседневной деятельностью отдельных специалистов по обработке и анализу данных в определенном проекте по обработке и анализу данных.

  • Проект отдельных участник: специалисты по обработке и анализу данных, бизнес-аналитики, инженеры, архитекторы и другие специалисты по обработке и анализу данных.

Примечание.

В зависимости от структуры и размера предприятия один человек может иметь несколько ролей или несколько человек могут заполнить роль.

Задачи для четырех ролей

На следующей схеме показаны задачи верхнего уровня для каждой роли TDSP. В этом обзоре и следующем подробном описании задач для каждой роли TDSP можно выбрать нужный учебник на основе ваших обязанностей.

Diagram that shows an overview of the roles and tasks.

Задачи руководителя группы

Диспетчер групп или назначенный системный администратор TDSP выполняет следующие задачи для внедрения TDSP:

  • Создает организацию Azure DevOps и проект группы в пределах организации.

  • Создает репозиторий шаблонов проектов в проекте группы Azure DevOps и задает для него начальные значения из репозитория шаблонов проектов, разработанного командой разработчиков TDSP из корпорации Майкрософт. Возможности репозитория шаблонов для проектов TDSP корпорации Майкрософт:

    • стандартизованная структура каталогов, включая каталоги для данных, кода и документов;
    • набор стандартизованных шаблонов документов с инструкциями по эффективному анализу и обработке данных.

  • Создает репозиторий служебных программ и задает для него начальные значения из репозитория служебных команд, разработанного командой TDSP корпорации Майкрософт. Репозиторий служебных программ TDSP корпорации Майкрософт содержит набор полезных служебных программ, помогающих специалисту по анализу данных повысить эффективность работы. Репозиторий служебных программ Майкрософт включает служебные программы для интерактивного просмотра данных, анализа, создания отчетов, а также моделирования базовых показателей и составления соответствующих отчетов.

  • Настраивает политику управления безопасностью для учетной записи организации.

Дополнительные сведения см. в разделе "Задачи диспетчера групп" для команды по обработке и анализу данных.

Задачи руководителя группы

Руководитель группы или назначенный администратор проекта выполняют следующие задачи для внедрения TDSP:

  • Создает командный проект в организации Azure DevOps, входящей в состав группы.

  • Создает репозиторий шаблонов проекта в проекте и создает его из репозитория шаблонов группового проекта, настроенного менеджером группы или делегатом.

  • Создает репозиторий служебных программ команды, получает для него начальные значения из репозитория служебных программ группы и добавляет в репозиторий служебные программы для команды.

  • При необходимости создает хранилище файлов Azure, где хранятся полезные ресурсы данных для команды. Другие члены команды могут подключать это облачное хранилище файлов к рабочим столам аналитики.

  • При необходимости подключает хранилище файлов Azure на виртуальной машине для обработки и анализа данных команды и добавляет в него ресурсы данных группы.

  • Настраивает управление безопасностью путем добавления членов команды и настройки их прав доступа.

Дополнительные сведения см. в разделе "Руководитель группы" для команды по обработке и анализу данных.

Задачи потенциальных проектов

Ведущий проект выполняет следующие задачи для внедрения TDSP:

  • Создает репозиторий проекта в командном проекте и получает для него начальные значения из репозитория шаблонов проектов.

  • Создает хранилище файлов Azure для хранения ресурсов данных проекта в случае необходимости.

  • При необходимости подключает хранилище файлов Azure к виртуальной машине для обработки и анализа данных и добавляет в него ресурсы данных проекта.

  • Настраивает управление безопасностью путем добавления членов проекта и настройки их прав доступа.

Дополнительные сведения см. в разделе "Задачи руководителя проекта" для команды по обработке и анализу данных.

Проект отдельных задач участник

Проект отдельных участник, как правило, специалист по обработке и анализу данных, выполняет следующие задачи с помощью TDSP:

  • Клонирует репозиторий проекта, настроенного руководителем проекта.

  • При необходимости подключает общую группу и хранилище файлов Azure на виртуальной машине для обработки и анализа данных.

  • Выполняет проект.

Дополнительные сведения см. в разделе "Проект отдельных участник задач" для команды по обработке и анализу данных.

Рабочий процесс выполнения проекта обработки и анализа данных

Специалисты по обработке и анализу данных, потенциальные руководители проектов и команды могут создавать рабочие элементы для отслеживания всех задач и этапов проекта от начала до конца. Ниже представлена схема рабочего процесса TDSP для выполнения проекта.

Diagram that shows the typical data science project workflow.

Этапы рабочего процесса можно распределить по трем группам действий:

  • Планирование спринта для потенциальных клиентов проекта.

  • Специалисты по обработке и анализу данных разрабатывают артефакты на git ветвях для решения рабочих элементов.

  • Руководители проекта или другие члены команды выполняют проверки кода и объединяют рабочие ветви в основную ветвь.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участник.

Автор субъекта:

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.