Автоматизация прав, разрешений и уровней доступа в Azure DevOps

Когда бизнес быстро растет, перед инженером DevOps стоит задача автоматизации процессов во всех системах, используемых для CI/CD, включая управление доступом вручную. Такие рутинные задачи могут быть приемлемы, если у вас небольшая команда, до 10 релизов по 3 этапа в каждом и 10 групп переменных.

Однако представьте, что ваша команда вырастает до сотен человек, которым приходится вручную управлять до 500 релизами, каждый из которых состоит из 10 этапов и 200 групп переменных. В этом случае ручное управление доступом существенно замедляет решение запросов клиентов.

На этом этапе каждый бизнес сталкивается с необходимостью эффективной автоматизации.

В Social Discovery Group мы полагаемся на Azure DevOps как на основную облачную технологию. Однако в настоящее время ему не хватает функций для автоматизации прав, разрешений и уровней доступа. Чтобы оперативно удовлетворить потребности пользователей, мы решили найти индивидуальные решения и автоматизировать назначение разрешений.

Как автоматизировать в Azure DevOps

В этой статье мы поделимся некоторыми полезными советами о том, как автоматизировать определенные рутинные задачи в Azure DevOps, уделив особое внимание:

• Назначение разрешений группе или пользователю для групп переменных на основе маски с помощью Azure Pipeline.

• Назначение разрешений группе или пользователю на определенных этапах для целых групп выпусков, распределенных по группам каталога с помощью Azure Pipeline.

Используемый стек технологий: Службы Azure, Azure DevOps, Bash, Azure CLI.

В настоящее время Azure предлагает три варианта назначения разрешений: с помощью графического интерфейса сайта, с помощью интерфейса командной строки az DevOps и запросов API. Первый вариант самый простой и быстрый; однако по мере масштабирования компании и увеличения количества конвейеров CI/CD и переменных назначение разрешений вручную становится отнимающим много времени.

Второй вариант предоставления разрешений ограничен по функционалу; другими словами, пользователь не может выйти за рамки того, что предлагает конкретная команда. Третий вариант через REST API — самый универсальный на данный момент. Давайте рассмотрим конкретный пример, где у нас есть множество конвейеров выпуска с несколькими этапами:

На каждом этапе развертывания требуется разрешение конкретного пользователя/группы (так называемая функция утверждения перед развертыванием). Здесь возникает проблема, когда конкретного пользователя или группу необходимо добавить или удалить из заданного списка утверждающих.

По мере расширения компании, когда количество конвейеров и этапов увеличивается в N раз, рутинный случай становится проблемой, и решение этого вопроса возможно только через API-запросы. Вот как реализация выглядит с нашей стороны:

 " pool: vmImage: ubuntu-latest parameters: - name: folder_names type: string default: '\' - name: stage_names type: string default: 'Dev' - name: group_names type: string default: 'Devops' variables: - name: organization value: ORGANIZATION - name: project value: PROJECT - name: pat Value: PAT steps: - bash: | export organization="$(organization)" export project="$(project)" export pat="$(pat)" export folder_names='${{ parameters.folder_names }}' export stage_names='${{ parameters.stage_names }}' export group_names='${{ parameters.group_names }}' export pipeline_name_array=() export stage_name_array=() export group_name_array=() IFS=',' read -ra folder_name_array <<< "$folder_names" IFS=',' read -ra stage_name_array <<< "$stage_names" IFS=',' read -ra group_name_array <<< "$group_names" # Make a GET request to retrieve the release pipelines within the specified project pipeline_url="https://vsrm.dev.azure.com/$organization/$project/_apis/release/definitions?api-version=7.0" pipeline_response=$(curl -s -u ":$pat" "$pipeline_url") # Check for errors in the response if [[ "$pipeline_response" == *"error"* ]]; then echo "Error fetching release pipeline data." exit 1 fi pipeline_names=($(echo "$pipeline_response" | jq -r '.value[].name')) pipeline_ids=($(echo "$pipeline_response" | jq -r '.value[].id')) for ((i=0; i<${#pipeline_names[@]}; i++)); do pipeline_name="${pipeline_names[i]}" pipeline_id="${pipeline_ids[i]}" # Make a GET request to retrieve the release pipeline details pipeline_detail_url="https://vsrm.dev.azure.com/$organization/$project/_apis/release/definitions/$pipeline_id?api-version=7.0" pipeline_detail_response=$(curl -s -u ":$pat" "$pipeline_detail_url") # Extract the releaseDefinition.path from the pipeline details pipeline_path=$(echo "$pipeline_detail_response" | jq -r '.path') # Check if the pipeline_path matches any of the specified folder_names for folder_name in "${folder_name_array[@]}"; do if [[ "$pipeline_path" == *"$folder_name"* ]]; then # Make a GET request to retrieve all releases for the specified pipeline releases_url="https://vsrm.dev.azure.com/$organization/$project/_apis/release/releases?api-version=7.0&definitionId=$pipeline_id" releases_response=$(curl -s -u ":$pat" "$releases_url") # Extract the release names release_names=$(echo "$releases_response" | jq -r '.value[].id') release_definition_url="https://vsrm.dev.azure.com/$organization/$project/_apis/release/definitions/$pipeline_id?api-version=7.0" release_definition_response=$(curl -s -u ":$pat" "$release_definition_url") # Iterate through each group name for group_name in "${group_name_array[@]}"; do # Make a GET request to retrieve the list of groups groups_response=$(curl -s -u ":$pat" "https://vssps.dev.azure.com/$organization/_apis/graph/groups?api-version=7.1-preview.1") # Find the origin_id for the specified group name origin_id=$(echo "$groups_response" | jq -r ".value[] | select(.displayName == \"$group_name\") | .originId") if [ -z "$origin_id" ]; then echo "Group '$group_name' not found or origin_id not available for release '$release_name'." else # Iterate through each stage name for stage_name in "${stage_name_array[@]}"; do # Construct the JSON structure for the new approval new_approval='{ "rank": 1, "isAutomated": false, "isNotificationOn": false, "approver": { "id": "'"$origin_id"'" } }' # Use jq to update the JSON structure for the specified stage updated_definition=$(echo "$release_definition_response" | jq --argjson new_approval "$new_approval" '.environments |= map(if .name == "'"$stage_name"'" then .preDeployApprovals.approvals += [$new_approval] else . end)') # Make a PUT request to update the release definition for the specified stage put_response=$(curl -s -u ":$pat" -X PUT -H "Content-Type: application/json" -d "$updated_definition" "$release_definition_url") release_definition_response=$(curl -s -u ":$pat" "$release_definition_url") # Check if the update was successful if [[ "$put_response" == *"The resource could not be found."* ]]; then echo "Error updating release definition for stage '$stage_name' and group '$group_name'." else echo "Pre-deployment approval added successfully to stage '$stage_name' for group '$group_name' in '$pipeline_id'." fi done fi done fi done done displayName: 'PreDeployApprovals' "

Аналогичная проблема возникает и с разделом «Библиотека», когда создаются многочисленные группы переменных, где для обозначения принадлежности к чему-либо используется определенное слово. Давайте разберем пример, в котором создаются несколько групп переменных, содержащих слово «УСЛУГИ», чтобы обозначить их принадлежность к переменным, связанным с услугами.

А также изучите сценарий, когда определенной группе требуется доступ ко всем переменным с определенными разрешениями.

Решение этого распространенного случая также возможно только через REST API:

 " variables: - name: organization value: ORGANIZATION - name: project value: PROJECT - name: pat value: PAT parameters: - name: searchWord type: string default: 'SERVICES' - name: UserOrGroupName type: string default: 'Devops' - name: UserRights type: string default: 'Administrator' steps: - bash: | export organization="$(organization)" export project="$(project)" export pat="$(pat)" export userOrGroupName='${{ parameters.UserOrGroupName }}' export UserRights='${{ parameters.UserRights }}' export searchWord='${{ parameters.searchWord }}' # Perform the API request and store the JSON response in a variable response=$(curl -s -u ":$pat" "https://dev.azure.com/$organization/$project/_apis/distributedtask/variablegroups?api-version=6.0") # Initialize an empty array to store matching JSON objects matching_json=() # Loop through the JSON objects and append matching objects to the array while read -r json; do if [[ $(echo "$json" | jq -r '.name' | grep "$searchWord") ]]; then matching_json+=("$json") fi done < <(echo "$response" | jq -c '.value[]') # Iterate through the matching variable groups and assign permissions for group in "${matching_json[@]}"; do # Extract the variable group ID and name variableGroupId=$(echo "$group" | jq -r '.id') variableGroupName=$(echo "$group" | jq -r '.name') # Determine the type of userOrGroupName (username or group name) if [[ $myString != *'@'* ]]; then # If userOrGroupName matches the username format, it's treated as a username roleName=$UserRights assignType="group" groupsResponse=$(curl -s -u ":$pat" "https://vssps.dev.azure.com/$organization/_apis/graph/groups?api-version=6.0-preview.1") #groupOriginId=$(curl -s -u ":$pat" "https://vssps.dev.azure.com/$organization/_apis/identities?searchFilter=$userOrGroupName&api-version=6.0" | jq -r '.value[0].originId') groupOriginId=$(echo "$groupsResponse" | jq -r ".value[] | select(.displayName == \"$userOrGroupName\") | .originId") # Get the user's originId using Azure DevOps REST API #userOriginId=$(curl -s -u ":$pat" "https://vssps.dev.azure.com/$organization/_apis/identities?searchFilter=$userOrGroupName&api-version=6.0" | jq -r '.value[0].principalName') else # Otherwise, it's treated as a group name roleName=$UserRights assignType="user" userOriginId=$(curl -s -u ":$pat" "https://vssps.dev.azure.com/$organization/_apis/identities?searchFilter=$userOrGroupName&api-version=6.0" | jq -r '.value[0].principalName') # Get the group's originId using Azure DevOps REST API #groupOriginId=$(curl -s -u ":$pat" "https://vssps.dev.azure.com/$organization/_apis/identities?searchFilter=$userOrGroupName&api-version=6.0" | jq -r '.value[0].originId') fi # Construct the API URL for assigning permissions apiUrl="https://dev.azure.com/$organization/_apis/securityroles/scopes/distributedtask.variablegroup/roleassignments/resources/19802563-1b7b-43d6-81e0-16cf29d68c0d$"$variableGroupId"?api-version=5.1-preview" # Assign permissions based on the userOrGroupName type if [ "$assignType" == "group" ]; then # Assign permissions to a group # Construct the request body with group's originId requestBody="[{ \"roleName\": \"$roleName\", \"userId\": \"$groupOriginId\" }]" else # Assign permissions to a user # Construct the request body with the user's uniqueName requestBody="[{ \"roleName\": \"$roleName\", \"uniqueName\": \"$userOrGroupName\" }]" fi # Execute the REST API call to assign permissions response=$(curl -s -u ":$pat" -X PUT -H "Content-Type: application/json" -d "$requestBody" "$apiUrl") # Check if the permissions were successfully assigned if [[ "$response" == *"error"* ]]; then echo "Error assigning permissions to $assignType '$userOrGroupName' in variable group '$variableGroupName'." else echo "Permissions assigned successfully to $assignType '$userOrGroupName' in variable group '$variableGroupName'." fi done displayName: 'variable-groups' "

Автоматизировав эти процессы, мы получили более детальное представление о структурах прав и разрешений в Azure DevOps, что повысило безопасность проекта.

Теперь у нас есть стабильные и универсальные конвейеры для широкого круга задач, ускоряющие время обработки запросов пользователей и улучшающие качество их выполнения.

Кроме того, улучшилась общая скорость и качество разработки нашей системы, поскольку мы уделяем больше времени другим задачам CI/CD, отходя от рутинных действий.

Мы приложили значительные усилия для автоматизации ежедневных задач, изучения и анализа различных вариантов реализации, отладки и доработки. Наличие готовых конвейеров и скриптов — колоссальное удобство, поскольку они позволяют решать задачи за считанные секунды.