AI governance в AI-Native SAFe: управление применением ИИ и этика
AI governance – система управления применением искусственного интеллекта в организации. Она объединяет правила, распределение ответственности, процессы и механизмы контроля, которые помогают использовать ИИ безопасно, этично и в соответствии с применимыми требованиями.
AI governance определяет, кто принимает решения об использовании ИИ, какие риски допустимы, как контролируются расходы и действия ИИ-систем и когда необходимо вмешательство человека. Этика ИИ задаёт ценностную основу этих решений, в том числе в ситуациях, для которых ещё нет формальных правил.
В этой статье рассматривается фреймворк AI governance и этики в AI-Native SAFe – подход к управлению применением ИИ на уровне портфеля, ART и команд.
В AI-Native SAFe управление применением ИИ — это не отдельный контур контроля и не задача только комплаенса. Оно связывает инвестиционные решения портфеля, ограничения для команд и ART, качество данных, архитектурные решения, наблюдаемость ИИ-систем и измеримые клиентские и бизнес-результаты.
Материал предназначен для руководителей портфелей, лидеров ART, а также специалистов по рискам, безопасности и комплаенсу, которые внедряют ИИ в масштабе организации.
Редакционная версия для русскоязычной аудитории подготовлена на основе статьи Scaled Agile, Inc. – AI Governance and Ethics. Перевод и адаптация – Алексей Ионов, Certified Advanced SAFe® Practice Consultant (Advanced SPC) и аккредитованный AI-Native Trainer.
Коротко главное
Фреймворк управления применением и этики ИИ (AI governance & ethics) помогает организациям справляться с непредсказуемостью генеративного ИИ и сохранять управляемость при его широкомасштабном использовании. Он охватывает четыре направления:
- контроль расходов на ИИ – отслеживание потребления и совокупных затрат во всём портфеле;
- ответственное применение ИИ – обеспечение доверия, объяснимости, ориентации на человека и соблюдения применимых требований;
- мониторинг поведения ИИ-агентов – контроль автономных действий с помощью фиксированных правил, автоматизированных проверок и участия человека;
- управление рисками ИИ и использование связанных с ними возможностей – создание условий для обоснованных экспериментов и инноваций.
Общую основу этих направлений составляют этические принципы, включая подотчётность, справедливость и доверие. Следование им помогает согласовывать применение ИИ с человеческими ценностями и правовыми нормами.
Зачем организации нужно AI governance
Расширение применения ИИ и присущая генеративному ИИ непредсказуемость создают дополнительные риски, для управления которыми традиционные организационные механизмы контроля не предназначены. Руководители должны устанавливать чёткие ограничения, демонстрировать ответственное применение ИИ на собственном примере и отслеживать результаты. В противном случае организация сталкивается с правовыми рисками, нерациональным расходованием средств и утратой доверия.
Руководство портфеля совместно с проектным офисом (PMO, Project Management Office) или офисом управления ценностью (VMO, Value Management Office) создаёт условия, в которых AI-Native ART и команды могут уверенно работать «со скоростью ИИ», оставаясь в правовых, финансовых и этических границах.
«В практике трансформаций проблема обычно не в отсутствии отдельных правил для ИИ, а в том, что решения о его ценности и использовании, рисках, затратах и ответственности принимаются независимо друг от друга. AI governance нужен не для создания дополнительной бюрократии, а для того, чтобы связать эти решения между собой и, что не менее важно, с управлением портфелем, созданием продуктов и измеримыми клиентскими и бизнес-результатами.»
Алексей Ионов, основатель «Ионов и Партнеры», ведущий эксперт по Lean-Agile, SAFe и AI-трансформациям в России и СНГ, Certified Advanced SAFe® Practice Consultant (ASPC), AI-Native Trainer.
Фреймворк объединяет четыре опорных направления управления применением ИИ (AI governance) и основывается на этике ИИ. Далее для каждого опорного направления рассмотрены его назначение, значимость для организации, необходимые механизмы контроля и возможности применения ИИ.


Рисунок 1. Модель управления применением ИИ и этики
Контроль расходов на ИИ: затраты, токены и потребление моделей
Что такое контроль расходов на ИИ?
Контроль расходов на ИИ – это отслеживание потребления ИИ-ресурсов и управление связанными с ними затратами в масштабе всего портфеля. На уровне портфеля расходы на ИИ охватывают совокупные затраты, связанные со всеми результатами работы, создаваемыми ИИ. К ним относятся расходы на разработку, инфраструктуру, лицензирование, токены и использование моделей.
Почему важно контролировать расходы на ИИ?
В отличие от традиционных расходов на программное обеспечение, при оплате по фактическому использованию затраты растут по мере распространения ИИ, а темпы их роста могут превысить прогнозные. ИИ-функциональность, которая практически ничего не стоит на этапе пилотного проекта, после выпуска и масштабирования может стать значительной статьёй расходов.
Поскольку потребление часто растёт одновременно у множества команд и в разных инструментах, ответственные за отдельные инициативы могут не заметить общего роста затрат, пока не станет известна их совокупная величина. Для руководства портфеля и VMO риск заключается не в расходах отдельной команды, а в общих расходах всего портфеля.
Какие механизмы помогают контролировать расходы на ИИ?
- Отслеживайте рост потребления токенов и использования ИИ-ресурсов во всём портфеле. Такой проактивный подход позволяет руководству портфеля выявлять потенциальные скачки потребления и реагировать на них до возникновения бюджетных проблем.
- Обеспечьте прозрачность использования ИИ за пределами официально одобренных инструментов. Это помогает выявлять непредвиденные расходы, связанные с теневым использованием ИИ – применением инструментов вне установленных процедур согласования и контроля.
- Установите лимиты потребления, ограничения частоты запросов или уведомления о достижении бюджетных порогов. Применяйте эти меры как при разработке продукта, так и после его выпуска, когда ИИ-функциональность потребляет токены при взаимодействии с пользователями. Лидеры ART и Архитекторы ИИ-ценности (AI Value Architect) могут помочь внедрить такие ограничения и своевременно выявлять риск перерасхода.
- Закрепите расходы на ИИ за конкретными объектами учёта: командой, продуктом или потоком создания ценности. Это делает затраты прослеживаемыми, проясняет ответственность и способствует обоснованному использованию ресурсов.
- Предоставьте необходимые полномочия VMO/LACE и Архитекторам ИИ-ценности. Они должны активно участвовать в обеспечении целенаправленного и обоснованного использования ИИ-ресурсов.
Как ИИ помогает контролировать расходы?
ИИ может помогать управлять потреблением токенов и связанными с ним затратами. Например, интеллектуальная маршрутизация позволяет направлять менее требовательные запросы к менее затратным моделям. Аналитика использования помогает выявлять устаревшую или невостребованную функциональность продукта, которую целесообразно вывести из эксплуатации.
Инструменты моделирования затрат позволяют ещё до запуска оценить потребление в масштабе промышленной эксплуатации. Панели мониторинга в реальном времени с детализацией по командам показывают финансовой службе и руководству портфеля, где именно потребляются ресурсы.
«Расходы на ИИ нельзя оценивать только по стоимости пилота или лицензии на инструмент. Связано это с тем, что при масштабировании существенно меняется профиль затрат: появляются стоимость запросов, инфраструктуры, интеграций, защиты данных и поддержки. Поэтому важно учитывать и прогнозировать потребление ИИ-ресурсов не только командой, но и самим продуктом, потоком создания ценности и связывать всё это потребление с ожидаемыми клиентскими и бизнес-результатами..»
Алексей Ионов, основатель «Ионов и Партнеры», ведущий эксперт по Lean-Agile, SAFe и AI-трансформациям в России и СНГ, Certified Advanced SAFe® Practice Consultant (ASPC), AI-Native Trainer.
Ответственное применение ИИ и соответствие требованиям
Что такое ответственное применение ИИ?
Ответственное применение ИИ – это создание и использование ИИ-систем с соблюдением этических принципов и применимых требований, с вниманием к человеческим ценностям, справедливости, безопасности и подотчётности.
На практике это предполагает контроль со стороны человека, защиту конфиденциальности данных, прозрачность и объяснимость решений, а также соблюдение требований к качеству и безопасности. В рассматриваемом фреймворке выделены три взаимосвязанных аспекта: ИИ должен заслуживать доверия, быть объяснимым и человекоцентричным.


Рисунок 2. Три аспекта ответственного применения ИИ
Почему важно обеспечивать ответственное применение ИИ?
Помимо предотвращения санкций за нарушение нормативных требований, ответственное применение ИИ необходимо для формирования доверия со стороны всех заинтересованных сторон.
ИИ-системы могут воспроизводить предвзятость, связанную с обучающими данными, генерировать недостоверную информацию в результате галлюцинаций или раскрывать конфиденциальные данные, если необходимые меры защиты и контроля отсутствуют либо недостаточны.
Практики ответственного применения ИИ помогают укреплять доверие и не допускать, чтобы инновации достигались за счёт благополучия или безопасности людей.
Как ответственное применение ИИ связано с нормативными требованиями?
Ответственное применение ИИ также предполагает возможность продемонстрировать регуляторам, клиентам и другим заинтересованным сторонам, что использование ИИ соответствует установленным внешним стандартам.
Нормативная среда продолжает формироваться и различается в зависимости от юрисдикции и отрасли. Отставание от изменений создаёт правовые риски, а реагирование только после вступления требования в силу оставляет мало времени на адаптацию.
Нормативные документы, рамочные подходы и стандарты в области ИИ служат разным целям и не заменяют друг друга. Организации необходимо определить, какие требования применимы к её деятельности, и сохранять материалы, подтверждающие их выполнение. Это позволяет обосновать принятые решения при внешней проверке.
Говоря о нормативных требованиях к ИИ, чаще всего ссылаются на EU AI Act, NIST AI RMF и ISO 42001. Эти документы решают разные задачи: первый устанавливает обязательные требования, второй помогает управлять рисками, третий задаёт основу для системы менеджмента и сертификации.
Таблица 1. Сравнение EU AI Act, NIST AI RMF и ISO/IEC 42001 в контексте AI governance.
Примечание. Прежде чем выстраивать управление в соответствии с конкретным нормативным документом или стандартом, проверьте его актуальность, область применения и сроки действия.
Какие механизмы контроля необходимы для ответственного применения ИИ?
Заслуживающий доверия ИИ
- Определите, что означает «ответственное применение» на практике, и включите соответствующие требования в существующие практики обеспечения качества, такие как определение завершённости работы (Definition of Done) и мероприятия Sense and Respond (Выявление и Реагирование).
- Ведите простой реестр рисков для сценариев применения ИИ и регулярно пересматривайте его, чтобы своевременно выявлять риски и принимать необходимые меры.
Объяснимый ИИ
- Чётко определите, кто отвечает за методическую поддержку и коучинг по ответственному применению ИИ. Эту задачу может решать Архитектор ИИ-ценности во взаимодействии с существующими командами безопасности.
- Используйте ИИ для подготовки и ведения понятной документации об источниках данных, критериях фильтрации и контексте обучения ИИ-моделей. Такая документация помогает обеспечивать прослеживаемость и проверяемость решений.
Человекоцентричный ИИ
- Установите политики, требующие проверки человеком решений, на которые повлиял ИИ, если уровень риска или масштаб возможных последствий превышает заданный порог. Это позволяет соотносить степень контроля со значимостью решения.
- Включите вопросы ответственного применения ИИ в существующие программы обучения и коучинга, чтобы эти принципы стали частью повседневной работы команд.
Как обеспечить соблюдение нормативных требований
- Отслеживайте применимые нормативные требования и стандарты в области ИИ для каждой юрисдикции и отрасли, в которых работает организация. Чётко закрепите ответственность за мониторинг изменений.
- Сопоставляйте текущие сценарии применения ИИ с применимыми требованиями, чтобы выявлять несоответствия до того, как они станут замечаниями по результатам аудита.
- Включайте проверки соответствия в существующие процедуры управления портфелем, а не выстраивайте отдельный параллельный юридический процесс.
- Документируйте решения по вопросам соответствия и сохраняйте подтверждающие материалы, чтобы по запросу их можно было представить регуляторам, клиентам или аудиторам.
- Привлекайте юристов и специалистов по комплаенсу на ранних этапах принятия инвестиционных решений в области ИИ. Это помогает заранее определить меры предотвращения инцидентов и заложить их в проектирование решений.
Как ИИ помогает обеспечивать ответственное применение и соответствие требованиям?
ИИ может помогать обеспечивать соблюдение стандартов, которым он сам должен соответствовать.
Автоматизированные проверки в существующих процессах контроля могут выявлять предвзятость, утечки данных и нарушения политик раньше и последовательнее, чем только ручная проверка.
Документирование с помощью ИИ позволяет фиксировать обоснования решений в момент их принятия и формировать аудиторский след с меньшей ручной нагрузкой. Инструменты мониторинга могут выявлять отклонения от политик во всём портфеле раньше, чем это позволяют периодические аудиты.
ИИ может готовить проекты документов и подтверждающие материалы для последующей проверки человеком и использования при аудите. Инструменты запросов на естественном языке позволяют командам получать ответы на вопросы о том, насколько организация соблюдает применимые требования.
«Ответственное применение ИИ становится устойчивой практикой, когда требования к данным, проверкам, объяснимости и участию человека встроены в обычный поток работы. Если рассматривать их только как финальную юридическую проверку перед выпуском, команды будут узнавать о критичных ограничениях слишком поздно. Если только как часть разрешительной системы до начала работ – положительный ожидаемый эффект скорее всего будет заранее «компенсирован» бюрократией..»
Алексей Ионов, основатель «Ионов и Партнеры», ведущий эксперт по Lean-Agile, SAFe и AI-трансформациям в России и СНГ, Certified Advanced SAFe® Practice Consultant (ASPC), AI-Native Trainer.
Мониторинг поведения ИИ-агентов и контроль автономных действий
Что такое мониторинг поведения ИИ-агентов?
Мониторинг поведения ИИ-агентов – это отслеживание их действий, решений и взаимодействий с инструментами и системами на каждом этапе рабочего процесса, а не только проверка конечного результата.
ИИ всё чаще переходит от формирования рекомендаций к самостоятельному выполнению действий. Это может включать вызов инструментов, обращение к системам, выполнение команд и самостоятельное принятие решений.
На уровне портфеля управление таким поведением требует наблюдаемости: возможности восстановить последовательность действий агента, определить, с какими системами он взаимодействовал, и выявить отклонения от установленных ограничений.
Традиционный мониторинг обычно оценивает работоспособность и производительность систем на основе фиксированного набора правил. Однако поведение ИИ-агентов может меняться непредсказуемо, поэтому одних таких проверок недостаточно.
Почему важно отслеживать поведение ИИ-агентов?
Когда сотни или тысячи создателей решений в AI-Native командах развёртывают автономных ИИ-агентов, скорость выполнения действий ИИ превышает возможности человеческого контроля.
Традиционные детерминированные правила должны оставаться первой линией защиты и применяться везде, где это возможно. Однако из-за непредсказуемой природы действий агентов их необходимо включать в более широкую иерархию мониторинга:
- Детерминированный контроль соблюдения чётких, фиксированных правил.
Пример: жёсткое правило немедленно блокирует попытку ИИ-агента, работающего с кодом, изменить ключевой файл безопасности. - Выявление неоднозначного или меняющегося поведения с помощью ИИ.
Пример: дополнительная модель сигнализирует о необходимости проверки человеком, когда агент пытается переписать файл безопасности так, что в связанных с ним вспомогательных утилитах может возникнуть бесконечный рекурсивный цикл. - Рассмотрение человеком ситуаций с существенными последствиями и принятие им ответственного решения.
Пример: специалист, создающий решение, изучает отмеченную аномалию, подтверждает наличие ранее не выявленной уязвимости агента, вручную приостанавливает его работу, вносит изменения и перезапускает его, предотвращая утечку конфиденциальных данных.
Без такого многоуровневого подхода локальные аномалии в работе агентов – например, бесконечные рекурсивные циклы, незаметные нарушения требований или нарастание хаотичности кодовой базы – могут экспоненциально усиливаться и распространяться через общие платформы и API.
Для руководства портфеля и VMO это значимая категория системных операционных рисков, для управления которой одних традиционных проектных механизмов контроля недостаточно. В конечном счёте даже один невыявленный недостаток проектирования может нарушить конфиденциальность данных, а небольшие отклонения – быстро перерасти в серьёзные проблемы.
Какие механизмы контроля необходимы для мониторинга поведения ИИ-агентов?
- Определите и документируйте область действий и полномочия каждого агента до ввода в эксплуатацию. Обеспечьте доступность этой документации на уровне всего портфеля, а не только внутри создавшей агента команды.
- Ведите журналы действий и решений ИИ-агентов. Установите на уровне портфеля требование регистрировать не только результаты, но и действия и решения агентов, чтобы можно было восстановить последовательность событий и провести аудит.
- Определите пороги эскалации. Требуйте от ART устанавливать условия, при которых автономная работа агента прекращается и задача передаётся человеку. Для агентов с существенным потенциальным воздействием рассматривайте эти пороги в рамках процедур AI governance на уровне портфеля.
- Эскалируйте риски. Выносите риски, выявленные на уровне ART и связанные с поведением ИИ-агентов, на регулярное рассмотрение в рамках управления применением ИИ на уровне портфеля.
Как ИИ помогает отслеживать поведение агентов?
Специализированные инструменты обеспечения наблюдаемости могут регистрировать взаимодействия агентов, включая последовательности вызовов инструментов, запросы и переданный контекст. Это позволяет восстановить наблюдаемую последовательность действий и основания для проверки решений, даже когда внутренние процессы базовой модели остаются скрытыми.
Проверки соблюдения политик, базовые профили поведения и обнаружение аномалий позволяют выявлять запрещённую или неожиданную активность и направлять случаи с существенными последствиями на проверку человеку.
Инструменты визуализации последовательности действий и решений ИИ-агента помогают проверяющим быстрее разобраться в произошедшем, вместо того чтобы восстанавливать картину по исходным журналам событий.
«Для агента недостаточно проверить только итоговый ответ или результат выполненной задачи. Важен зафиксированный след его действий: какие инструменты он вызывал, к каким системам обращался, что стало основанием для эскалации и где потребовалось вмешательство человека. Это особенно существенно, когда агенты получают доступ к корпоративным системам и действуют в составе сквозных процессов..»
Алексей Ионов, основатель «Ионов и Партнеры», ведущий эксперт по Lean-Agile, SAFe и AI-трансформациям в России и СНГ, Certified Advanced SAFe® Practice Consultant (ASPC), AI-Native Trainer.
Управление рисками ИИ и использование возможностей
Что включает управление рисками ИИ и использование связанных с ними возможностей?
В AI-Native организации управление рисками ИИ предполагает снижение возможных негативных последствий, а использование связанных с ними возможностей — обоснованное принятие неопределённости ради экспериментов, обучения и конкурентного преимущества.
ИИ создаёт множество рисков, значительная часть которых рассмотрена выше. Дополнительные риски включают ошибочные стратегические инвестиции, зависимость от платформ или технологий конкретного поставщика, а также решения о способах использования персональных данных.
Работа с рисками и возможностями требует сохранять контроль человека над решениями с существенными последствиями, быстро сопоставлять потенциальные преимущества и угрозы и принимать стратегические решения на основе данных.
Почему важно сочетать управление рисками ИИ с экспериментированием?
ИИ по своей природе вероятностен и динамичен, и многие традиционные модели управления рисками не рассчитаны на эти особенности. Стремление полностью исключить риск подавляет экспериментирование и подталкивает команды к несанкционированному использованию ИИ. Однако при отсутствии управления ошибки распространяются по автоматизированным рабочим процессам быстрее, чем их успевают заметить.
Чётко определённая позиция организации в отношении риска и установленные границы позволяют командам экспериментировать внутри этих границ, а не в обход них.
Механизмы контроля, внедрённые в других направлениях AI governance, создают новые возможности. Управление не только ограничивает риск, но и помогает быстрее проверять новые возможности, сохраняя баланс между осторожностью и инновациями.
Какие механизмы помогают управлять рисками ИИ и использовать возможности?
- Сократите время количественной оценки рисков при подготовке экспериментов. Создавайте прозрачные, пригодные для практического использования реестры рисков с количественной оценкой возможных последствий. Это помогает руководителям и ART сосредоточиться на экспериментах с высоким потенциалом, одновременно учитывая возможный ущерб.
- Создайте централизованную библиотеку сценариев оценки. Она дополняет тестирование, необходимое для оценки рисков. Включите в неё эталонные наборы данных (benchmark datasets), тестовые запросы к ИИ и граничные случаи. Повторное использование и развитие таких проверок позволяют быстрее и полнее оценивать последующие ИИ-приложения, снижая затраты на их внедрение. В результате управление рисками становится преимуществом с точки зрения скорости вывода на рынок.
- Обеспечьте техническую гибкость. Предусмотрите архитектуру, позволяющую оперативно заменять используемые ИИ-модели более дешёвыми или более совершенными. Это также снижает риск зависимости от конкретного поставщика, что особенно важно с учётом скорости появления новых ИИ-инструментов и вывода существующих из эксплуатации.
- Стандартизируйте автоматизированное тестирование рисков во всех ИИ-инициативах. Такой подход создаёт сопоставимую основу для оценки рисков и помогает руководству портфеля обоснованно принимать решения о выпуске новых продуктов с ИИ-функциональностью, не отказываясь от перспективных инициатив из-за неопределённости.
- Сосредоточьте обязательное согласование человеком на критически важных решениях. Управление рисками ИИ и использование связанных с ними возможностей невозможно полностью автоматизировать. Стратегические решения в области ИИ требуют человеческой экспертизы, соответствующей масштабу возможных последствий, и оценки баланса между риском и ожидаемой отдачей.
- Согласуйте рассмотрение рисков ИИ со стандартными циклами управления портфелем. Скорость принятия решений имеет критическое значение. Непрерывный мониторинг необходим как для снижения негативных последствий, так и для своевременного использования возникающих возможностей.
Как ИИ помогает оценивать риски и выявлять возможности?
В предыдущих разделах рассмотрены способы применения ИИ для контроля расходов, соблюдения требований и мониторинга агентов. Дополнительные возможности связаны с оценкой рисков и объединением информации по всему портфелю.
Оценка уровня рисков с помощью ИИ позволяет определять, какие ситуации требуют проверки человеком, и устанавливать приоритет их рассмотрения.
ИИ также можно использовать для проверки защитных ограничений и лежащих в их основе уровней риска, заданных человеком. Это помогает выявлять слабые места до того, как ими воспользуются.
Кроме того, ИИ может существенно упростить сбор и обобщение информации о том, какие решения создают команды и какие инструменты они используют. Благодаря этому руководство портфеля быстрее получает наглядную совокупную картину подверженности рискам, чем при ручном сборе данных.
«Цель управления рисками – не исключить экспериментирование с ИИ, а настроить оперативную оценку возможных последствий и непрерывное динамическое отслеживание уровня риска. Когда команды понимают границы допустимого риска, условия эскалации и критерии остановки, организация может быстрее проверять гипотезы, не превращая каждый эксперимент в исключение из общих правил..»
Алексей Ионов, основатель «Ионов и Партнеры», ведущий эксперт по Lean-Agile, SAFe и AI-трансформациям в России и СНГ, Certified Advanced SAFe® Practice Consultant (ASPC), AI-Native Trainer.
Этика ИИ: принципы принятия решений за пределами формального соответствия
Что такое этика ИИ?
Этика ИИ охватывает фундаментальные ценности, которых организация придерживается независимо от законодательных и нормативных требований.
Если AI governance определяет, как организовать ответственное применение ИИ, то этика ИИ задаёт нравственные ориентиры для принятия решений – особенно в ситуациях, не охваченных формальными правилами.
Почему важна этика ИИ?
Если проверка законности требует ответа на вопрос «Нарушает ли это закон?», то этический подход ставит вопрос иначе: «Уважает ли это людей или эксплуатирует их?»
Руководство портфеля должно установить явные принципы этичного проектирования, которыми организация не готова поступаться и которые выходят за рамки минимальных нормативных требований. К ним относятся:
- защита самостоятельности человека. ИИ должен расширять человеческие возможности, а не формировать зависимость или подменять самостоятельное принятие решений;
- прозрачность. Организация должна разъяснять, как принимаются автоматизированные решения;
- учёт воздействия на окружающую среду. Экологические последствия применения ИИ должны учитываться при принятии решений.
Как применять этику ИИ на практике
- Заранее прорабатывайте сценарии неэтичного применения ИИ. Руководители могут совместно рассмотреть ситуации, в которых решения причиняют вред или ущемляют интересы людей. Примеры — необоснованный отсев кандидатов на работу алгоритмом или недостаточная представленность отдельных групп в данных обратной связи. Для выявленных сценариев необходимо определить меры предотвращения и устранения проблем.
- Определите и явно донесите до сотрудников ценности организации в отношении ИИ, например: «Мы не допускаем, чтобы ИИ выдавал себя за человека».
- Обеспечьте в AI-Native ART и командах психологическую безопасность, позволяющую задавать вопрос: «Стоит ли нам это делать?»
- Поручите владельцам бизнеса (Business Owners) проводить предварительный анализ возможных неудач — pre-mortem — для новых продуктов. Рассматривайте наихудшие сценарии ненадлежащего использования и определяйте, как их предотвратить ещё на этапе проектирования.
«Этические вопросы особенно важны там, где технология позволяет сделать действие быстро и масштабно, но последствия для людей трудно исправить после запуска. Практика предварительного анализа возможных неудач помогает увидеть такие сценарии до того, как они станут инцидентами, жалобами клиентов или репутационными потерями..»
Алексей Ионов, основатель «Ионов и Партнеры», ведущий эксперт по Lean-Agile, SAFe и AI-трансформациям в России и СНГ, Certified Advanced SAFe® Practice Consultant (ASPC), AI-Native Trainer.
Как организовать AI governance со скоростью ИИ
ИИ коренным образом меняет то, как осуществляется управление применением технологии. Когда решения, результаты и риски изменяются «со скоростью ИИ», традиционные подходы, опирающиеся на периодические ручные проверки, быстро становятся узким местом.
Управление со скоростью ИИ требует непрерывного, автоматизированного подхода: ИИ помогает встраивать проверки, ограничения и мониторинг непосредственно в рабочие процессы и продукты.
Отслеживание решений, принимаемых ИИ, и реагирование на них в масштабе портфеля требуют курированных данных, заслуживающих доверия. Автоматизированные панели мониторинга и сводки для руководителей должны преобразовывать информацию по четырём направлениям AI governance в основу для своевременных действий.
Такой подход помогает руководителям раскрывать ценность инвестиций в ИИ, одновременно снижая риски для организации и её клиентов. Автоматизация контроля не снимает с руководителей ответственности за принципы, ограничения и решения, определяющие применение ИИ.
Руководителям важно уже сейчас определить принципы, границы ответственности и механизмы контроля применения ИИ, чтобы масштабировать его безопасно, этично и с измеримой пользой для организации и клиентов.
Как встроить AI governance в AI-Native SAFe без создания параллельной бюрократии
AI governance работает устойчиво, когда не превращается в отдельный согласовательный контур. Требования к данным, безопасности, человеческому контролю, затратам и наблюдаемости должны встраиваться в существующие процессы: портфельные решения, приоритизацию инициатив, работу ART и команд, архитектурные проверки, управление рисками, оценку результатов и Sense and Respond (Выявление и Реагирование).
Для каждого сценария применения ИИ важно определить владельца решения, уровень риска, допустимые границы автономности, требования к данным и журналированию, а также условия эскалации к человеку. Тогда управление не замедляет поставку ценности, а задаёт командам понятные границы для безопасных экспериментов и масштабирования.
AI governance на практике: проверочный список для руководства портфеля
Это редакционный проверочный инструмент. Он не является официальным элементом SAFe и сам по себе не подтверждает соответствие нормативным требованиям.
Ключевые выводы
- AI governance связывает правила, ответственность и механизмы контроля, помогая руководству портфеля управлять применением ИИ в масштабе организации.
- Контролируйте не только затраты отдельных команд, но и совокупные расходы на ИИ во всём портфеле, включающие в себя всю эксплуатацию ИИ как часть продукта. Отслеживайте потребление, устанавливайте лимиты и закрепляйте ответственность.
- Поддерживайте доверие и соблюдение требований через объяснимость, прозрачность, защиту данных и контроль со стороны человека.
- Отслеживайте не только результаты работы ИИ-агентов, но и их действия. Сочетайте детерминированные правила, автоматизированное выявление отклонений и рассмотрение значимых ситуаций человеком.
- Используйте управление рисками для создания условий, в которых команды могут безопаснее экспериментировать и быстрее проверять перспективные возможности.
- Этика ИИ задаёт ориентиры за пределами формального соблюдения закона. Эти принципы должны влиять на проектирование продуктов и повседневные решения.
- Автоматизируйте проверки и мониторинг, сохраняя ответственность человека за критически важные решения. AI governance должно быть встроено в управление портфелем, работу ART и процессы команд, поддерживая достижение клиентских и бизнес-результатов, а не создавая параллельную бюрократию.
Часто задаваемые вопросы об AI governance
Что такое AI governance?
AI governance – это система управления применением искусственного интеллекта в организации. Она устанавливает правила, роли, распределение ответственности, допустимые риски, механизмы контроля и порядок вмешательства человека при использовании ИИ.
Зачем организации AI governance?
AI governance помогает одновременно управлять затратами, рисками, качеством, безопасностью данных, нормативными требованиями и последствиями автономных действий ИИ-систем. Его задача – сделать применение ИИ управляемым без превращения инноваций в избыточную бюрократию.
Чем AI governance отличается от этики ИИ?
AI governance устанавливает роли, процессы, ограничения и механизмы контроля применения ИИ. Этика ИИ задаёт принципы, которыми организация руководствуется в ситуациях, когда формальных требований или правил недостаточно.
С чего начать внедрение AI governance?
Начните с инвентаризации сценариев применения ИИ и используемых ИИ-систем, определения владельцев решений, классификации рисков и оценки затрат. Затем установите минимальные требования к данным, безопасности, контролю человека и журналам событий, а также выберите приоритетные механизмы контроля. Встройте эти требования в существующие процессы управления портфелем, разработки, эксплуатации, качества и комплаенса. Подход следует регулярно пересматривать по мере появления новых сценариев, моделей, ИИ-агентов и нормативных требований.
Кто отвечает за AI governance в организации?
Общую ответственность обычно несёт руководство организации и портфеля. В практической работе участвуют владельцы бизнеса, VMO или PMO, лидеры ART, продуктовые и технологические руководители, архитекторы, специалисты по безопасности, рискам, данным, юридическим вопросам и комплаенсу.
На каком уровне организации нужно выстраивать AI governance?
Общие принципы, ответственность, допустимые риски и механизмы контроля целесообразно определять на уровне портфеля. ART и команды применяют их в продуктах, экспериментах, процессах разработки и эксплуатации ИИ-систем.
Нужно ли проверять человеком каждое решение ИИ?
Нет. Участие человека должно быть соразмерно уровню риска и возможным последствиям решения. Для рутинных операций могут применяться автоматизированные ограничения и мониторинг; для критически важных решений необходимы определённые заранее условия эскалации и ответственное решение человека.
Что такое теневой ИИ (Shadow AI) и как им управлять?
Теневой ИИ – использование сотрудниками ИИ-инструментов вне утверждённых процедур, правил работы с данными и контроля затрат. Управление должно сочетать прозрачность использования, понятные разрешённые альтернативы, обучение и соразмерные ограничения, а не сводиться к запретам.
Это актуально, потому что неконтролируемое применение ИИ затрагивает данные, безопасность, расходы и юридические риски одновременно.
Как контролировать действия ИИ-агентов?
Необходимо заранее определить полномочия агента, разрешённые инструменты и границы автономности, вести журналы его действий и решений, установить правила блокировки и пороги эскалации. Контролировать следует не только итоговый результат, но и наблюдаемую последовательность действий агента.
Как связаны AI governance и AI-Native SAFe?
AI-Native SAFe рассматривает ИИ как часть системы создания ценности. Поэтому управление применением ИИ должно быть связано с портфельными решениями, работой ART, ролями, данными, рисками и клиентскими и бизнес-результатами, а не существовать как изолированный комплаенс-процесс. Практики AI-Native SAFe связывают AI governance с управлением продуктовой разработкой, инвестициями, ролями и работой ART.
Почему качество и происхождение данных важны для AI governance?
AI governance включает управление данными, на которых строятся и которыми пользуются ИИ-системы: их происхождением, актуальностью, качеством, правами доступа и ограничениями на применение. Без этого невозможно надёжно оценивать результаты ИИ, объяснять решения и предотвращать некорректное использование данных. Подробнее – в статье «Курированные данные для ИИ: как корпоративные данные становятся конкурентным преимуществом».
Как оценивать ИИ-систему перед запуском и после изменений?
Для каждого сценария следует определить критерии качества, безопасности, допустимого риска и участия человека. Проверки проводят до запуска, при существенном изменении модели, данных, инструкций или интеграций, а также непрерывно в процессе эксплуатации – по фактическим результатам и выявленным инцидентам.
Как AI governance помогает управлять зависимостью от поставщиков ИИ?
Организация должна оценивать не только возможности модели, но и условия обработки данных, стоимость при масштабировании, доступность сервиса, порядок изменения моделей, возможность переноса решений и критичность поставщика. Техническая гибкость и заранее определённые альтернативы снижают риск зависимости от одной платформы.
Что делать при инциденте, связанном с ИИ?
Нужно заранее определить порядок остановки или ограничения системы, сохранения журналов событий, оценки последствий, уведомления ответственных лиц и устранения причин. После инцидента должны пересматриваться политики, пороги эскалации, тестовые сценарии и защитные ограничения.
Источник: Scaled Agile, Inc. (вендор), статья «AI Governance and Ethics» (от 11.08.2026). Материал не является официальным переводом.
Перевод и адаптация: Алексей Ионов, первый в России и СНГ Certified Advanced SAFe® Practice Consultant (Advanced SPC) и аккредитованный AI-Native Trainer, основатель компании «Ионов и Партнеры». Компания «Ионов и Партнеры» – официальный бронзовый партнёр Scaled Agile, Inc. с 2019 года и первый в России и СНГ AI-Native Partner компании Scaled Agile, Inc.
Другие статьи по теме AI-Native SAFe
⇒ AI-Native SAFe: как искусственный интеллект меняет систему создания ценности в организациях
⇒ Core SAFe, AI-Native и AI-Native SAFe: в чём разница и как выбрать подход
⇒ Инвестиционная стратегия портфеля в AI-Native SAFe: как связать результаты, бюджет и риски
⇒ ROI в AI-Native SAFe: как оценивать окупаемость и рентабельность инвестиций в ИИ
⇒ Как управлять продуктовой разработкой через клиентские и бизнес-результаты в AI-Native SAFe
⇒ Намерение, спецификации и контекст в AI-Native SAFe: как управлять разработкой продуктов с ИИ
⇒ Курированные данные для ИИ: как корпоративные данные становятся конкурентным преимуществом
⇒ AI-Native ART: как Agile Release Train меняется в эпоху ИИ
⇒ Клиентские и бизнес-результаты ART в AI-Native SAFe
⇒ PI Outcome Planning в AI-Native SAFe: планирование клиентских и бизнес-результатов PI
⇒ Sense and Respond: как ART принимает решения на основе данных
⇒ Архитектор ИИ-ценности: роль AI-Value Architect в AI-Native SAFe и внедрении ИИ
⇒ AI-Native команды: как организовать продуктовую разработку с ИИ в AI-Native SAFe
⇒ Гибкость, усиленная ИИ: применение искусственного интеллекта в SAFe и Agile
⇒ Персонал, усиленный ИИ: руководство по внедрению в SAFe и Agile
⇒ Что такое искусственный интеллект (ИИ): основные типы ИИ и применение в бизнесе
⇒ Как обновить любую сертификацию SAFe до AI-Native SAFe
© «Ионов и Партнеры» (ИП Ионов Алексей Константинович), 2018-2025. Все права защищены. Цитирование материалов и размещение ссылок на материалы для формирования сторонних баз знаний, рубрикаторов или агрегаторов допускается только с письменного согласия «Ионов и Партнеры».
SAFe® and Scaled Agile Framework® are registered trademarks of Scaled Agile, Inc.