Метрики в SAFe®
Что такое метрики в SAFe?
Метрики — это согласованные показатели, используемые для оценки прогресса в достижении бизнес-гибкости и определения необходимых мер по развитию. В SAFe подход к работе с метриками называется «Измерение и Развитие» (Measure and Grow).
Бизнес-гибкость задаёт новые стандарты эффективности для организаций, требуя быстрого и эффективного реагирования на возникающие возможности для бизнеса. Однако для повышения скорости и адаптивности лидерам, командам и заинтересованным лицам нужен надежный способ измерения текущего состояния и выявления областей для улучшений.
Таким образом, выбор того, что и как измерять, становится ключевым фактором для непрерывного повышения эффективности бизнеса. В этой статье описывается комплексный подход, который можно использовать для оценки производительности и результативности портфеля SAFe или его отдельных элементов.
Что мы измеряем в SAFe?
Когда дело доходит до метрик, первое и самое главное — нужно понять, что именно мы измеряем. Цель развития бизнес гибкости в организации очевидна: оперативно реагировать на изменения рынка и возникающие возможности с помощью создания инновационных бизнес-решений с использованием цифровых технологий.
На рисунке 1 представлен поток ценности «Обеспечение Бизнес-Гибкости», который наглядно демонстрирует шаги, необходимые для достижения этой цели.
Три области измерения SAFe (Результаты, Поток и Компетентность) напрямую поддерживают этот процесс. Вместе они формируют простую, но при этом всестороннюю, модель для оценки прогресса в достижении этой цели. Информация, получаемая из этих областей, помогает принимать более эффективные решения и выявлять новые возможности для улучшений.
Рисунок 1. Три домена измерений SAFe поддерживают цель обеспечения гибкости бизнеса
Три области измерения определяются следующим образом:
- Результаты: Отвечают ли наши решения потребностям наших клиентов и бизнеса?
- Поток: Насколько эффективна наша организация в доставке ценности для клиента?
- Компетентность: Насколько зрелой является организация в применении практик, обеспечивающих гибкость бизнеса?
Все три области измерения применимы на всех уровнях организации. Как показано на рисунке 2, их можно использовать для оценки производительности и эффективности в рамках Портфеля SAFe, Поезда Решения (Solution Train), Релизного Поезда (Agile Release Train) или даже одной Agile Команды.
Рисунок 2. Три области измерения применимы на всех уровнях SAFe Организации
У каждой из областей измерения есть свои конкретные метрики, которые будут описаны дальше в этой статье.
Зачем измерять результаты? Какие метрики имеют значение?
Результаты помогают организации определить, приносят ли усилия по разработке решений желаемую выгоду для бизнеса. Результаты можно измерить на основе внешних показателей, таких как увеличение дохода, удержание клиентов и т.д., или по «внутренним откликам», исследуя, например, вовлеченность сотрудников.
KPI и OKR
Портфель SAFe использует ключевые показатели эффективности (KPI) и Стратегические Темы для оценки результатов. Каждый KPI является чётким и поддается количественной оценке конкретных бизнес-результатов для потоков создания ценности в определённом портфеле. Показатели результатов такого рода, как правило, зависят от контекста и в значительной степени зависят от организации, бизнес-модели и типа решений, доставляемых клиенту.
Например, показатель конверсии клиентов может быть важной метрикой для онлайн-магазинов, но будет неприменим к производителю микрочипов. Однако некоторые метрики, такие как Индекс Лояльности Клиентов (Net Promoter Score, NPS), могут успешно использоваться в разных контекстах.
Примеры KPI приведены на рисунке 3.
Рисунок 3. KPI Потока Ценности зависят от типа поддерживаемого операционного потока ценности.
Разумеется, эти KPI частично основаны на стратегических темах портфеля, поскольку стратегия определяет цели, которые должны быть достигнуты. KPI представляют собой текущие показатели «здоровья», которые можно использовать для измерения общей эффективности бизнеса.
Стратегические темы, сформулированные как OKR, устанавливают конкретные результаты, к которым стремится портфель для достижения будущего успеха. Ключевые результаты (Key Results), являющиеся частью Стратегических Тем, определяют отдельный набор критически важных показателей достижения результатов (Objectives). Эти показатели часто фиксируются ежеквартально, как показано на рисунке 4 ниже.
Рисунок 4. Оценка прогресса в достижении стратегических тем с использованием OKR метрик
В рамках портфеля, содержащего много различных потоков ценности, может быть полезно создавать отдельные OKR для каждого из них. OKR отдельного потока ценности должны декомпозировать Стратегические Темы портфеля. Аналогичный подход применяется для потоков ценности, содержащих несколько ART – для каждого поезда могут создаваться отдельные OKR, которые определяют ключевые результаты для конкретного ART. Таким образом, участники каждого уровня организации смогут увидеть прямое влияние их работы на ключевые результаты ОКR, к которым они приближаются. Варианты использования OKR в SAFe более подробно описаны в отдельной статье «Применение OKR в Scaled Agile Framework».
Вовлеченность сотрудников
Вовлечённость сотрудников — это ещё одна важная внутрення метрика достижимости результатов. Она измеряет уровень мотивации и заинтересованности людей в поддержке целей и ценностей организации. Высокий уровень вовлеченности сотрудников приводит к повышению производительности, эффективности и увеличению инноваций. Низкий уровень вовлеченности сотрудников может привести к сниженной мотивации, ухудшению качества работы и высокой текучести кадров.
Существуют различные методы измерения вовлеченности сотрудников, и каждая организация должна выбрать подходящий для себя вариант. Одни организации проводят ежегодные опросы вовлечённости сотрудников. Другие используют показатель Индекса Лояльности Сотрудников (Net Promoter Score, eNPS): сотрудникам задаётся вопрос «Насколько вероятно, что вы порекомендуете другим своего работодателя как место работы?», и далее ответы ранжируются по шкале от 0 до 10. Какой бы подход ни был выбран, полученные данные должны использоваться для разработки инициатив, направленных на повышение уровня вовлеченности сотрудников.
Цели Итерации и Цели Интервала Планирования
Команды и Релизные Поезда (ART) используют конкретные, локальные метрики, такие как Цели Итерации и Цели Интервала Планирования, для оценки достижения намеченных целей. Эти индикаторы помогают им сосредоточиться на потребностях клиентов и бизнеса, получить информацию о прогрессе в достижении бизнес-результатов, правильно расставлять приоритеты, а также облегчают приёмку работ.
Для эффективного формирования метрик результатов команды, потоки ценности и портфели должны тесно сотрудничать со своими бизнес-партнерами, которые лучше всего могут объяснить бизнес-преимущества инвестиций в их решения.
Обращаю внимание, что использование формата OKR в целях Итерации или в Результатах (Целях) Интервала Планирования не рекомендуется фреймворком. Такое использование OKR будет излишне усложнять формулирование, использование, отслеживание и оценку достижений. Кроме того, поскольку в SAFe уже применяется система каскада OKR на уровнях Стратегическая Тема – Поток Ценности – Поезд (ART), существует набор Дорожных Карт и три типа вех, попытка использовать дополнительные Ключевые Результаты вызовет дублирование и путаницу. Оставляйте Цели Итерации и Результаты (Цели) Интервала Планирования максимально простыми и краткими – это будет способствовать повышению бизнес-гибкости, обеспечивать возможность концентрироваться на результате и децентрализации системы управления!
![Алексей Ионов, Executive Lean-Agile коуч, Ионов и Партнеры]()
Алексей Ионов, Executive Lean-Agile коуч, Ионов и Партнеры
Как SAFe измеряет поток?
Показатели потока определяют, насколько эффективно организация доставляет ценность.
Во фреймворке потока (Flow Framework), созданном Миком Керстеном, есть пять метрик, которые можно использовать для измерения различных аспектов потока. Поскольку SAFe является системой, основанной на потоке, каждая из этих метрик применяется и в SAFe.
Помимо этого, SAFe добавляет еще одну метрику — Предсказуемость Потока — для измерения того, как Команды, Релизные Поезда Agile (Agile Release Train) и Поезда Решения (Solution Train) осуществляют доставку относительно запланированных целей.
Таким образом, в SAFe мы имеем шесть метрик потока, которые представлены на рисунке 6 ниже. Далее в статье мы более подробно рассмотрим каждую метрику.
Рисунок 5. Шесть метрик потока в SAFe
Распределение потока
Что измеряет метрика? Распределение потока измеряет объем каждого типа работ в системе с течением времени. Кроме этого, распределение потока может включать соотношение работ над новыми бизнес-Фичами (или Историями, Капабилити, Эпиками) и Энейблерами, а также работы по устранению дефектов и снижению рисков. Также можно показать распределение потоков портфеля через распределение финансирования по инвестиционным горизонтам.
Как измеряется метрика? Один из самых простых способов — сделать простое сравнение: подсчитать количество каждого типа элементов работы в заданный момент времени. Более точная оценка — подсчитать размер каждого типа элементов работ в сторипоинтах. Agile команды могут измерять распределение потока по итерациям, но обычно используются границы Интервала Планирования на уровне Agile Release Train и выше, как показано на рисунке 6.
Почему это важно? Чтобы сбалансировать как текущую, так и будущую скорость (пропускную способность), важно иметь отслеживать, сколько работы какого типа проходит через систему. Если уделять слишком много внимания новым бизнес-фичам, то может не хватить ёмкости для работы с архитектурой и инфраструктурой, которые помогают справиться с техническим долгом и обеспечивают создание ценности в будущем. Если же слишком много сил тратить на погашение технического долга, то останется мало возможностей для создания новой и поддержания текущей ценности для клиентов. Поэтому полезно определить целевое распределение ёмкости для каждого типа работ.
Например, в управлении портфелем важно следить за тем, как, финансирование распределяется по инвестиционным горизонтам. Это помогает поддерживать сбалансированный портфель и обеспечить стабильное развитие как в краткосрочной, так и в долгосрочной перспективе.
Рисунок 6. Пример распределения потока Поезда во времени
Пропускная способность (скорость) потока
Что измеряет метрика? Скорость потока измеряет количество элементов беклога (истории, фичи, капабилити, эпики), которые выполнены в заданный период времени; это также называется пропускной способностью системы. (Рисунок 7).
Как измеряется метрика? Как и в случае с распределением потока, простейшим способом измерения скорости является подсчет количества рабочих элементов, выполненных за период времени, например, за Итерацию или Интервал Планирования. Этими элементами могут быть истории, фичи, капабилити или даже эпики. Однако, поскольку размеры рабочих элементов могут значительно различаться, чаще всего скорость измеряется с помощью подсчета общего количества сторипоинтов выполненных элементов работы за период времени.
Почему это важно? При прочих равных условиях более высокая пропускная способность подразумевает более высокую производительность и является хорошим индикатором того, что улучшения процесса применяются для выявления и устранения задержек в системе. Однако пропускная способность системы не будет увеличиваться бесконечно, и со временем важное значение будет играть стабильность системы. Значительное снижение пропускной способности подчеркивает проблемы, которые требуют изучения.
Рисунок 7. Пример пропускной способности потока команды в сторипоинтах на итерацию
Время потока
Что измеряет метрика? Время потока измеряет общее время, затраченное на все шаги рабочего процесса, и, следовательно, является показателем эффективности всей системы. Время потока обычно измеряется от идеи до производства. Также может быть полезно измерить время потока для определенных частей рабочего процесса, таких как фиксация кода для развёртывания, чтобы определить возможности для улучшения.
Как измеряется метрика? Время потока обычно измеряется с учётом среднего показателя времени, необходимого для завершения определенного типа элемента работы (истории, фичи, капабилити, эпики). Гистограмма является полезной визуализацией времени потока (рисунок 8). Она помогает выявить резко отклоняющиеся значения, на которые необходимо обратить особое внимание, помимо поиска возможностей для сокращения общего среднего времени потока.
Почему это важно? Время потока гарантирует, что организации и команды сосредоточатся на том, что важно — на доставке ценности бизнесу и клиенту в кратчайшие сроки. Чем короче время потока, тем меньше времени наши клиенты тратят на ожидание нового функционала (фич) и тем ниже стоимость задержки для организации.
Рисунок 8. Пример диаграммы времени потока для фич
Загрузка потока
Что измеряет метрика? Загрузка потока показывает, сколько элементов в настоящее время находится в системе. Важно поддерживать «здоровое», ограниченное количество активных элементов в работе (ограничение незавершённой работы, НЗР/WIP), чтобы поток элементов быстро проходил через систему (принцип SAFe №6).
Как измеряется метрика? Кумулятивная Диаграмма Потока (Cumulative FlowDiagram, CFD) является одним из распространённых инструментов, который используется для эффективной визуализации загрузки потока с течением времени (рисунок 9). Диаграмма показывает: 1) количество работ в данном состоянии, 2) скорость, с которой элементы принимаются в рабочую очередь (кривая поступления), и 3) скорость, с которой они выполняются (кривая выхода результатов). Загрузка потока (НЗР/WIP) в заданной точке во времени – это расстояние между кривыми в этой точке по вертикали.
Почему это важно? Увеличение нагрузки на поток является опережающим индикатором избыточного количества незавершённой работы. Вероятным результатом будет увеличение времени в будущих потоках по мере того, как в системе начнут накапливаться очереди. По этой причине измерение и снижение загрузки на поток является критически важным. Кроме того, на диаграмме легко увидеть, как более частая доставка снижает нагрузку на поток, одновременно улучшая время и скорость потока.
Рисунок 9. Визуализация загрузки потока с помощью кумулятивной диаграммы потока
Эффективность потока
Что измеряет метрика? Эффективность потока измеряет, сколько от общего времени потока тратится на действия по добавлению ценности по сравнению с ожиданием между шагами.
Как измеряется метрика? Чтобы правильно измерить эффективность потока, команды, поезда и потоки создания ценности должны чётко понимать, что такое поток в их случае и через какие шаги он проходит. Это понимание достигается с помощью Картографии Потока Ценности (Value Stream Mapping, VSM) – процесса определения шагов рабочего процесса и задержек в системе. (Курс SAFe DevOps содержит исчерпывающие рекомендации по выполнению Value Stream Mapping). После того, как шаги были нанесены на карту, эффективность потока рассчитывается путем деления общего активного времени на общее время потока и выражается в процентах, как показано на рисунке 10.
Почему это важно? В типичной системе, которая еще не оптимизирована, эффективность потока может быть чрезвычайно низкой. Низкая эффективность потока показывает большое количество потерь в системе, а также узкие места и задержки, которые необходимо устранить. И наоборот, чем выше эффективность потока, тем лучше система способна быстро доставлять ценность.
Рисунок 10. Эффективность потока — это отношение общего активного времени к общему времени потока
Предсказуемость потока
Что измеряет метрика? Предсказуемость потока измеряет, насколько хорошо Команды, Релизные Поезда (Agile Release Train) и Поезда Решения (Solution Train) способны планировать и достигать своих целей в рамках Интервала Планирования.
Как измеряется метрика? Предсказуемость потока измеряется с помощью Меры Предсказуемости Поезда (ART Predictability Measure), Рисунок 11. Эта метрика показывает соотношение запланированной бизнес-ценности к фактической бизнес-ценности, доставленной в рамках Интервала Планирования. Для дополнительной информации о том, как вычислять эту важную метрики, перейдите на статью о мероприятии Инспект-Адапт.
Почему это важно? Низкая или неуправляемая предсказуемость делает обязательства по доставке нереалистичными и часто подчеркивает проблемы в области технологий, планирования или производительности организации, которые необходимо решить. Поезда должны стабильно работать в диапазоне 80 – 100 процентов. Это позволяет бизнесу и его заинтересованным сторонам эффективно планировать.
Рисунок 11. Показатель предсказуемости Поезда (ART)
Использование DORA метрик
Иногда бывает полезно объединить несколько дополняющих друг друга метрик. Результатом такого объединения может быть визуализация определенного взгляда на производительность. Хорошим примером такого объединения могут служить метрики DORA, которые используются для измерения производительности DevOps в организации. Существует четыре метрики DORA: 1) частота развёртывания, 2) время внесения изменений , 3) время восстановления службы и 4) частота сбоев от изменений.
Перечисленные метрики представляют собой варианты использования метрик потока SAFe. Частота развертывания является метрикой производительности и показывает скорость потока. Вместо историй, завершенных за итерацию, она фиксирует количество развертываний за заданный период времени. Показатели «время внесения изменений» и «время восстановления службы» являются примерами метрик времени потока, в которых основное внимание уделяется конкретным шагам потока работ.
Наконец, частота сбоев от изменений представляет собой процент изменений, требующих дополнительного исправления после их ввода в эксплуатацию. Другими словами, это ответ на вопрос «как часто работа, переходя на шаг «развертывание», содержит ошибки?» Когда для измерения эффективности потока разработки проводится Картирование Потока, эта величина отражается как «процент качественно выполненной» (%C&A) работы каждого шага. «%C&A» – это процент работы, который можно обработать без необходимости переработки на следующем шаге потока работ. Высокая частота сбоев от изменений существенно снижает эффективность потока.
Как SAFe измеряет компетенции?
Достижение гибкости бизнеса требует значительной степени экспертизы по Дисциплинам и Компетенциям SAFe. Каждая из них ценна сама по себе, но все они взаимозависимы. Настоящая бизнес-гибкость появляется только тогда, когда предприятие достигает значительного уровня мастерства во всех компетенциях.
Измерение бизнес-гибкости в SAFe предназначена для бизнес-лидеров и команды портфеля, чтобы оценить прогресс в достижении подлинной бизнес-гибкости организации.
Примечание для тех, у кого есть доступ к SAFe Studio:
Все оценки SAFe доступны для участников SAFe Studio онлайн через партнера вендора — компании Comparative Agility. Это предоставляет дополнительные возможности для сбора данных, анализа, сравнения и отслеживания трендов, которые можно использовать для повышения эффективности. Доступ к этим инструментам можно получить на странице Measure and Grow в SAFe Studio.
Помимо оценки бизнес-гибкости, в SAFe предусмотрены измерения для каждой из Дисциплин SAFe. Эти инструменты помогают командам и Релизным Поездам (Agile Release Train, ART) совершенствовать технические и бизнес-практики, необходимые для достижения стратегических целей портфеля. В качестве примера на рисунке 12. показана оценка компетенции «Командная и Техническая Гибкость».
Рисунок 12. Отчет из оценки компетенции «Командная и Техническая гибкость»
Все оценки проводятся по единой схеме, за которой следует анализ результатов, формирование действий и празднование успехов. Дополнительно можно сделать сравнительный анализ относительно конкурентов с помощью онлайн-инструментов оценки, доступных для членов SAFe Studio.
Для членов SAFe Studio доступны шаблоны следующих измерений SAFe:
- Бизнес-гибкость
- Бережливое Управление Портфелем
- Доставка и Интеграция Крупного Решения (ранее Доставка Решения уровня Организации)
- Поток Разработки Продукта (ранее Agile Доставка Продукта)
- Командная и Техническая Гибкость
- Лидерство и Культура (ранее Lean-Agile Лидерство)
Измерение и управление зрелостью DevOps
Помимо выше перечисленных измерений SAFe предлагает инструмент для определения «здоровья» DevOps, который называется SAFe DevOps Health Radar (смотри рисунок 13). Этот радар помогает Релизным Поездам и Поездам Решения оценивать и улучшать производительность своих потоков создания ценности.
SAFe DevOps Health Radar делает комплексную проверку зрелости DevOps, оценивая 4 ключевых аспекта и 16 активностей Конвейера Непрерывной Доставки. Health Radar используется для измерения текущего уровня DevOps практик на любом этапе трансформации, а также помогает выявить слабые места и инкрементально двигаться вперёд.
Рисунок 13. SAFe DevOps Health Radar
Четыре критических фактора успеха для эффективного измерения
Измерение эффективности организации является одной из наиболее чувствительных областей в каждом бизнесе, часто подверженной политике и различным дисфункциям. Кроме того, поскольку измерение неизбежно включает в себя интерпретацию данных, оно подвергается когнитивной предвзятости, проблемам коммуникации и отсутствию согласованности. Все это приводит к существенной опасности в любой системе измерений: если их не внедрить должным образом, некоторые измерения могут принести больше вреда, чем пользы. Следующие факторы успеха помогут направить предприятие к более эффективным измерениям и, что более важно, к лучшим бизнес-результатам.
1. Использование измерений в сочетании с другими инструментами исследования данных
Любая система измерений, как бы хорошо она ни была спроектирована, обеспечивает лишь частичную картину реальности. Простое добавление дополнительных метрик не сильно улучшает понимание ситуации или наглядность. За каждым числом стоит своя история, и эта история часто содержит более важную информацию, чем может передать само число.
Мощным инструментом, который можно использовать в сочетании с измерением, является прямое наблюдение (Gemba) — наблюдение за фактической средой, в которой создается ценность и где она «встречается» с клиентом. Формальные измерения и неофициальные наблюдения усиливают друг друга. Но при использовании в изоляции от всего остального «управление только цифрами» может привести к плохим результатам и еще худшему моральному духу.
2. Применяйте метрики, когда они помогают улучшить принятие решений
Распространенной ловушкой, в которую можно попасть, применяя метрики, является чрезмерное измерение из-за страха «мало измерить». Хотя многие метрики могут быть автоматизированы, по мере увеличения количества метрик и частоты измерений будут также увеличиваться усилия, необходимые для сбора и анализа данных.
При рассмотрении вопроса о том, включать ли дополнительную метрику в вашу систему измерений, разумно задать вопрос: «Для каких решений эта метрика поможет дать данные, которые сегодня не поддерживаются нашими существующими метриками?» Если новая метрика помогает лучше принимать решения, то она должна быть кандидатом на включение, если нет, то откажитесь от нее!
Еще один уточняющий вопрос, который следует рассмотреть: «Нужно ли нам измерять это прямо сейчас?» Этот вопрос признает тот факт, что метрики, которые мы используем, будут и должны меняться с течением времени, поскольку решения, которые нам необходимо принимать, меняются на протяжении всего процесса разработки.
3. Понимание влияния метрик на поведение
В позитивной культуре интеллектуальные работники (knowledge workers) имеют высокую внутреннюю мотивацию и разрабатывают лучшие решения. Внутренняя мотивация является результатом работы ради предназначения (достижения цели), заинтересованности в совершенствовании мастерства и наличия автономии. Однако, когда слишком большое внимание уделяется конкретной числовой метрике, напрямую связанной с вознаграждением или возможностями карьерного роста, фактической целью становится достижение этой метрики, а не создание эффективных клиентских решений.
Кроме того, давление с целью достижения успеха часто приводит к неправильному использованию метрик. Например, в процессе доставки ценности Поезд становится «узким горлышком», сроки доставки решения не выполняются. Показатель эффективности потока может быть использован для возложения вины на этот конкретный поезд вместо того, чтобы использовать эту информацию для выявления системных проблем, которые необходимо решить. Возможно, основной причиной была нехватка ресурсов или изменение приоритетов, которые находились вне контроля ART.
В каждом случае основные ценности SAFe, требующие прозрачность и согласованность/выравнивание, должны служить основой для правильной и эффективной системы измерений наряду с созданием среды, в которой «факты всегда дружелюбны».
4. Тщательно анализируйте метрики. Просто сбора конкретных показателей недостаточно.
Недостаточно просто собрать определенные показатели. Если интерпретировать данные без должного понимания, показатель может вводить в заблуждение. Например, при измерении времени потока рабочие элементы должны быть актуальными, ценными фичами (или историями и т. д.), которые приносят пользу бизнесу; в противном случае поезд может формально сообщать об улучшениях в потоке, но сталкиваться с проблемами при выпуске реальной ценности.
Статья является неофициальным переводом информации о метриках на сайте Scaled Agile, Inc.. Статья обновлена в соответствии с последней версии статьи на сайте вендора от 8 апреля 2025 года.