Метрики в SAFe®

«В конце ноября 2022 года Scaled Agile, Inc. внесли изменения в опубликованную ранее статью о метриках SAFe, и мы представляем вашему вниманию ее обновленный вариант. В статью добавлено несколько важных уточнений, ранее вызывавших множество вопросов при практическом применении фреймворка.

Во-первых, теперь в статье в явном виде приводится каскадная модель OKR, которая была ранее описана только в отдельной «продвинутой» статье. Каскад OKR выглядит следующим образом: Стратегические темы – OKR Потока Ценности – OKR Релизного Поезда.

Во-вторых, в статье больше внимания уделяется измерению вовлеченности сотрудников.

В-третьих, появилось упоминание, как метрика «Распределение Потока» может использоваться для визуализации первой Направляющей Бережливого Бюджетирования «Аллокация по Инвестиционным Горизонтам».

В-четвертых, появилось упоминание о популярных DORA DevOps метриках как частном случае управления потоком.»

Алексей Ионов, Executive Lean-Agile коуч, Ионов и Партнеры

Что такое метрики в SAFe?

Метрики — это согласованные показатели, используемые для оценки того, насколько хорошо организация продвигается к реализации портфеля, крупного решения, а также к выполнению бизнес и технических целей Agile команд и Релизных Поездов Agile (Agile Release Train).

Business agility устанавливает новые стандарты производительности для организаций, требуя быстрого и эффективного реагирования на возникающие возможности для бизнеса. Однако для повышения скорости и гибкости лидерам, командам и бизнес стейкхолдерам нужен надежный способ измерения текущего состояния и определения того, что они могут сделать для улучшения.

Таким образом, выбор того, что и как измерять, является критически важным фактором для непрерывного повышения эффективности бизнеса. В этой статье описывается комплексный подход, который можно использовать для измерения производительности и эффективности портфеля SAFe или любого из его элементов.

Что мы измеряем в SAFe?

Когда дело доходит до метрик, первое и самое главное — нужно понять, что мы измеряем. Цель создания бизнес гибкости в организации ясна: быстро реагировать на изменения рынка и возникающие возможности с помощью инновационных бизнес-решений с использованием цифровых технологий. Поток ценности «Обеспечение Business Agility», показанный на рисунке 1, визуализирует шаги, необходимые для достижения этой цели.

Три области измерения SAFe (Результаты, Поток и Компетентность) поддерживают этот процесс напрямую и создают всестороннюю, но при этом простую модель для измерения прогресса в достижении этой цели. Идеи, предоставляемые этими тремя доменами измерений, помогают принимать более эффективные решения и выявлять возможности для улучшения.

Рисунок 1. Три домена измерений SAFe поддерживают цель обеспечения гибкости бизнеса

Три области измерения определяются следующим образом:

• Результаты: Отвечают ли наши решения потребностям наших клиентов и бизнеса?
• Поток: Насколько эффективна наша организация в доставке ценности для клиента?
• Компетентность: Насколько зрелой является организация в применении практик, обеспечивающих гибкость бизнеса?

Все три области измерений применимы на каждом уровне организации. Как показано на рисунке 2, их можно использовать для измерения производительности и эффективности в рамках Портфеля SAFe, Поезда Решения (Solution Train), Релизного Поезда (Agile Release Train) или даже одной Agile Команды.

Рисунок 2. Три области измерения применимы на всех уровнях SAFe Организации

У каждой из областей измерений есть свои конкретные метрики, которые будут описаны дальше в этой статье.

Измерение Результатов

Результаты помогают организации определить, приносят ли усилия по разработке решений желаемую выгоду для бизнеса. Результаты можно измерить на основе внешних показателей, таких как увеличение дохода, удержание клиентов и т.д., или по «внутренним откликам», исследуя, например, вовлеченность сотрудников.

KPI и OKR

Портфель SAFe измеряет результаты, используя ключевые показатели эффективности (KPI) и Стратегические Темы. Каждый KPI является четким и поддается количественной оценке конкретных бизнес-результатов для потоков создания ценности в определенном портфеле. Показатели результатов такого рода, как правило, зависят от контекста и в значительной степени зависят от организации, бизнес-модели и характера решений, доставляемых клиенту.

Например, коэффициент конверсии клиентов может быть важной метрикой для онлайн-магазинов, но будет неприменим к производителю микрочипов. Однако некоторые индикаторы могут быть успешно применены в разных контекстах, например, Индекс Лояльности Клиентов (Net Promoter Score, NPS).

Примеры KPI приведены на рисунке 3.

Рисунок 3. KPI Потока Ценности обычно определяются спецификой его контекста.

Конечно, эти KPI частично основаны на стратегических темах портфеля, поскольку стратегия определяет цели, которые должны быть достигнуты. KPI представляют собой текущие показатели «здоровья», которые можно использовать для измерения общей эффективности бизнеса.

Стратегические темы, сформулированные как OKR, устанавливают конкретные результаты, к которым стремится портфель для достижения будущего успеха. Ключевые результаты (Key Results), являющиеся частью Стратегических Тем, определяют отдельный набор критически важных показателей достижения результатов (Objectives). Эти показатели часто фиксируются ежеквартально, как показано на рисунке 4 ниже.

Рисунок 4. Ключевые результаты измеряются ежеквартально

В рамках портфеля, содержащего много различных потоков ценности, может быть полезно создавать отдельные OKR для каждого из них. OKR отдельного потока ценности должны декомпозировать Стратегические Темы портфеля. Аналогичный подход применяется для потоков ценности, содержащих несколько ART – для каждого поезда могут создаваться отдельные OKR, которые определяют ключевые результаты для конкретного ART. Таким образом, участники каждого уровня организации смогут увидеть прямое влияние их работы на ключевые результаты ОКR, к которым они приближаются. Этот и другие варианты использования OKR более подробно описаны в отдельной статье «Применение OKR в Scaled Agile Framework».

Рисунок 5: Основное применение OKR в SAFe

Вовлеченность сотрудников

Еще одной важной внутренней метрикой достижимости результата является вовлеченность сотрудников. Вовлеченность сотрудников показывает, насколько люди чувствуют себя мотивированными и активно участвующими в достижении целей, а также насколько они принимают ценности своей организации. Более высокий уровень вовлеченности сотрудников приводит к повышению производительности, эффективности и увеличению инноваций. Более низкий уровень вовлеченности сотрудников может привести к плохой мотивации, более низкому качеству работы и более высокой текучести кадров.

Существуют различные методы измерения вовлеченности сотрудников, и каждая организация должна определить, какой вариант подходит для нее. Одни организации используют ежегодный опрос сотрудников. Другие применяют Индекс Лояльности Сотрудников (Net Promoter Score, eNPS), задавая вопрос: «Насколько вероятно, что вы порекомендуете другим своего работодателя в качестве места работы?», и далее ранжируя ответы по 10-балльной шкале. Какой бы подход ни был выбран, полученные данные должны служить основой для инициатив по повышению уровня вовлеченности сотрудников.

Цели Итерации и Цели Инкремента Программы

Локальные метрики, такие как Цели Итерации и Цели Инкремента Программы, эффективно используются командами и поездами для измерения того, достигают ли они своих результатов. Эти показатели гарантируют, что усилия сосредоточены на потребностях клиента и бизнеса, обеспечивают обратную связь о прогрессе в достижении бизнес-результатов, информируют о процессе расстановки приоритетов и облегчают приемку работ.

Определение эффективных метрик результатов требует тесного сотрудничества между поездами, потоками создания ценности, портфелями и бизнес партнерами, которые могут наилучшим образом определить бизнес-преимущества, которые должны быть получены в результате инвестиций в решения.

Обращаю внимание, что использование формата OKR в целях Итерации или в Результатах (Целях) Инкремента Программы не рекомендуется фреймворком. Такое использование OKR будет излишне усложнять формулирование, использование, отслеживание и оценку достижений. Кроме того, поскольку в SAFe уже применяется система каскада OKR на уровнях Стратегическая Тема – Поток Ценности – Поезд (ART), существует набор Дорожных Карт и три типа вех, попытка использовать дополнительные Ключевые Результаты вызовет дублирование и путаницу. Оставляйте Цели Итерации и Результаты (Цели) Инкремента Программы максимально простыми и краткими – это будет способствовать повышению бизнес-гибкости, обеспечивать возможность концентрироваться на результате и децентрализации системы управления!

Алексей Ионов, Executive Lean-Agile коуч, Ионов и Партнеры

Измерение Потока

Поток — это измерение того, насколько эффективна организация в доставке ценности.

Во фреймворке потока (Flow Framework), созданном Миком Керстеном, есть пять метрик, которые можно использовать для измерения различных аспектов потока. Поскольку SAFe является системой, основанной на потоке, каждая из этих метрик применяется и в SAFe.

Помимо этого, SAFe добавляет еще одну метрику — Предсказуемость Потока — для измерения того, как Команды и Релизные Поезда Agile (Agile Release Train) и Поезда Решения (Solution Train) осуществляют доставку относительно запланированных целей.

Таким образом, мы имеем шесть метрик потока, показанные и описанные на рисунке 6 ниже.

Рисунок 6. Шесть метрик потока в SAFe

1. Метрика — Распределение потока

Что измеряет метрика? Распределение потока измеряет объем каждого типа работ в системе с течением времени. Может включать в себя измерение распределения работы между новыми бизнес-Фичами (или Историями, Капабилити, Эпиками), Энейблерами, а также работ по устранению дефектов и снижению рисков.

Как измеряется метрика? Можно сделать простое сравнение, подсчитав количество в штуках элементов работ для каждого типа в заданный момент времени или подсчитав размер каждого типа элементов работ в сторипоинтах. Agile команды могут использовать измерение распределения потока по итерациям, но обычно для этого вычисления используются границы Инкремента Программы на уровне Agile Release Train и выше, как показано на рисунке 7.

Почему это важно? Чтобы сбалансировать как текущую, так и будущую скорость (пропускную способность), важно иметь возможность отслеживать объём движущихся через систему работ для каждого типа. Слишком большой фокус на новых бизнес-фичах оставит мало ёмкости для работы с архитектурой / инфраструктурой, которая решает вопросы технического долга и способствует созданию ценности в будущем. И наоборот, слишком много инвестиций в технический долг может привести к тому, что будет недостаточно возможностей для доставки новой и текущей ценности клиентам. Поэтому целевое распределение ёмкости для каждого типа работ может помочь сбалансировать эти проблемы.

Эта метрика, выраженная в суммах и сгруппированная по Решениям портфеля, позволит увидеть распределение финансирования по инвестиционным горизонтам. На основе полученной информации можно регулярно пере- балансировать портфель на уровне инвестиций в отдельные решения, что в свою очередь обеспечит как краткосрочное, так и долгосрочное здоровье бизнеса организации.

Рисунок 7. Пример распределения потока Поезда во времени

2. Метрика — Пропускная способность (скорость) потока

Что измеряет метрика? Скорость потока измеряет количество элементов беклога (истории, фичи, капабилити, эпики), которые выполнены в заданный период времени; это также называется пропускной способностью системы. (Рисунок 8).

Как измеряется метрика? Как и в случае с распределением потока, простейшим способом измерения скорости является подсчет количества рабочих элементов, выполненных за период времени, такой как Итерация или Инкремент Программы. Этими элементами могут быть истории, фичи, капабилити или даже эпики. Однако, поскольку рабочие элементы не все имеют одинаковый размер, более распространенным способом измерения является подсчет общего количества сторипоинтов выполненных элементов работы за период времени.

Почему это важно? При прочих равных условиях более высокая пропускная способность подразумевает более высокую производительность и является хорошим индикатором того, что улучшения процесса применяются для выявления и устранения задержек в системе. Однако пропускная способность системы не будет увеличиваться бесконечно, и со временем важное значение будет играть стабильность системы. Значительное снижение пропускной способности подчеркивает проблемы, которые требуют изучения.

Рисунок 8. Пример пропускной способности потока команды в сторипоинтах на итерацию

3. Метрика — Время потока

Что измеряет метрика? Время потока измеряет общее время, затраченное на все шаги рабочего процесса, и, следовательно, является показателем эффективности всей системы. Время потока обычно измеряется от идеи до производства, но также может быть полезно измерить время потока для определенных частей рабочего процесса, таких как фиксация кода для развертывания, чтобы определить возможности для улучшения.

Как измеряется метрика? Время потока обычно измеряется с учетом среднего показателя времени, необходимого для завершения определенного типа элемента работы (истории, фичи, капабилити, эпики). Гистограмма является полезной визуализацией времени потока (рисунок 9), поскольку она помогает выявить резко отклоняющиеся значения, на которые необходимо обратить особое внимание, помимо поиска возможностей для сокращения общего среднего времени потока.

Почему это важно? Время потока гарантирует, что организации и команды сосредоточатся на том, что важно — на доставке ценности бизнесу и клиенту в кратчайшие сроки. Чем короче время потока, тем меньше времени наши клиенты тратят на ожидание нового функционала (фич) и тем ниже стоимость задержки для организации.

Рисунок 9. Пример диаграммы времени потока для фич

4. Метрика — Загрузка потока

Что измеряет метрика? Загрузка потока показывает, сколько элементов в настоящее время находится в системе. Важно поддерживать ограниченное количество корректно подготовленных активных элементов в работе (ограничение незавершенной работы НЗР/WIP), чтобы поток элементов быстро проходил через систему (принцип SAFe №6).

Как измеряется метрика? Кумулятивная Диаграмма Потока (Cumulative FlowDiagram, CFD) является одним из распространенных инструментов, который используется для эффективной визуализации загрузки потока с течением времени (рисунок 10). Диаграмма показывает количество работ в данном состоянии, скорость, с которой элементы принимаются в рабочую очередь (кривая поступления), и скорость, с которой они выполняются (кривая выхода результатов). Загрузка потока (НЗР/WIP) в заданной точке во времени – это расстояние между кривыми в этой точке по вертикали.

Почему это важно? Увеличение нагрузки на поток является опережающим индикатором избыточного количества незавершенной работы. Вероятным результатом будет увеличение времени в будущих потоках по мере того, как в системе начнут накапливаться очереди. По этой причине измерение и снижение загрузки на поток является критически важным. Кроме того, на диаграмме легко увидеть, как более частая доставка снижает нагрузку на поток, одновременно улучшая время и скорость потока.

Рисунок 10. Визуализация загрузки потока с помощью кумулятивной диаграммы потока

5. Метрика — Эффективность потока

Что измеряет метрика? Эффективность потока измеряет, сколько от общего времени потока тратится на действия по добавлению ценности по сравнению с ожиданием между шагами.

Как измеряется метрика? Чтобы правильно измерить эффективность потока, команды, поезда и потоки создания ценности должны четко понимать, что такое поток в их случае и через какие шаги он проходит. Это понимание достигается с помощью Картографии Потока Ценности (Value Stream Mapping, VSM) – процесса определения шагов рабочего процесса и задержек в системе, как показано на рисунке 11. (Курс SAFe DevOps содержит исчерпывающие рекомендации по выполнению Value Stream Mapping). После того, как шаги были нанесены на карту, эффективность потока рассчитывается путем деления общего активного времени на общее время потока и выражается в процентах, как показано на рисунке 11.

Почему это важно? В типичной системе, которая еще не оптимизирована, эффективность потока может быть чрезвычайно низкой. Низкая эффективность потока показывает большое количество потерь в системе, а также узкие места и задержки, которые необходимо устранить. И наоборот, чем выше эффективность потока, тем лучше система способна быстро доставлять ценность.

Рисунок 11. Эффективность потока — это отношение общего активного времени к общему времени потока

6. Метрика — Предсказуемость потока

Что измеряет метрика? Предсказуемость потока измеряет, насколько хорошо Команды, Релизные Поезда (Agile Release Train) и Поезда Решения (Solution Train) способны планировать и достигать своих целей в рамках Инкремента Программы.

Как измеряется метрика? Предсказуемость потока измеряется с помощью Меры Предсказуемости Программы SAFe (SAFe Program Predictability Measure, PPM), Рисунок 12. PPM показывает отношение запланированной бизнес ценности к фактической бизнес-ценности, доставленной в рамках Инкремента Программы. 

Почему это важно? Низкая или неуправляемая предсказуемость делает обязательства по доставке нереалистичными и часто подчеркивает проблемы в области технологий, планирования или производительности организации, которые необходимо решить. Поезда должны стабильно работать в диапазоне 80 – 100 процентов; это позволяет бизнесу и его заинтересованным сторонам эффективно планировать.

Рисунок 12. Показатель предсказуемости Программы

Использование DORA метрик

Иногда бывает полезно объединить несколько дополняющих друг друга метрик. Результатом такого объединения может быть визуализация определенного взгляда на производительность. Хорошим примером такого объединения могут служить метрики DORA, которые используются для измерения производительности DevOps в организации [3]. Существует четыре метрики DORA: 1) частота развертывания (deployment frequency), 2) время внесения изменений (lead time for changes), 3) время восстановления службы (time to restore service) и 4) частота сбоев от изменений (change failure rate).

Перечисленные метрики представляют собой варианты использования метрик потока SAFe. Частота развертывания является метрикой производительности и показывает скорость потока. Вместо историй, завершенных за итерацию, она фиксирует количество развертываний за заданный период времени. Показатели «время внесения изменений» и «время восстановления службы» являются примерами метрик времени потока, в которых основное внимание уделяется конкретным шагам потока работ.

Наконец, частота сбоев от изменений представляет собой процент изменений, требующих дополнительного исправления после их ввода в эксплуатацию. Другими словами, это ответ на вопрос «как часто работа, переходя на шаг «развертывание», содержит ошибки?» Когда для измерения эффективности потока разработки проводится Картирование Потока, эта величина отражается как «процент качественно выполненной» (%C&A) работы каждого шага. «%C&A» – это процент работы, который можно обработать без необходимости переработки на следующем шаге потока работ. Высокая частота сбоев от изменений существенно снижает эффективность потока.

Измерение компетентности

Достижение гибкости бизнеса требует значительной степени экспертизы по семи основным компетенциям SAFe. Каждая компетенция ценна сама по себе, но все они взаимозависимы. Настоящая гибкость бизнеса появляется только тогда, когда предприятие достигает значительного уровня мастерства во всех компетенциях.

Измерение уровня организационной компетентности осуществляется с помощью двух отдельных механизмов оценки, предназначенных для сильно отличающихся аудиторий, и служит разным целям. Оценка гибкости (всего) бизнеса SAFe предназначена для ключевых заинтересованных лих в бизнесе и портфеле для оценки их общего прогресса в достижении конечной цели истинно гибкого бизнеса, как показано на рисунке 13.

Рисунок 13. SAFe Оценка Бизнес Гибкости

Оценка компетенций SAFe по отдельности используется, чтобы помочь командам и поездам улучшить технические и бизнес-практики, необходимые им для достижения этой более широкой цели. Каждая из семи основных компетенций SAFe может быть оценена отдельно. В качестве примера на рисунке 14. показана оценка компетенции «Командная и Техническая Гибкость».

Рисунок 14. Отчет из оценки компетенции «Командная и Техническая гибкость»

Все оценки проводятся по единой схеме, за которой следует анализ результатов, формирование действий и празднование успехов. Дополнительно можно сделать сравнительный анализ относительно конкурентов с помощью онлайн-инструментов оценки, доступных для членов сообщества SAFe. 

Четыре критических фактора успеха для эффективного измерения

Измерение эффективности организации является одной из наиболее чувствительных областей в каждом бизнесе, часто подверженной политике и различным дисфункциям. Кроме того, поскольку измерение неизбежно включает в себя интерпретацию данных, оно подвергается когнитивной предвзятости, проблемам коммуникации и отсутствию согласованности. Все это приводит к существенной опасности в любой системе измерений: если их не внедрить должным образом, некоторые измерения могут принести больше вреда, чем пользы. Следующие факторы успеха помогут направить предприятие к более эффективным измерениям и, что более важно, к лучшим бизнес-результатам.

1. Использование измерений в сочетании с другими инструментами исследования данных

Любая система измерений, как бы хорошо она ни была спроектирована, обеспечивает лишь частичную картину реальности. Простое добавление дополнительных метрик не сильно улучшает понимание ситуации или наглядность. За каждым числом стоит своя история, и эта история часто содержит более важную информацию, чем может передать само число.

Мощным инструментом, который можно использовать в сочетании с измерением, является прямое наблюдение (Gemba) — наблюдение за фактической средой, в которой создается ценность и где она «встречается» с клиентом. Формальные измерения и неофициальные наблюдения усиливают друг друга. Но при использовании в изоляции от всего остального «управление только цифрами» может привести к плохим результатам и еще худшему моральному духу.

2. Применяйте метрики, когда они помогают улучшить принятие решений

Распространенной ловушкой, в которую можно попасть, применяя метрики, является чрезмерное измерение из-за страха «мало измерить». Хотя многие метрики могут быть автоматизированы, по мере увеличения количества метрик и частоты измерений будут также увеличиваться усилия, необходимые для сбора и анализа данных.

При рассмотрении вопроса о том, включать ли дополнительную метрику в вашу систему измерений, разумно задать вопрос: «Для каких решений эта метрика поможет дать данные, которые сегодня не поддерживаются нашими существующими метриками?» Если новая метрика помогает лучше принимать решения, то она должна быть кандидатом на включение, если нет, то откажитесь от нее!

Еще один уточняющий вопрос, который следует рассмотреть: «Нужно ли нам измерять это прямо сейчас?» Этот вопрос признает тот факт, что метрики, которые мы используем, будут и должны меняться с течением времени, поскольку решения, которые нам необходимо принимать, меняются на протяжении всего процесса разработки.

3. Понимание влияния метрик на поведение

В позитивной культуре интеллектуальные работники (knowledge workers) имеют высокую внутреннюю мотивацию и разрабатывают лучшие решения. Внутренняя мотивация является результатом работы ради предназначения (достижения цели), заинтересованности в совершенствовании мастерства и наличия автономии. Однако, когда слишком большое внимание уделяется конкретной числовой метрике, напрямую связанной с вознаграждением или возможностями карьерного роста, фактической целью становится достижение этой метрики, а не создание эффективных клиентских решений.

Кроме того, давление с целью достижения успеха часто приводит к неправильному использованию метрик. Например, в процессе доставки ценности Поезд становится «узким горлышком», сроки доставки решения не выполняются. Показатель эффективности потока может быть использован для возложения вины на этот конкретный поезд вместо того, чтобы использовать эту информацию для выявления системных проблем, которые необходимо решить. Возможно, основной причиной была нехватка ресурсов или изменение приоритетов, которые находились вне контроля ART.

В каждом случае основные ценности SAFe, требующие прозрачность и согласованность/выравнивание, должны служить основой для правильной и эффективной системы измерений наряду с созданием среды, в которой «факты всегда дружелюбны».

4. Тщательно анализируйте метрики. Просто сбора конкретных показателей недостаточно.

Недостаточно просто собрать определенные показатели. Если интерпретировать данные без должного понимания, показатель может вводить в заблуждение. Например, при измерении времени потока рабочие элементы должны быть актуальными, ценными фичами (или историями и т. д.), которые приносят пользу бизнесу; в противном случае поезд может формально сообщать об улучшениях в потоке, но сталкиваться с проблемами при выпуске реальной ценности.

Статья является неофициальным переводом информации о метриках на сайте Scaled Agile, Inc..