Метрики в SAFe®

4 февраля 2022

«Самое замечательное в решениях, основанных на фактах, заключается в том, что они отменяют иерархию.» — Джефф Безос 

Метрики — это согласованные показатели, используемые для оценки того, насколько хорошо организация продвигается к реализации портфеля, крупного решения, а также к выполнению бизнес и технических целей Agile команд и Релизных Поездов Agile (Agile Release Train).

Business agility устанавливает новые стандарты производительности для организаций, требуя быстрого и эффективного реагирования на возникающие возможности для бизнеса. Однако для повышения скорости и гибкости лидерам, командам и бизнес стейкхолдерам нужен надежный способ измерения текущего состояния и определения того, что они могут сделать для улучшения.

Таким образом, выбор того, что и как измерять, является критически важным фактором для непрерывного повышения эффективности бизнеса. В этой статье описывается комплексный подход, который можно использовать для измерения производительности и эффективности портфеля SAFe или любого из его элементов.

Детали

Когда дело доходит до метрик, первое и самое главное — нужно понять, что мы измеряемЦель создания бизнес гибкости в организации ясна: быстро реагировать на изменения рынка и возникающие возможности с помощью инновационных бизнес-решений с использованием цифровых технологий. Поток ценности «Обеспечение Business Agility», показанный на рисунке 1, визуализирует шаги, необходимые для достижения этой цели.

Три области измерения SAFe (Результаты, Поток и Компетентность) поддерживают этот процесс напрямую и создают всестороннюю, но при этом простую модель для измерения прогресса в достижении этой цели. Идеи, предоставляемые этими тремя доменами измерений, способствуют лучшему принятию решений и помогают выявлять возможности для улучшения.

Три домена измерений SAFe поддерживают цель обеспечения гибкости бизнеса
Рисунок 1. Три домена измерений SAFe поддерживают цель обеспечения гибкости бизнеса

 

Три области измерения определяются следующим образом:

  • Результаты: Отвечают ли наши решения потребностям наших клиентов и бизнеса?
  • Поток: Насколько эффективна наша организация в доставке ценности для клиента?
  • Компетентность: Насколько зрелой является организация в применении практик, обеспечивающих гибкость бизнеса?

Все три области измерений применимы на каждом уровне организации. Как показано на рисунке 2, их можно использовать для измерения производительности и эффективности в рамках Портфеля SAFe, Поезда Решения (Solution Train), Релизного Поезда (Agile Release Train) или даже одной Agile Команды.

Три области измерения применимы на всех уровнях SAFe Организации
Рисунок 2. Три области измерения применимы на всех уровнях SAFe Организации

 

У каждой из областей измерений есть свои конкретные метрики, которые описаны в разделах ниже.

Измерение Результатов

Результаты помогают организации определить, приносят ли усилия по разработке решений желаемую выгоду для бизнеса. Можно измерить результаты на основе «откликов» на них извне, таких как увеличение дохода, удержание клиентов и т. д., а также по «внутренним откликам», исследуя, например, вовлеченность сотрудников.

Портфель SAFe измеряет результаты в первую очередь путем определения ключевых показателей эффективности (KPI). Каждый KPI является четким и поддается количественной оценке конкретных бизнес-результатов для потока (или потоков) создания ценности в этом портфеле.

Показатели результатов такого рода, как правило, зависят от контекста и в значительной степени зависят от организации, бизнес-модели и характера решений, доставляемых клиенту. Например, коэффициент конверсии клиентов может быть важной метрикой для организаций электронной коммерции, но будет неприменим к производителю микрочипов. Однако некоторые индикаторы могут быть успешно применены в разных контекстах, например, Индекс Лояльности Клиентов (Net Promoter Score, NPS).

Примеры KPI приведены на рисунке 3.

В зависимости от типа поддерживаемого операционного потока ценности используются разные KPI
Рисунок 3. В зависимости от типа поддерживаемого операционного потока ценности используются разные KPI

 

Помимо KPI для потока ценности, командами и поездами также должны эффективно использоваться локальные метрики результатов, такие как достижение целей Итерации и Инкремента ПрограммыОни гарантируют, что усилия сосредоточены на потребностях клиента и бизнеса, обеспечивают обратную связь о прогрессе в достижении бизнес-результатов, информируют о процессе расстановки приоритетов и облегчают приемку работ.

Определение эффективных метрик результатов требует тесного сотрудничества между поездами, потоками создания ценности, портфелями и бизнес партнерами, которые могут наилучшим образом определить бизнес-преимущества, которые должны быть получены в результате инвестиций в решения.

Измерение Потока

Поток — это измерение того, насколько эффективна организация в доставке ценности.

Во фреймворке потока (Flow Framework), созданном Миком Керстеном, есть пять метрик, которые можно использовать для измерения различных аспектов потока. Поскольку SAFe является системой, основанной на потоке, каждая из этих метрик применяется и в SAFe.

Помимо этого, SAFe добавляет еще одну метрику — Предсказуемость Потока — для измерения того, как Команды и Релизные Поезда Agile (Agile Release Train) и Поезда Решения (Solution Train) осуществляют доставку относительно запланированных целей.

Таким образом, мы имеем шесть метрик потока, показанные и описанные на рисунке 4 ниже.

Шесть метрик потока в SAFe
Рисунок 4. Шесть метрик потока в SAFe

1. Метрика — Распределение потока

Что измеряет метрика? Распределение потока измеряет объем каждого типа работ в системе с течением времени. Может включать в себя измерение распределения работы между новыми бизнес-Фичами (или Историями, Капабилити, Эпиками), Энейблерами, а также работ по устранению дефектов и снижению рисков.

Как измеряется метрика? Можно сделать простое сравнение, подсчитав количество в штуках элементов работ для каждого типа в заданный момент времени или подсчитав размер каждого типа элементов работ в сторипоинтах. Agile команды могут использовать измерение распределения потока по итерациям, но обычно для этого вычисления используются границы Инкремента Программы на уровне Agile Release Train и выше, как показано на рисунке 5.

Почему это важно? Чтобы сбалансировать как текущую, так и будущую скорость (пропускную способность), важно иметь возможность отслеживать объём движущихся через систему работ для каждого типа. Слишком большой фокус на новых бизнес-фичах оставит мало ёмкости для работы с архитектурой / инфраструктурой, которая решает вопросы технического долга и способствует созданию ценности в будущем. И наоборот, слишком много инвестиций в технический долг может привести к тому, что будет недостаточно возможностей для доставки новой и текущей ценности клиентам. Поэтому целевое распределение ёмкости для каждого типа работ может помочь сбалансировать эти проблемы.

Распределение потока во времени
Рисунок 5. Распределение потока во времени

2. Метрика — Пропускная способность (скорость) потока

Что измеряет метрика? Скорость потока измеряет количество элементов беклога (истории, фичи, капабилити, эпики), которые выполнены в заданный период времени; это также называется пропускной способностью системы. (Рисунок 6).

Как измеряется метрика? Как и в случае с распределением потока, простейшим способом измерения скорости является подсчет количества рабочих элементов, выполненных за период времени, такой как Итерация или Инкремент Программы. Этими элементами могут быть истории, фичи, капабилити или даже эпики. Однако, поскольку рабочие элементы не все имеют одинаковый размер, более распространенным способом измерения является подсчет общего количества сторипоинтов выполненных элементов работы за период времени.

Почему это важно? При прочих равных условиях более высокая пропускная способность подразумевает более высокую производительность и является хорошим индикатором того, что улучшения процесса применяются для выявления и устранения задержек в системе. Однако пропускная способность системы не будет увеличиваться бесконечно, и со временем важное значение будет играть стабильность системы. Значительное снижение пропускной способности подчеркивает проблемы, которые требуют изучения.

Пример пропускной способности потока Agile-команды в сторипоинтах на итерацию
Рисунок 6. Пример пропускной способности потока Agile-команды в сторипоинтах на итерацию

3. Метрика — Время потока

Что измеряет метрика? Время потока измеряет общее время, затраченное на все шаги рабочего процесса, и, следовательно, является показателем эффективности всей системы. Время потока обычно измеряется от идеи до производства, но также может быть полезно измерить время потока для определенных частей рабочего процесса, таких как фиксация кода для развертывания, чтобы определить возможности для улучшения.

Как измеряется метрика? Время потока обычно измеряется с учетом среднего показателя времени, необходимого для завершения определенного типа элемента работы (истории, фичи, капабилити, эпики). Гистограмма является полезной визуализацией времени потока (рисунок 7), поскольку она помогает выявить резко отклоняющиеся значения, на которые необходимо обратить особое внимание, помимо поиска возможностей для сокращения общего среднего времени потока.

Почему это важно? Время потока гарантирует, что организации и команды сосредоточатся на том, что важно — на доставке ценности бизнесу и клиенту в кратчайшие сроки. Чем короче время потока, тем меньше времени наши клиенты тратят на ожидание нового функционала (фич) и тем ниже стоимость задержки для организации.

Измерение времени потока фич с помощью гистограммы
Рисунок 7. Измерение времени потока фич с помощью гистограммы

4. Метрика — Загрузка потока

Что измеряет метрика? Загрузка потока показывает, сколько элементов в настоящее время находится в системе. Поддержание работоспособного, ограниченного количества активных элементов (ограничение незавершенной работы НЗР/WIP) имеет решающее значение для обеспечения быстрого прохождения потока элементов через систему.

Как измеряется метрика? Кумулятивная Диаграмма Потока (Cumulative FlowDiagram, CFD) является одним из распространенных инструментов, который используется для эффективной визуализации загрузки потока с течением времени (рисунок 8). Диаграмма показывает количество работ в данном состоянии, скорость, с которой элементы принимаются в рабочую очередь (кривая поступления), и скорость, с которой они выполняются (кривая выхода результатов). Загрузка потока (НЗР/WIP) в заданной точке во времени – это расстояние между кривыми в этой точке по вертикали.

Почему это важно? Увеличение нагрузки на поток является опережающим индикатором избыточного количества незавершенной работы. Вероятным результатом будет увеличение времени в будущих потоках по мере того, как в системе начнут накапливаться очереди. По этой причине измерение и снижение загрузки на поток является критически важным. Кроме того, на диаграмме легко увидеть, как более частая доставка снижает нагрузку на поток, одновременно улучшая время и скорость потока.

Визуализация загрузки потока с помощью кумулятивной диаграммы потока
Рисунок 8. Визуализация загрузки потока с помощью кумулятивной диаграммы потока

5. Метрика — Эффективность потока

Что измеряет метрика? Эффективность потока измеряет, сколько от общего времени потока тратится на действия по добавлению ценности по сравнению с ожиданием между шагами.

Как измеряется метрика? Чтобы правильно измерить эффективность потока, команды, поезда и потоки создания ценности должны четко понимать, что такое поток в их случае и через какие шаги он проходит. Это понимание достигается с помощью Картографии Потока Ценности (Value Stream Mapping, VSM) – процесса определения шагов рабочего процесса и задержек в системе, как показано на рисунке 6. (Дополнительную информацию о Value Stream Mapping читайте в статье Continuous Delivery Pipeline на сайте вендораКроме того, курс SAFe DevOps содержит исчерпывающие рекомендации по выполнению Value Stream Mapping). После того, как шаги были нанесены на карту, эффективность потока рассчитывается путем деления общего активного времени на общее время потока и выражается в процентах, как показано на рисунке 9.

Почему это важно? В типичной системе, которая еще не оптимизирована, эффективность потока может быть чрезвычайно низкой. Низкая эффективность потока показывает большое количество потерь в системе, а также узкие места и задержки, которые необходимо устранить. И наоборот, чем выше эффективность потока, тем лучше система способна быстро доставлять ценность.

Эффективность потока - это отношение общего активного времени к общему времени потока
Рисунок 9. Эффективность потока — это отношение общего активного времени к общему времени потока

6. Метрика — Предсказуемость потока

Что измеряет метрика? Предсказуемость потока измеряет, насколько хорошо Команды, Релизные Поезда (Agile Release Train) и Поезда Решения (Solution Train) способны планировать и достигать своих целей в рамках Инкремента Программы.

Как измеряется метрика? Предсказуемость потока измеряется с помощью Меры Предсказуемости Программы SAFe (SAFe Program Predictability Measure, PPM), Рисунок 10. PPM показывает отношение запланированной бизнес ценности к фактической бизнес-ценности, доставленной в рамках Инкремента Программы. Дополнительную информацию о вычислении этой важной метрики читайте в статье Inspect & Adapt на сайте вендора.

Почему это важно? Низкая или неуправляемая предсказуемость делает обязательства по доставке нереалистичными и часто подчеркивает проблемы в области технологий, планирования или производительности организации, которые необходимо решить. Поезда должны стабильно работать в диапазоне 80 – 100 процентов; это позволяет бизнесу и его заинтересованным сторонам эффективно планировать.

Показатель предсказуемости программы
Рисунок 10. Показатель предсказуемости Программы

Измерение компетентности

Достижение гибкости бизнеса требует значительной степени экспертизы по семи основным компетенциям SAFe. Каждая компетенция ценна сама по себе, но все они взаимозависимы. Настоящая гибкость бизнеса появляется только тогда, когда предприятие достигает значительного уровня мастерства во всех компетенциях.

Измерение уровня организационной компетентности осуществляется с помощью двух отдельных механизмов оценки, предназначенных для сильно отличающихся аудиторий и служит разным целям. Оценка гибкости (всего) бизнеса SAFe предназначена для ключевых заинтересованных лих в бизнесе и портфеле для оценки их общего прогресса в достижении конечной цели истинно гибкого бизнеса, как показано на рисунке 11.

 

Business Agility Assessment
Рисунок 11. Оценка business agility организации

 

Оценка компетенций SAFe по отдельности используется, чтобы помочь командам и поездам улучшить технические и бизнес-практики, необходимые им для достижения этой более широкой цели. Каждая из семи основных компетенций SAFe может быть оценена отдельно. В качестве примера на рисунке 12. показана оценка компетенции «Командная и Техническая Гибкость».

Отчет из оценки компетенции «Командная и Техническая гибкость»
Рисунок 12. Отчет из оценки компетенции «Командная и Техническая гибкость»

 

Все оценки проводятся по единой схеме, за которой следует анализ результатов, формирование действий и празднование успехов. В дополнение, можно сделать сравнительный анализ относительно конкурентов с помощью онлайн-инструментов оценки, доступных для членов сообщества SAFe. Дополнительную информацию и доступ к оценкам можно найти в статье Measure & Grow на сайте вендора.

Четыре критических фактора успеха для эффективного измерения

Измерение эффективности организации является одной из наиболее чувствительных областей в каждом бизнесе, часто подверженной политике и различным дисфункциям. Кроме того, поскольку измерение неизбежно включает в себя интерпретацию данных, оно подвергается когнитивной предвзятости, проблемам коммуникации и отсутствию согласованности. Все это приводит к существенной опасности в любой системе измерений: если их не внедрить должным образом, некоторые измерения могут принести больше вреда, чем пользы. Следующие факторы успеха помогут направить предприятие к более эффективным измерениям и, что более важно, к лучшим бизнес-результатам.

1. Использование измерений в сочетании с другими инструментами исследования данных

 Любая система измерений, как бы хорошо она ни была спроектирована, обеспечивает лишь частичную картину реальности. Простое добавление дополнительных метрик не сильно улучшает понимание ситуации или наглядность. За каждым числом стоит своя история, и эта история часто содержит более важную информацию, чем может передать само число.

Мощным инструментом, который можно использовать в сочетании с измерением, является прямое наблюдение (Gemba) — наблюдение за фактической средой, в которой создается ценность и где она «встречается» с клиентом. Формальные измерения и неофициальные наблюдения усиливают друг друга. Но при использовании в изоляции от всего остального «управление только цифрами» может привести к плохим результатам и еще худшему моральному духу.

2. Применяйте метрики, когда они помогают улучшить принятие решений

Распространенной ловушкой, в которую можно попасть, применяя метрики, является чрезмерное измерение из-за страха «мало измерить». Хотя многие метрики могут быть автоматизированы, по мере увеличения количества метрик и частоты измерений будут также увеличиваться усилия, необходимые для сбора и анализа данных.

При рассмотрении вопроса о том, включать ли дополнительную метрику в вашу систему измерений, разумно задать вопрос: «Для каких решений эта метрика поможет дать данные, которые сегодня не поддерживаются нашими существующими метриками?» Если новая метрика помогает лучше принимать решения, то она должна быть кандидатом на включение, если нет, то откажитесь от нее!

Еще один уточняющий вопрос, который следует рассмотреть: «Нужно ли нам измерять это прямо сейчас?» Этот вопрос признает тот факт, что метрики, которые мы используем, будут и должны меняться с течением времени, поскольку решения, которые нам необходимо принимать, меняются на протяжении всего процесса разработки.

3. Понимание влияния метрик на поведение

 В позитивной культуре интеллектуальные работники (knowledge workers) руководствуются внутренней мотивацией предлагать лучшие решения и работать ради предназначения (достижения цели), совершенствуя мастерство и обладая автономией. Однако, когда слишком большое внимание уделяется конкретному числовому показателю и когда этот показатель напрямую связан с вознаграждением или возможностями карьерного роста, достижение именно этого числа, а не создание эффективных решений становится фактической целью. Кроме того, давление с целью достижения успеха часто приводит к неправильному использованию метрик.

Например, показатель эффективности потока может быть использован для возложения вины за пропущенную дату доставки на конкретный поезд (Agile Release Train), который стал узким местом, вместо того, чтобы использовать эту информацию для выявления системных проблем, которые необходимо решить. Возможно, основной причиной была нехватка ресурсов или изменение приоритетов, которые находились вне контроля ART. В каждом случае основные ценности SAFe, требующие прозрачность и согласованность/выравнивание, должны обеспечивать основу для правильной и эффективной системы измерений наряду с созданием среды, в которой «факты всегда дружелюбны».

4. Тщательно анализируйте метрики. Просто сбора конкретных показателей недостаточно.

 Если интерпретировать данные без должного понимания, показатель может вводить в заблуждение. Например, при измерении времени потока рабочие элементы должны быть актуальными, ценными фичами (или историями и т. д.), которые приносят пользу бизнесу; в противном случае поезд может формально сообщать об улучшениях в потоке, но сталкиваться с проблемами при выпуске реальной ценности.

Статья является неофициальным переводом информации о метриках на сайте Scaled Agile, Inc.