Как построить систему управления модельным риском


I. Зачем управлять модельным риском?

Модель – это количественный метод или система, которая с помощью статистических, экономических, финансовых или математических методов преобразует входные данные в количественные оценки, используемые для принятия решений или реализации иных управленческих задач. Сфера применения моделей постоянно растет ввиду расширения области применения цифровых технологий. Согласно данным исследования, проведенного MarketsandMarkets, объем рынка MLOps-систем вырастет с 1,1 млрд. долларов США в 2022 году до 5,9 млрд. долларов США к 2027 году при среднегодовом темпе роста 41,0% в течение прогнозируемого периода2. Возрастает сложность используемых методов и алгоритмов, что существенным образом увеличивает вероятность модельного риска и, соответственно, вынуждает организации заниматься построением зрелых практик управления модельным риском.

Модельный риск – это риск процессов, связанных с разработкой, внедрением и применением моделей. Источниками модельного риска могут быть:

1) Персонал: ошибки и неверные допущения при разработке модели, неконтролируемое изменение данных, внесение искажений.

2) Недостатки организации процесса: неполнота, недостаточность или низкое качество используемых данных, неактуальные подходы, необоснованное расширение сферы применения модели, несоответствие модели бизнес-задачам, ошибочная интерпретация результатов, отсутствие четких критериев валидации, калибровки, бэктестинга и т.д.

3) Сбои и недостатки информационных систем, применяемых на любом этапе жизненного цикла модели.

4) Внешние обстоятельства: например, низкое качество внешних данных.

В России практики управления модельным риском находятся в стадии становления. Существует ряд законодательных актов Банка России, которые регулируют данный вопрос для банков и устанавливают общие требования к процедурам управления модельным риском. Включение его в периметр регулирования отвечает вызовам, связанным с расширением сферы применения информационных технологий.

Международные подходы и рекомендации по управлению модельным риском также основаны на опыте реализации модельного риска в финансовых институтах. Перечень ключевых нормативных документов по управлению модельным риском приведен ниже:

Регулирование в РФ

Международные подходы

Построение системы модельного риск-менеджмента имеет следующие цели:

Построение системы модельного риск-менеджмента – сложный процесс, требующий трудозатрат и денежных затрат, а также масштабной трансформации внутренних процессов. Важность задачи управления модельным риском зачастую недооценивают ввиду следующих причин:

1) Отсутствие в организации стандартов моделирования, понимания и желания разобраться, что именно является моделью. Распространенным заблуждением является признание моделью только

полностью автоматических моделей, либо исключительно моделей количественной оценки рисков.

2) Отсутствие в России устоявшихся практик управления и регулирования в отношении модельного риска. Даже для кредитных организаций Банком России устанавливаются только общие правила, нет четких требований и ожиданий регулятора, каким именно образом должна быть выстроена система управления модельным риском.

3) Техническое и методологическое разнообразие применяемых моделей, разные разработчики и группы пользователей моделей (например, каждое подразделение самостоятельно разрабатывает модели), и как следствие, сложность централизации данного процесса. Основные этапы жизненного цикла моделей находятся в разных системах, что также усложняет внедрение, валидацию, мониторинг моделей, и понимание общей картины модельного ландшафта.

4) Незрелость систем управления нефинансовыми рисками. Предлагаемые теоретические подходы не всегда удается перевести в практическую плоскость.

5) Недостаточно высокий уровень риск-культуры. Риск-ориентированный менеджмент зачастую вводится формально и воспринимается как инструмент обеспечения регуляторного соответствия, а не как инструмент эффективного корпоративного управления, который помогает организации снизить объем потерь и повысить качество внутренних процессов.

6) Недостаточность исторических данных о событиях модельного риска. Как правило, их выявляет подразделение валидации. При отсутствии налаженной функции валидации в организации такие события трудно идентифицировать.

Рассмотрим вопрос построения системы модельного риск-менеджмента на примере банковского сектора. Именно в банках область применения моделей и, как следствие, подверженность модельному риску достаточно широка. В банках применяются:

Зачастую банки не признают и не считают нужным управлять модельным риском, потому что у них отсутствует понимание, сколько они теряют вследствие ошибок и недостатков работы моделей, так как подобная оценка никогда не проводилась.

Если отсутствует независимая валидация, процедура мониторинга моделей и контроль за их жизненным циклом, а также не оценивается влияние ошибок в моделях на финансовый результат, на резервы и достаточность капитала, то банк не имеет представления о подверженности модельному риску и его негативных последствиях. Таковыми могут быть прямые потери на финансовый результат либо недополученные доходы как следствие принятия неверных решений, а также репутационные/ имиджевые потери в случае невыполнения банком своих обязательств перед клиентами и контрагентами. Также Банк России может отказать банку в ходатайстве о переходе на подход оценки кредитного риска на основе внутренних рейтингов (ПВР)3 в случае признания моделей количественной оценки кредитных рисков не соответствующими требованиям Положения Банка России от 06.08.2015 № 483-П «О порядке расчета величины кредитного риска на основе внутренних рейтингов».

Таким образом, для управления модельным риском и снижения потерь от его реализации нужно выстроить систему модельного риск-менеджмента, которая будет не только отслеживать поведение моделей, включая случаи ошибок, но и заранее предупреждать о возможном наступлении событий модельного риска.

II. Как управлять модельным риском?

После того, как банк приходит к пониманию, что необходимо управлять модельным риском, возникает вопрос: каким образом это делать?

1) Задачей № 1 является задать дизайн и ролевую модель системы управления модельным риском. Она декомпозируется на следующие элементы:

Дизайн системы модельного риск-менеджмента выстраивается с учетом Модели трех линий [защиты], см. Таблицу 2:

Элемент системы модельного риск-менеджмента

Управление контрольной деятельностью
(1-я линия защиты)

Управление риском
(2-я линия защиты)

Управление аудитом
(3-я линия защиты)

Ответственное подразделение

  1. Бизнес-подразделения – владельцы моделей

  2. Подразделения, разрабатывающие модели

  1. Подразделение риск-менеджмента или специализированное подразделение по управлению модельным риском

  2. Подразделение валидации (обособлено и независимо от риск-менеджмента)

Подразделение внутреннего аудита

Ключевые функции

Регулярный мониторинг работы моделей, контрольная деятельность

  1. Работа с реестром моделей, рейтингование моделей и управление моделями на агрегированном уровне

  2. Валидация моделей

Оценка эффективности функционирования системы в целом

Инструмент автоматизации функционала

ModelOps-система (система операционализации мониторинга моделей)

GRC4-система с модулем по управлению модельным риском

GRC-система с модулем по управлению внутренним аудитом

Ролевую модель необходимо разрабатывать с учетом разграничения конфликта интересов. Например, конфликт интересов может проявляться в виде совмещения функций разработки и валидации модели, функции валидации модели и управления риском в рамках одного подразделения. В идеале, подразделения, выполняющие функции 1-й, 2-й и 3-й линии защиты в рамках модельного процесса, должны быть подчинены разным курирующим топ-менеджерам.

2) Задача № 2 – собрать полные сведения обо всех моделях и участниках модельного процесса после того, как банк утвердил понятие модели и определил функционально-ролевую модель системы.

Чтобы иметь полное представление о модельном ландшафте, необходимо систематизировать перечень моделей и их влияние на банк. Для более детальной аналитики и контроля жизненного цикла по версиям модели рекомендуется фиксировать следующую информацию:

3) Задача № 3 – выстроить процесс анализа и оценки с учетом модельного ландшафта и особенностей отдельно взятого банка. Анализу должны быть подвергнуты все идентифицированные модели, а не только полностью автоматизированные модели и модели количественной оценки рисков. Для этого требуется:

Важно помнить, что для реализации данных задач требуется высококвалифицированный персонал с компетенциями в сфере управления рисками и анализа данных. При этом их карьерные перспективы размыты, поскольку результат работы часто является неочевидным и непонятным лицам, принимающим решения. Поэтому для обеспечения вовлеченности в систему модельного риск-менеджмента необходимы единое информационное пространство, а также материальные стимулы. Вовлеченность достигается посредством декомпозиции и оцифровки задач управления жизненным циклом моделей в КПЭ (ключевых показателях эффективности), с учетом влияния моделей на бизнес: определяются целевые/ контрольные показатели в разрезе моделей, направлений деятельности, бизнес-процессов, подразделений-участников модельного процесса и топ-менеджмента с учетом их зон ответственности. Например, в качестве таких показателей могут быть использованы: соблюдение сроков разработки и внедрения, качество данных, частота/ характер вносимых изменений, последние результаты независимой валидации. Состав КПЭ банк определяет самостоятельно, при этом они должны быть прозрачны и понятны всем участникам модельного процесса.

Единое информационное пространство реализуется посредством внедрения автоматизированной системы. Она является инструментом поддержки данного процесса. Но если процессы не выстроены должным образом, без учета масштаба, специфики банка и его модельного ландшафта, то не будет и положительного эффекта от автоматизации.

III. Каким образом модельный риск связан с кредитным риском?

Модельный риск, в соответствии с подходами Банка России, рассматривается как разновидность операционного риска5. Одним из видов прямых потерь от операционного риска является начисление резервов на возможные потери и резервов на возможные потери по ссудам по причине реализации операционного риска. Таким образом, модельный риск в силу своей специфики может быть связан с иными рисками, в частности, с кредитным риском. Если рассматривать массовые сегменты кредитования, в частности, кредитование МСБ, розничное кредитование или кредитные карты, то значительный объем рисков может носить не финансовую (неисполнение заемщиком обязательств), а модельную природу, когда действующие модели принятия решений «пропускают» недобросовестных/ неплатежеспособных заемщиков. Таким образом, причиной реализации риска в таком случае будут недостатки либо ошибки в работе одной из моделей, используемых в кредитном процессе (см. Рис. 1).

Рис. 1. Связь модельного риска с кредитным риском

В рамках системы интегрированного риск-менеджмента аналитика конверсии модельного риска в кредитный риск необходима, чтобы понимать, какой именно объем дефолтов обусловлен недостатками работы моделей, а не факторами, связанными с деятельностью заемщика, чтобы применить правильные митигирующие меры. При наличии единого информационного пространства, где ведется версионирование моделей оценки кредитоспособности и моделей кредитного конвейера, можно проводить винтажный анализ уровня дефолтов по кредитам, выданным в период действия версии модели и проводить комплексный анализ рисков, связанных с трансформацией процесса принятия решений. Так можно проводить оценку винтажных PD6, а также анализировать предикативную способность моделей ожидаемых кредитных убытков (МСФО 9) в кризисные периоды. При выявлении закономерностей можно произвести «примерку» данных кейсов с реализацией риска на другие схожие модели и внедрить систему индикаторов раннего предупреждения дефолтности: это является митигирующим действием по устранению потенциального кредитного риска.

Таким образом, чтобы своевременно предотвращать потери банка, связанные со снижением качества работы моделей, необходимо точно идентифицировать ту версию модели, которая привела к убыткам, и провести необходимые действия по донастройке или перекалибровке действующих моделей, которые могут быть подвержены такому же риску. Данная задача требует точных аналитических инструментов и консолидации данных о моделях в едином информационном пространстве, куда имеют доступ все участники модельного процесса.

IV. Как можно автоматизировать процесс управления модельным риском?

Существует два типа программных продукта для решения разных классов задач в рамках системы модельного риск-менеджмента:

В простом случае GRC-система может быть использована как ModelOps-система и реализовывать функции операционализации мониторинга моделей в отношении небольшого количества несложных моделей. В случае большого количества моделей для целей операционализации мониторинга рационально использовать ModelOps-системы. GRC-система при этом должна быть способна взаимодействовать с множеством ModelOps-систем, получая как результат тестирования моделей значения метрик моделей, которые с точки зрения GRC-системы являются ключевыми индикаторами рисков (КИР: например, коэффициенты Gini, PSI, CSI и прочие). Если по какому-либо из КИР модели возникает оповещение (alarm signal), то это является основанием для ее перекалибровки или внеплановой валидации, и в GRC-системе должна формироваться соответствующая задача для владельца или разработчика модели.

Преимущества готового GRC-решения как инструмента автоматизации процесса управления жизненным циклом моделей очевидны. Именно благодаря ему осуществляется связывание модели и риска, что позволяет:

Зрелая ModelOps-система, в свою очередь, может быть использована как единая система операционализации мониторинга разрозненных моделей, реализованных на разных технологических инструментах. Инструменты мониторинга моделей позволяют выполнять тестирования моделей в разных математических и вычислительных средах, используя данные произвольных информационных систем. Результаты мониторинга и проведенных тестов передаются в GRC-систему, где уполномоченным сотрудником выносится заключение о регрессе модели, необходимости ее доработки или перекалибровки.

Одной из важнейших для бизнеса задач, которую решает внедрение ModelOps-системы, является ускорение перехода модели в эксплуатационную фазу. Это достигается благодаря стандартизации интерфейсов взаимодействия моделей с инфраструктурой ИТ и приведению моделей к этим стандартам. Таким образом, введение новой версии модели в эксплуатацию существенно ускорится и не превратится в отдельный интеграционный ИТ-проект, когда каждая модель существует изолировано в рамках своей среды. Ускоряя процесс разработки и развертывания модели, банк может повысить/ ускорить клиентский путь7, и, как следствие, нарастить прибыль.

Подводя итог, ответим на вопрос: какими качествами должен обладать программный продукт по управлению модельным риском?

1) Формировать и поддерживать базу данных о моделях, истории и логике принятых решений в едином информационном пространстве.

2) Проводить оценку влияния моделей на финансовый результат и достаточность капитала, в том числе с учетом взаимного влияния моделей друг на друга.

3) Предлагать систему оперативного контроля риска по моделям (Embedded operational control system) с возможностью измерения модельного риска по утвержденной методологии.

4) Вести библиотеку шаблонов мониторинга и валидации.

5) Обеспечивать возможность контроля качества данных, используемых при создании и в процессе использования моделей.

6) Работать с большим потоком информации и интегрироваться с необходимыми системами ModelOps и ландшафтом ИТ.

И, что не менее важно, должно быть желание и готовность менеджмента инвестировать в систему модельного риск-менеджмента. Если проанализировать исторические потери от реализации модельного риска (дефолты, штрафы надзорных органов, расходы на устранение последствий риска) и потенциальную экономию капитала, внедрение системы модельного риск-менеджмента и ее автоматизация станет оправданным решением. Результатом, который получит компания, будет снижение потерь, сохранность капитала и повышение качества процессов работы с моделями.

* * *

В текущих условиях одной из наиболее ключевых задач в области индустрии ИТ является импортозамещение решений зарубежных вендоров ПО. Данный тренд затронул также автоматизацию систем корпоративного управления и систем управления рисками. Для российских ИТ-компаний это открывает возможности расширения своей рыночной ниши. Но в то же время важно, чтобы отечественные решения не являлись прямой адаптацией западных аналогов, а предлагали продукт, учитывающий потребности рынка, разработанный с учетом лучших практик, накопленных знаний и опыта в автоматизации управления отдельными видами рисков.

Приведенные в настоящей статье практики и подходы используются в качестве теоретической базы для разработки программного модуля Model Risk Management системы Quadrium ActiveGRC. Система разрабатывалась с учетом подхода Gartner к интегрированному управлению рисками (IRM), который предполагает комплексное управление рисками организации в рамках единой платформы и ее программных модулей. Благодаря отсутствию барьеров между сегментами и видами рисков, пользователи получают полную консолидированную картину по всему пространству рисков, в том числе данные о потерях и событиях на стыке нескольких рисков (например, кредитного и модельного рисков).


1. Ассоциация «Институт внутренних аудиторов» (Ассоциация «ИВА»), зарегистрированная в 2000 г., является профессиональным объединением внутренних аудиторов, внутренних контролеров и работников других контрольных подразделений российских компаний и организаций. Подробности на сайте www.iia-ru.ru

2. MLOps Market by Component (Platform and Services), Deployment Mode (Cloud and On-premises), Organization Size (Large Enterprises and SMEs), Vertical (BFSI, Healthcare and Life Sciences, Retail and eCommerce, Telecom) and Region - Global Forecast to 2027

3. Указание Банка России от 06.08.2015 № 3752-У «О порядке получения разрешений на применение банковских методик управления кредитными рисками и моделей количественной оценки кредитных рисков в целях расчета нормативов достаточности капитала банка, а также порядке оценки их качества».

4. Governance, Risk management & Compliance.

5. Положение Банка России от 08.04.2020 № 716-П «О требованиях к системе управления операционным риском в кредитной организации и банковской группе».

6. PD (probability of default) – вероятность дефолта.

7. Применимо к CRM-системам.