ISO 42001 — Новый стандарт управления искусственным интеллектом

Становление стандартов управления ИИ

Искусственный интеллект перешёл из исследовательских лабораторий в основу бизнес-операций. От автоматизированного андеррайтинга в страховании до предиктивного обслуживания в производстве, от систем поддержки клинических решений в здравоохранении до алгоритмической торговли в финансах — ИИ-системы теперь принимают или влияют на решения, затрагивающие миллионы людей ежедневно. С этим внедрением приходят риски — предвзятость в принятии решений, отсутствие прозрачности, уязвимости безопасности, нарушения конфиденциальности и непредвиденные последствия, которые могут нанести реальный ущерб.

Регуляторные органы по всему миру отреагировали. Европейский закон об ИИ (AI Act) вступил в силу в августе 2024 года, установив регуляторную структуру на основе оценки рисков со значительными штрафами за несоблюдение. Аналогичное законодательство продвигается в Великобритании, Канаде, Бразилии и Азиатско-Тихоокеанском регионе. Но регулирование само по себе не объясняет организациям, как ответственно управлять ИИ. Именно здесь вступает ISO/IEC 42001.

Опубликованный в декабре 2023 года, ISO/IEC 42001 называется «Информационные технологии — Искусственный интеллект — Система менеджмента для искусственного интеллекта». Это сертифицируемый стандарт системы менеджмента, что означает, что организации могут пройти аудит третьей стороной и получить официальный сертификат — так же, как с ISO 27001 для информационной безопасности или ISO 9001 для управления качеством.

Что охватывает ISO 42001

ISO 42001 следует гармонизированной структуре (HS), общей для всех стандартов систем менеджмента ISO. Если ваша организация уже имеет сертификацию ISO 27001 или ISO 9001, структура будет сразу знакома. Стандарт содержит следующие основные разделы:

Раздел 4 — Контекст организации: Понимание внутренних и внешних факторов, влияющих на систему менеджмента ИИ (СУИИ), определение заинтересованных сторон и их требований, определение области применения СУИИ и создание самой системы менеджмента.
Раздел 5 — Лидерство: Высшее руководство должно продемонстрировать приверженность СУИИ, установить политику в области ИИ, включающую принципы ответственной разработки и использования ИИ, а также назначить роли, обязанности и полномочия.
Раздел 6 — Планирование: Рассматривает оценку рисков и возможностей, специфичных для ИИ-систем, включая установление целей ИИ и планов по их достижению. Именно здесь определяется методология оценки рисков, специфичных для ИИ.
Раздел 7 — Поддержка: Охватывает ресурсы, компетенции, осведомлённость, коммуникацию и документированную информацию. Требования к компетенциям для ИИ специфичны — организация должна обеспечить, чтобы персонал, работающий с ИИ-системами, обладал соответствующими навыками в таких областях, как машинное обучение, наука о данных, этика и экспертиза предметной области.
Раздел 8 — Операции: Оперативное планирование и контроль ИИ-систем на протяжении их жизненного цикла. Включает оценку влияния ИИ-систем, управление данными, используемыми для разработки ИИ, и контроли, применяемые при разработке, развёртывании и эксплуатации ИИ-систем.
Раздел 9 — Оценка результативности: Мониторинг, измерение, анализ и оценка СУИИ и производительности ИИ-систем. Включает требования к внутреннему аудиту и анализу со стороны руководства.
Раздел 10 — Улучшение: Управление несоответствиями, корректирующие действия и постоянное улучшение СУИИ.

Приложение A: Справочные контроли ИИ

Как и ISO 27001, ISO 42001 включает Приложение A, которое содержит набор справочных контролей. Эти контроли организованы вокруг специфических задач управления ИИ:

Область контроля	Фокус
Политики ИИ	Установление политик ответственного ИИ, охватывающих справедливость, прозрачность, подотчётность, безопасность и конфиденциальность. Эти политики должны быть доведены до всех заинтересованных сторон.
Внутренняя организация	Определение ролей и обязанностей для управления ИИ, включая функции надзора, советы по этике ИИ и процедуры эскалации по вопросам, связанным с ИИ.
Ресурсы для ИИ-систем	Управление вычислительными, данными и инструментальными ресурсами, необходимыми для ИИ-систем. Включает управление качеством данных, происхождение данных и требования к инфраструктуре.
Оценка влияния ИИ-систем	Проведение оценки потенциального воздействия ИИ-систем на отдельных лиц, группы и общество. Должны учитываться как преднамеренные, так и непреднамеренные последствия.
Жизненный цикл ИИ-систем	Контроли, охватывающие полный жизненный цикл: проектирование, сбор и подготовка данных, построение и валидация моделей, развёртывание, эксплуатация, мониторинг и вывод из эксплуатации.
Данные для ИИ-систем	Контроли управления данными, включая качество данных, обнаружение предвзятости в обучающих данных, происхождение данных, управление согласиями и меры защиты данных.
Отношения с третьими сторонами и клиентами	Управление рисками ИИ в цепочке поставок, включая требования к компонентам ИИ третьих сторон, API и предобученным моделям.

Стандарт также включает Приложение B (цели ИИ и источники рисков), Приложение C (специфические для ИИ справочные процессы) и Приложение D (использование СУИИ в различных областях). Эти приложения содержат практическое руководство по внедрению, а не дополнительные обязательные требования.

Управление рисками ИИ по ISO 42001

Управление рисками — основа ISO 42001, но природа рисков ИИ принципиально отличается от традиционных рисков информационной безопасности или операционных рисков. Стандарт требует от организаций учитывать несколько категорий рисков, специфичных для ИИ:

Риск предвзятости и справедливости: ИИ-системы могут выдавать дискриминационные результаты из-за предвзятых обучающих данных, ошибочного дизайна модели или неуместного выбора признаков. Стандарт требует от организаций оценивать и снижать предвзятость на протяжении всего жизненного цикла ИИ.
Риск прозрачности и объяснимости: Многие ИИ-системы, особенно модели глубокого обучения, работают как «чёрные ящики». ISO 42001 требует от организаций определять подходящий уровень объяснимости для каждой ИИ-системы на основе её профиля рисков и потребностей заинтересованных сторон.
Риск надёжности и устойчивости: ИИ-системы могут вести себя непредсказуемо при обработке данных, отличающихся от обучающей выборки. Стандарт требует тестирования на граничные случаи, состязательные входные данные и сдвиг распределения.
Риск конфиденциальности: ИИ-системы часто обрабатывают персональные данные, а такие техники, как инверсия модели или атаки на определение принадлежности, могут извлекать персональную информацию из обученных моделей. ISO 42001 требует оценки влияния на конфиденциальность для ИИ-систем и соответствующих технических мер защиты.
Риск безопасности: В таких областях, как здравоохранение, автономные транспортные средства и промышленная автоматизация, отказы ИИ могут причинить физический вред. Стандарт требует оценки безопасности, соразмерной потенциальным последствиям отказа системы.
Риск подотчётности: Когда ИИ-системы принимают или влияют на решения, необходимо поддерживать чёткие линии подотчётности. Стандарт требует установления механизмов человеческого контроля и явного назначения ответственности за результаты ИИ.
Экологический риск: Обучение и эксплуатация крупных моделей ИИ потребляет значительную энергию. Хотя это ещё не основной фокус, стандарт признаёт экологические соображения как часть более широкой оценки воздействия.

Оценка влияния ИИ-системы

Одним из наиболее значимых требований ISO 42001 является Оценка влияния ИИ-системы (AISIA). Она выходит за рамки традиционной оценки рисков, оценивая потенциальное воздействие ИИ-системы на отдельных лиц, группы, сообщества и общество. AISIA должна быть проведена до развёртывания ИИ-системы и пересматриваться периодически или при существенных изменениях.

Оценка должна учитывать прямые воздействия (предполагаемые эффекты ИИ-системы), косвенные воздействия (вторичные эффекты, которые могут быть неочевидны), кумулятивные воздействия (комбинированный эффект ИИ-системы с другими системами и процессами) и системные воздействия (более широкие эффекты на рынки, социальные системы или демократические процессы).

Для организаций, подпадающих под действие EU AI Act, AISIA напрямую соотносится с оценкой влияния на фундаментальные права, требуемой для ИИ-систем высокого риска в соответствии со статьёй 27 регламента. Это делает сертификацию ISO 42001 практическим путём для демонстрации регуляторного соответствия.

Связь между ISO 42001 и ISO 27001

ISO 42001 и ISO 27001 — взаимодополняющие, а не конкурирующие стандарты. ISO 27001 охватывает информационную безопасность — защиту информационных активов от угроз. ISO 42001 охватывает управление ИИ — ответственное управление ИИ-системами на протяжении их жизненного цикла. На практике большинству организаций, внедряющих ИИ-системы, потребуются оба стандарта.

Пересечение происходит в нескольких областях. Контроли защиты данных и конфиденциальности применимы к обоим стандартам. Контроль доступа и мониторинг безопасности распространяются на ИИ-системы так же, как и на другие информационные системы. Безопасность цепочки поставок (критически важная в новом Приложении A ISO 27001:2022) непосредственно применима к управлению компонентами ИИ третьих сторон.

Поскольку оба стандарта следуют гармонизированной структуре, они могут быть эффективно интегрированы в единую систему менеджмента. Анализ контекста, приверженность руководства, управление ресурсами, внутренний аудит и анализ со стороны руководства могут обслуживать оба стандарта одновременно. Отдельного подхода требуют только доменно-специфические контроли (Приложение A каждого стандарта).

Организации, уже сертифицированные по ISO 27001, имеют значительное преимущество при переходе к ISO 42001. Инфраструктура системы менеджмента уже создана — дополнительная работа сосредоточена на политиках, специфичных для ИИ, оценках влияния и контролях жизненного цикла.

Кому нужна сертификация ISO 42001?

ISO 42001 актуален для любой организации, которая разрабатывает, предоставляет или использует ИИ-системы. Стандарт различает эти три роли, поскольку риски и ответственность различаются:

Разработчики ИИ создают модели и системы ИИ. Они несут ответственность за проектные решения, влияющие на справедливость, прозрачность и надёжность. Сюда входят технологические компании, исследовательские организации в области ИИ и внутренние команды ИИ на предприятиях.
Поставщики ИИ предоставляют ИИ-системы другим через продукты, услуги или API. Они должны гарантировать, что их предложения соответствуют требованиям управления, ожидаемым клиентами и регуляторами. Сюда входят SaaS-вендоры, поставщики облачных ИИ-сервисов и платформенные компании.
Пользователи ИИ развёртывают и эксплуатируют ИИ-системы в своих бизнес-процессах. Даже если они не разрабатывали ИИ, они несут ответственность за его применение, мониторинг и управление в своём контексте. Сюда входят практически все крупные предприятия, использующие инструменты на основе ИИ.

Сертификация особенно ценна для организаций в регулируемых отраслях (финансовые услуги, здравоохранение, фармацевтика, страхование), организаций, поставляющих ИИ-системы корпоративным клиентам, компаний, работающих в ЕС и подпадающих под требования AI Act, а также любых организаций, желающих выделиться ответственным подходом к ИИ.

Соответствие EU AI Act

EU AI Act классифицирует ИИ-системы по четырём категориям риска: неприемлемый риск (запрещено), высокий риск (обширные требования), ограниченный риск (обязательства прозрачности) и минимальный риск (без специальных требований). Для ИИ-систем высокого риска Закон устанавливает требования по управлению рисками, управлению данными, технической документации, ведению записей, прозрачности, человеческому контролю, точности, надёжности и кибербезопасности.

ISO 42001 не обеспечивает автоматического соответствия EU AI Act, но предоставляет структурированную основу для выполнения многих требований Закона. В частности:

Процесс управления рисками ИИ в ISO 42001 (Раздел 6) соответствует требованиям управления рисками EU AI Act (Статья 9).
Контроли управления данными в Приложении A соответствуют требованиям к качеству данных Закона (Статья 10).
Оценка влияния ИИ-системы охватывает оценку влияния на фундаментальные права (Статья 27).
Контроли жизненного цикла покрывают техническую документацию (Статья 11) и ведение записей (Статья 12).
Требования к прозрачности и объяснимости поддерживают обязательства прозрачности Закона (Статьи 13-14).
Контроли человеческого контроля соответствуют требованиям человеческого контроля Закона (Статья 14).

Европейская комиссия указала, что гармонизированные стандарты будут играть роль в установлении презумпции соответствия AI Act. Хотя ISO 42001 является международным стандартом, а не европейским гармонизированным стандартом (что потребовало бы принятия CEN/CENELEC), ожидается, что он станет основой или окажет значительное влияние на гармонизированные стандарты, которые будут опубликованы в будущем.

Процесс сертификации

Сертификация ISO 42001 проходит по тому же двухэтапному процессу аудита, что и другие сертификации систем менеджмента ISO:

Этап 1 — Анализ документации: Орган по сертификации проверяет документацию СУИИ организации, включая политику ИИ, заявление о области применения, методологию оценки рисков, Заявление о применимости контролей Приложения A, реестр ИИ-систем, оценки влияния и поддерживающие процедуры. Аудитор проверяет, что система менеджмента спроектирована для выполнения требований стандарта, и выявляет области, требующие внимания перед Этапом 2.

Этап 2 — Аудит внедрения: Аудиторы проводят оценки на месте (или дистанционно) для проверки того, что СУИИ внедрена и эффективна. Это включает интервью с персоналом, анализ записей, изучение ИИ-систем и их документации, а также тестирование эффективности контролей. Аудит охватывает все разделы стандарта и все применимые контроли Приложения A.

При успешном завершении обоих этапов организация получает сертификат сроком на три года с ежегодными надзорными аудитами. Надзорные аудиты проверяют часть системы менеджмента каждый год, а полная система проверяется в течение трёхлетнего цикла.

Практические шаги для начала

Организациям, рассматривающим сертификацию ISO 42001, рекомендуется предпринять следующие подготовительные шаги:

Инвентаризируйте свои ИИ-системы. Невозможно управлять тем, о чём вы не знаете. Создайте полный реестр всех ИИ-систем, находящихся в эксплуатации, в разработке или предоставляемых клиентам. Включите сведения о типе ИИ (машинное обучение, NLP, компьютерное зрение и т.д.), используемых данных, принимаемых решениях и затрагиваемых заинтересованных сторонах.
Оцените текущую зрелость управления. Многие организации уже имеют некоторые практики управления ИИ, даже если они неформальные. Задокументируйте существующие практики и определите пробелы относительно требований ISO 42001.
Установите политику ИИ. Это основополагающий документ, который формулирует приверженность вашей организации ответственному ИИ. Он должен охватывать справедливость, прозрачность, подотчётность, безопасность, конфиденциальность и человеческий контроль.
Проведите оценки влияния ИИ. Для каждой ИИ-системы оцените потенциальное воздействие на отдельных лиц, группы и общество. Приоритизируйте системы высокого риска для немедленного внимания.
Интегрируйте с существующими системами менеджмента. Если у вас есть сертификация ISO 27001 или другие сертификаты, планируйте интеграцию СУИИ с самого начала. Это позволит избежать дублирования и уменьшить операционную нагрузку.
Развивайте компетенции. Управление ИИ требует сочетания технической экспертизы в ИИ, знания правовых и регуляторных аспектов, этики и предметных знаний. Определите пробелы в навыках и инвестируйте в обучение.
Вовлекайте руководство. Управление ИИ — это не ИТ-проект, оно требует спонсорства на уровне руководства и межфункционального участия. Представьте бизнес-обоснование, включая регуляторное соответствие, доверие клиентов и снижение рисков.

Как BALTUM может помочь

BALTUM предлагает комплексную поддержку организациям, стремящимся к сертификации ISO 42001. Наши специалисты по управлению ИИ работают с клиентами в различных отраслях и регуляторных средах. Наши услуги включают:

Оценка готовности к управлению ИИ: Тщательная оценка ваших текущих практик ИИ относительно требований ISO 42001, представленная в виде приоритизированной дорожной карты внедрения.
Поддержка внедрения СУИИ: Практическое руководство по проектированию и внедрению вашей системы менеджмента ИИ, включая разработку политик, методологию оценки рисков, структуры оценки влияния и внедрение контролей.
Оценка влияния ИИ-систем: Экспертное сопровождение оценки влияния ваших ИИ-систем с особым вниманием к предвзятости, справедливости, прозрачности и правам человека.
Проектирование интегрированной системы менеджмента: Для организаций, имеющих ISO 27001 или другие сертификаты, мы проектируем интегрированные системы менеджмента, охватывающие управление ИИ без лишнего дублирования.
Маппинг соответствия EU AI Act: Детальное сопоставление вашей СУИИ с требованиями EU AI Act, выявление пробелов, которые одна сертификация может не покрыть.
Предсертификационный аудит: Полный пробный аудит, проводимый опытными экспертами, для обеспечения готовности к визиту органа по сертификации.

Ответственное управление ИИ быстро становится конкурентной необходимостью, а не просто регуляторным требованием. Организации, которые создадут надёжные системы управления ИИ сейчас, будут лучше подготовлены к масштабированию своих возможностей ИИ с уверенностью, соответствию развивающимся регуляторным ожиданиям и завоеванию доверия клиентов, партнёров и общества. ISO 42001 предоставляет основу — задача состоит в том, чтобы внедрить её с тщательностью и приверженностью, которых требует технология.