많은 조직이 AI를 도입했습니다. 그리고 대부분의 조직이 AI를 ‘관리’하고 있다고 생각합니다.
그러나 실제로 물어보면 이야기가 달라집니다.
“현재 운영 중인 AI 시스템이 몇 개입니까?” “그 시스템 중 리스크 등급이 정의된 것은 몇 개입니까?” “지난 6개월간 모델 성능이 저하된 시스템이 있습니까?”
이 세 가지 질문에 즉시 답할 수 있는 조직은 생각보다 많지 않습니다. AI를 운영하는 것과 AI 리스크를 관리하는 것은 다른 문제입니다.
AI 리스크 관리가 최근 들어 갑자기 중요한 의제로 부상한 것처럼 보일 수 있습니다. 그러나 정확히는 ‘항상 존재했지만 이제 더 이상 미룰 수 없게 된’ 문제입니다.
세 가지 흐름이 동시에 수렴하고 있습니다.
첫째, 규제의 현실화입니다. EU AI Act는 고위험 AI 시스템에 대한 의무를 이미 규정했고, 국내에서도 금융·공공 분야를 중심으로 AI 운영에 관한 지침과 가이드라인이 구체화되고 있습니다. ‘아직 법이 없으니 괜찮다’는 판단이 더 이상 유효하지 않습니다.
둘째, 사고의 가시화입니다. AI 시스템의 오작동, 편향, 차별적 결과가 언론과 법정에 등장하기 시작했습니다. 문제는 그 사고들 대부분이 예측 불가능한 기술적 결함이 아니라, 관리 부재에서 비롯되었다는 점입니다.
셋째, 이해관계자의 기대 변화입니다. 투자자, 이사회, 고객이 AI 윤리와 리스크 관리에 관해 구체적인 질문을 하기 시작했습니다. “AI를 쓰고 있습니까?”에서 “AI를 어떻게 관리하고 있습니까?”로 질문의 수준이 달라졌습니다.
AI RMF(Risk Management Framework)는 AI 시스템과 관련된 리스크를 식별·평가·대응·모니터링하기 위한 구조화된 체계입니다.
현재 가장 널리 참조되는 표준은 미국 국립표준기술연구소(NIST)가 2023년 발표한 NIST AI RMF 1.0입니다. 이 프레임워크는 4개의 핵심 기능으로 구성됩니다.
AI 리스크 관리를 위한 조직의 정책, 역할, 책임, 문화를 정의합니다. “누가, 무엇을, 어떤 기준으로 결정하는가”에 대한 답입니다. 거버넌스가 없으면 나머지 세 기능은 작동하지 않습니다.
조직 내 AI 시스템을 식별하고, 각 시스템의 목적·사용 환경·이해관계자·잠재 리스크를 파악합니다. 지도를 그리는 단계입니다. 어디에 무엇이 있는지 모르면 관리할 수 없습니다.
식별된 리스크를 평가하고 등급화합니다. 정량적 지표와 정성적 평가를 통해 각 시스템의 리스크 수준을 측정합니다. 측정되지 않은 리스크는 관리되지 않습니다.
측정된 리스크에 대해 구체적인 대응 방안을 실행하고, 지속적으로 모니터링하며, 변화에 따라 체계를 개선합니다.
이 네 기능은 순서가 아닌 순환입니다. 새로운 AI 시스템이 도입될 때마다, 규제가 바뀔 때마다, 사용 환경이 달라질 때마다 이 사이클은 다시 돌아갑니다.
RMF 도입을 논의할 때 자주 마주치는 반응이 있습니다.
“우리는 이미 AI 윤리 정책이 있습니다.” “개발팀에서 테스트를 충분히 합니다.” “담당자가 잘 챙기고 있습니다.”
이 중 어느 것도 틀리지 않습니다. 그러나 이것들은 RMF의 일부일 뿐, 체계 자체가 아닙니다.
정책이 있다는 것과 그 정책이 실제로 작동한다는 것은 다릅니다. 개발팀의 테스트는 배포 전 성능을 확인하지, 배포 후 운영 중 변화를 추적하지 않습니다. 담당자 개인의 역량에 의존하는 관리는 그 사람이 떠나는 순간 사라집니다.
체계와 개인 역량의 차이는 이것입니다. 체계는 담당자가 바뀌어도 같은 질문을 하고, 같은 기준으로 판단하며, 같은 방식으로 기록합니다.
솔직히 말하면, RMF 구축을 미루는 이유는 대부분 세 가지 중 하나입니다.
“지금 당장 사고가 없으니까.” 리스크 관리의 역설입니다. 체계가 필요한 이유는 사고가 없을 때 만들어야 사고가 났을 때 작동하기 때문입니다. 사고가 난 뒤에 만드는 체계는 대응이지, 예방이 아닙니다.
“전담 인력이 없으니까.” RMF는 별도의 조직을 만드는 것이 아닙니다. 기존 역할과 책임에 AI 리스크 관점을 통합하는 것입니다. 시작은 작게 할 수 있습니다.
“어디서부터 시작해야 할지 모르니까.” 사실 가장 솔직한 이유이고, 동시에 가장 합당한 이유사 아닐까 생각됩니다. 기준이 없고, 선례가 없고, 내부에 물어볼 사람이 없습니다. 이 지점이 외부 전문성이 필요한 곳입니다.
완벽한 체계를 처음부터 만들려는 시도는 대부분 실패합니다. 너무 넓고, 너무 복잡하며, 너무 오래 걸립니다.
현실적인 출발점은 다음 세 가지 질문에 답하는 것입니다.
우리 조직에서 현재 운영 중인 AI 시스템은 무엇인가? (AI 인벤토리)
그 중 가장 리스크가 높은 시스템은 어느 것인가? (우선순위)
그 시스템에 대해 지금 당장 해야 할 것은 무엇인가? (실행 계획)
이 세 질문에 답할 수 있다면, 체계의 첫 번째 층은 이미 시작된 것입니다.
AI는 도입하는 순간부터 조직의 리스크 포트폴리오에 포함됩니다. 재무 리스크, 운영 리스크, 법적 리스크를 관리하듯, AI 리스크도 관리되어야 합니다.
차이가 있다면, AI 리스크는 아직 대부분의 조직에서 관리되지 않고 있다는 점입니다. 그리고 그 공백은 시간이 지날수록 더 커질 것입니다.
RMF는 AI를 더 느리게 만들기 위한 규제 도구가 아닙니다. AI를 더 오래, 더 신뢰받으며 운영하기 위한 경영 도구입니다.
다음 아티클에서는 NIST AI RMF의 4개 기능을 국내 기업 환경에 어떻게 적용할 수 있는지, 단계별로 살펴보겠습니다.
IQHub는 AI 리스크 관리 전문 컨설팅 서비스를 제공합니다. RMF 도입에 관한 문의는 contact@iqhub.co 로 보내주십시오.
