뿡야의 IT 기록

기업이 생성형 AI를 도입할 때 가장 먼저 비교하는 것은 모델의 성능과 가격이다. 그러나 금융, 공공, 의료와 같은 분야에서는 또 다른 질문이 중요하다.

“우리의 데이터는 어디에 저장되고, 누구의 법률과 통제를 받는가?”

AI가 국가 경제와 기업 운영의 핵심 기반으로 자리 잡으면서 소버린 AI(Sovereign AI)와 데이터 주권이 중요한 IT 전략으로 떠오르고 있다.

소버린 AI란 무엇인가

소버린 AI는 국가 또는 조직이 자국의 법률, 문화, 언어와 정책에 따라 AI 모델과 데이터, 인프라를 통제할 수 있는 역량을 의미한다.

단순히 국내 기업이 만든 AI 모델만을 뜻하지는 않는다. 다음과 같은 요소를 종합적으로 살펴봐야 한다.

• 데이터가 저장되고 처리되는 위치
• 모델과 클라우드 인프라의 운영 주체
• 적용되는 법률과 규제
• 학습 데이터와 모델에 대한 접근 권한
• 서비스 중단 시 대체 가능성
• 국가 언어와 문화적 맥락의 반영
• 반도체와 데이터센터를 포함한 공급망

해외 모델을 사용하더라도 데이터 처리와 암호키, 운영 권한을 국내에서 통제한다면 소버린 AI 전략의 일부가 될 수 있다. 반대로 국내 서비스라도 핵심 모델과 인프라를 외부 사업자에 전적으로 의존한다면 완전한 통제력을 확보했다고 보기 어렵다.

데이터 주권과 데이터 현지화의 차이

두 개념은 비슷해 보이지만 동일하지 않다.

데이터 현지화는 데이터를 특정 국가 또는 지역 안에 저장하고 처리하도록 요구하는 것이다. 저장 위치에 초점을 둔다.

데이터 주권은 데이터가 어느 국가의 법률과 통제를 받는지를 의미한다. 데이터가 국내 데이터센터에 있더라도 해외 사업자의 운영 정책이나 외국 법률의 영향을 받는다면 주권 문제가 남을 수 있다.

따라서 기업은 데이터센터 위치만 확인해서는 안 된다. 운영자의 접근 권한, 암호키 관리, 백업 위치, 장애 대응과 정부의 정보 제공 요구 가능성까지 검토해야 한다.

왜 지금 중요해졌는가

기존 클라우드에서도 데이터 주권은 중요한 문제였다. 생성형 AI 시대에는 모델이 기업의 핵심 데이터와 업무 판단에 직접 관여하면서 영향이 더 커졌다.

AI 에이전트는 다음과 같은 정보에 접근할 수 있다.

• 고객과 임직원의 개인정보
• 기업의 계약서와 내부 규정
• 재무·신용·거래정보
• 소스코드와 기술문서
• 의료기록과 상담 내용
• 경영진의 의사결정 자료

이 데이터가 어느 환경에서 처리되는지, 모델 학습에 다시 사용되는지, 서비스 사업자가 어느 범위까지 접근할 수 있는지를 알 수 없다면 핵심 업무를 맡기기 어렵다.

Gartner는 2026년 주요 데이터·분석 트렌드의 첫 번째로 소버린 AI의 가속을 제시했다. 각국이 외부 국가에 대한 의존을 줄이고 AI 역량과 데이터 통제권을 확보하려는 움직임이 기업의 AI 로드맵에도 영향을 준다는 설명이다.

참고: Gartner, Top Trends for Data and Analytics 2026

소버린 AI가 중요한 산업

금융

금융회사는 신용정보와 거래정보를 처리하며 모델의 판단이 대출, 투자와 이상거래 탐지에 영향을 줄 수 있다. 데이터의 국외 이전, 외부 위탁, 설명 가능성과 감사 기록을 함께 관리해야 한다.

공공

행정, 국방과 국가 기반시설의 데이터는 외부 서비스 중단이나 정책 변경에 따라 사용할 수 없게 되는 상황을 피해야 한다. 국가 언어와 법률을 정확하게 반영하는 것도 중요하다.

의료

진료기록과 유전체 데이터는 유출됐을 때 되돌릴 수 없는 민감정보다. 저장 위치뿐 아니라 추론 과정에서의 데이터 전송과 모델 사업자의 접근 가능성을 확인해야 한다.

제조와 연구개발

설계도, 생산공정과 연구자료는 기업 경쟁력의 핵심이다. 외부 AI를 통한 지식재산 유출 가능성과 공급망 의존을 고려해야 한다.

모든 AI를 자체 구축해야 할까

소버린 AI가 반드시 모든 모델과 데이터센터를 직접 만들어야 한다는 뜻은 아니다. 자체 구축은 통제력을 높일 수 있지만 비용과 운영 난도가 크다.

기업은 업무의 위험 수준에 따라 다양한 방식을 조합할 수 있다.

업무 유형 가능한 운영 방식

중요한 것은 하나의 모델로 모든 업무를 처리하는 것이 아니라 데이터의 민감도, 업무 위험과 비용에 따라 적절한 모델을 선택하는 멀티모델 전략이다.

소버린 AI의 현실적인 과제

통제력을 높이면 새로운 비용과 문제가 발생한다.

• 데이터센터와 AI 가속기 확보 비용
• 최신 모델을 지속적으로 개선할 인력 부족
• 글로벌 대형 모델과의 성능 격차
• 국내 데이터만 사용했을 때의 다양성 부족
• 여러 모델과 환경을 운영하는 복잡성
• 자체 구축 시스템의 보안 책임 증가

자체 환경이라는 이유만으로 자동으로 안전해지는 것은 아니다. 보안 업데이트와 접근 통제를 제대로 운영하지 못하면 외부 클라우드보다 위험할 수도 있다.

기업이 확인해야 할 질문

AI 서비스를 도입할 때 다음 항목을 확인할 필요가 있다.

1. 입력 데이터와 결과는 어느 국가에 저장되는가?
2. 데이터 처리에는 어느 국가의 법률이 적용되는가?
3. 서비스 사업자가 입력 내용을 모델 학습에 사용하는가?
4. 운영자도 읽을 수 없도록 기업이 암호키를 통제할 수 있는가?
5. 데이터와 로그의 보관 기간을 설정할 수 있는가?
6. 계약 종료 시 데이터와 모델 자산을 이전할 수 있는가?
7. 서비스가 중단되면 다른 모델로 전환할 수 있는가?
8. AI가 내린 결정과 사용 데이터를 감사할 수 있는가?

이 질문에 답하지 못한다면 모델의 정확도가 높더라도 핵심 업무에 적용하기 어렵다.

마치며

소버린 AI는 국내 모델과 해외 모델 중 하나를 선택하는 단순한 문제가 아니다. 기업과 국가가 데이터, 모델, 인프라와 운영 정책을 어느 수준까지 통제할 것인지 결정하는 전략이다.

앞으로 AI 경쟁력은 가장 뛰어난 모델을 사용하는 것만으로 결정되지 않을 수 있다. 필요한 데이터를 안전하게 활용하고, 특정 공급자나 국가에 대한 의존을 관리하며, 환경 변화에도 서비스를 계속 운영할 수 있는 능력이 함께 필요하다.

AI 시대의 주권은 데이터를 국내에 보관하는 데서 끝나지 않는다. 누가 접근하고, 어떤 규칙으로 처리하며, 필요할 때 다른 선택으로 전환할 수 있는가까지 포함한다.

기존 챗봇이 잘못된 답변을 생성하면 사용자는 답변을 무시하고 다시 질문할 수 있었다. 그러나 AI 에이전트가 이메일을 보내고, 주문을 취소하고, 데이터베이스를 수정한다면 잘못된 판단이 실제 업무의 오류로 이어진다.

이때 필요한 것이 AI 에이전트 옵저버빌리티(Agent Observability)다. 에이전트가 어떤 판단 과정을 거쳐 무엇을 실행했는지 관찰하고 추적하는 체계다.

모니터링과 옵저버빌리티는 무엇이 다른가

전통적인 모니터링은 미리 정한 지표를 확인한다. 서버의 CPU 사용률, 응답시간, 오류율이 대표적이다. 문제가 무엇인지 이미 어느 정도 알고 있을 때 효과적이다.

옵저버빌리티는 로그, 메트릭, 트레이스 등 시스템이 남긴 정보를 바탕으로 예상하지 못한 문제의 원인을 파악하는 데 초점을 둔다.

AI 에이전트는 같은 요청에도 검색 결과, 모델 응답, 사용 가능한 도구와 이전 대화에 따라 다른 경로를 선택할 수 있다. 최종 응답만 저장해서는 왜 그런 결과가 나왔는지 알기 어렵다.

에이전트 트레이스란 무엇인가

에이전트 트레이스는 하나의 요청이 완료될 때까지 수행된 전체 과정을 연결한 기록이다.

고객 환불 업무라면 다음 내용이 포함될 수 있다.

1. 사용자가 입력한 요청
2. 에이전트가 세운 작업 계획
3. 검색한 환불 규정과 문서 버전
4. 주문 시스템에 전달한 조회 조건
5. 다른 에이전트에 위임한 작업
6. 각 단계에서 사용한 모델과 프롬프트
7. 사람에게 승인을 요청한 시점
8. 실제 환불 API 호출과 결과

이 기록이 연결돼야 “잘못된 문서를 검색했는지”, “규칙은 맞았지만 도구가 실패했는지”, “사용자 승인 범위를 넘었는지”를 구분할 수 있다.

일반 애플리케이션보다 관찰하기 어려운 이유

전통적인 프로그램은 정해진 조건에 따라 비교적 예측 가능한 경로로 동작한다. 반면 AI 에이전트는 자연어를 해석하고 다음 행동을 동적으로 선택한다.

오류의 원인도 다양하다.

• 사용자의 지시가 모호함
• 검색 문서가 오래되거나 잘못됨
• 모델이 도구의 용도를 잘못 이해함
• 다른 에이전트의 응답이 부정확함
• API는 성공했지만 업무 결과는 잘못됨
• 지나치게 많은 반복 호출로 비용 증가
• 중간 단계에서 오류가 발생했지만 작업은 계속 진행됨

HTTP 응답이 200이라는 사실만으로 업무가 정상적으로 완료됐다고 판단할 수 없는 이유다.

무엇을 측정해야 하는가

에이전트의 성능은 단순한 답변 정확도만으로 평가하기 어렵다. 실제 운영에서는 다음과 같은 지표가 필요하다.

업무 품질

• 목표 완료율
• 올바른 도구 선택 비율
• 잘못된 실행과 실행 취소 비율
• 사람의 수정 없이 완료된 비율
• 정책과 업무 규칙 위반 건수

운영 효율

• 업무당 모델 호출 횟수
• 평균 토큰과 비용
• 완료까지 걸린 시간
• 같은 작업을 반복한 횟수
• 외부 도구와 API의 실패율

인간 개입

• 승인 요청 비율
• 담당자가 결정을 변경한 비율
• 에이전트에서 사람에게 이관된 비율
• 사람이 개입하기까지 걸린 시간

지표는 업무의 위험 수준에 따라 달라져야 한다. 회의록 작성 에이전트와 결제 에이전트에 동일한 성공 기준을 적용할 수는 없다.

관찰에서 자동 대응으로

옵저버빌리티의 목적은 보고서를 만드는 데 그치지 않는다. 위험한 행동을 발견하면 실행을 중단하거나 사람에게 전달할 수 있어야 한다.

예를 들어 다음과 같은 정책을 적용할 수 있다.

• 동일 API를 일정 횟수 이상 호출하면 작업 중지
• 승인 한도를 넘는 결제는 담당자에게 이관
• 신뢰도가 낮은 문서만 검색되면 답변 생성 중단
• 개인정보가 포함된 입력은 외부 모델로 전송 금지
• 평소와 다른 도구 호출 순서가 나타나면 경고
• 에이전트 간 반복 위임이 발생하면 루프 차단

이 구조는 관찰, 판단, 통제가 하나의 운영 체계로 연결돼야 효과가 있다.

모든 내용을 기록하면 안전할까

상세한 로그는 문제 분석에 도움이 되지만 새로운 보안 위험을 만들 수도 있다. 프롬프트와 도구의 응답에는 개인정보, 계약정보, 인증 토큰과 사내 기밀이 포함될 수 있기 때문이다.

따라서 기록 단계에서도 다음 원칙이 필요하다.

• 민감정보 마스킹과 비식별화
• 로그 접근 권한 최소화
• 업무별 보관 기간 설정
• 원문과 요약 기록의 분리
• 위변조 방지와 감사 이력 관리
• 외부 관측 도구로 전송할 데이터 제한

많이 저장하는 것이 항상 좋은 옵저버빌리티는 아니다. 문제를 재현할 수 있을 만큼 기록하되 불필요한 민감정보는 남기지 않아야 한다.

기업이 도입할 때 확인할 사항

1. 사용자 요청부터 최종 실행까지 하나의 트레이스로 연결되는가?
2. 모델, 프롬프트, 검색 문서의 버전을 확인할 수 있는가?
3. 에이전트 간 위임과 도구 호출을 함께 추적할 수 있는가?
4. 기술적 성공과 업무적 성공을 구분하는가?
5. 이상 행동이 발생하면 자동으로 중단할 수 있는가?
6. 사고 발생 후 동일 조건을 재현할 수 있는가?
7. 기록에 포함된 개인정보와 기밀을 보호하는가?

Gartner는 AI를 배포한 조직 중 40%가 2028년까지 모델 성능을 관리하기 위해 AI 옵저버빌리티를 사용할 것으로 전망했다. 동시에 에이전틱 AI가 분석에서 실제 조치로 이어지려면 기술뿐 아니라 사람, 프로세스와 거버넌스의 변화가 필요하다고 설명했다.

참고: Gartner, AI Infrastructure and Observability Trends

마치며

AI 에이전트 운영에서 중요한 것은 최종 답변만 확인하는 것이 아니다. 어떤 정보를 참고했고, 어떤 판단을 내렸으며, 무엇을 실행했는지 전체 흐름을 볼 수 있어야 한다.

에이전트 옵저버빌리티는 단순한 로그 수집 기술이 아니다. AI의 행동을 설명하고, 비용을 관리하며, 사고를 중단하고, 책임 소재를 확인하기 위한 운영 기반이다.

AI 에이전트에 더 많은 자율성을 부여할수록 조직은 그 행동을 더 투명하게 관찰할 수 있어야 한다.

AI 에이전트는 단순히 질문에 답하는 챗봇과 다르다. 고객의 환불 여부를 판단하거나 대출 심사 자료를 검토하고, 재고를 발주하거나 보안 경보에 대응하는 등 업무상의 결정을 내리고 실행할 수 있다.

에이전트의 자율성이 높아질수록 새로운 문제가 발생한다.

AI가 잘못된 결정을 내렸을 때 누가 책임질 것인가?

모델 관리에서 의사결정 관리로

기업은 그동안 AI 거버넌스를 주로 모델 중심으로 접근했다.

• 어떤 데이터로 학습했는가
• 정확도와 편향은 어느 정도인가
• 개인정보가 포함돼 있는가
• 유해하거나 부적절한 답변을 생성하는가

이러한 관리도 중요하지만 AI 에이전트 환경에서는 충분하지 않다. 같은 모델이라도 어떤 데이터와 도구를 제공받았는지, 어떤 규칙에 따라 행동했는지에 따라 전혀 다른 결과를 만들 수 있기 때문이다.

따라서 에이전트 시대에는 모델뿐 아니라 ‘결정’을 관리해야 한다.

Gartner는 이를 의사결정 거버넌스(Decision Governance)라는 흐름으로 설명한다. AI가 내리는 전략적·운영적 결정이 증가하면서 자동화된 결정의 근거, 책임, 감사 가능성을 관리해야 한다는 것이다.

참고: Gartner 2026 데이터·분석 트렌드

같은 결과라도 과정이 다를 수 있다

AI 에이전트가 고객의 환불 요청을 거절했다고 가정해 보자. 결과만 기록하면 “환불 불가”라는 사실만 남는다.

하지만 책임을 판단하려면 더 많은 정보가 필요하다.

• 어떤 환불 규정을 검색했는가
• 최신 규정이었는가
• 고객의 주문 상태를 정확히 조회했는가
• 예외 조건을 확인했는가
• 에이전트가 사용한 프롬프트와 모델은 무엇인가
• 사람의 승인이 필요한 업무였는가
• 최종적으로 어떤 시스템을 호출했는가

결정의 입력과 규칙, 판단 과정 및 실행 기록이 연결돼 있어야 사후 감사가 가능하다.

책임 주체를 먼저 정의해야 한다

AI가 결정을 내렸다는 이유로 책임까지 AI에 넘길 수는 없다. AI는 법적·조직적 책임을 지는 주체가 아니기 때문이다.

기업은 최소한 다음 역할을 구분해야 한다.

• 업무 책임자: 자동화 대상 업무와 정책 결정
• 시스템 책임자: 에이전트 설계와 운영
• 데이터 책임자: 데이터 품질과 접근 기준 관리
• 승인자: 고위험 결정의 최종 확인
• 감사 담당자: 기록 검토와 통제 점검

문제가 발생한 뒤 책임자를 찾는 것이 아니라 에이전트를 도입하기 전에 결정별 책임자를 지정해야 한다.

모든 결정을 동일하게 자동화할 수는 없다

AI 에이전트가 수행하는 업무는 위험 수준에 따라 구분할 필요가 있다.

낮은 위험

• 회의 일정 후보 작성
• 공개 자료 검색
• 문서 형식 변환
• 내부 보고서 초안 작성

이러한 업무는 에이전트가 자동으로 수행하고, 필요할 때 사용자가 검토하는 방식이 적합하다.

중간 위험

• 고객 응답 초안
• 구매 요청 생성
• 재고 발주 추천
• 계약서 조항 검토

AI가 처리하되 최종 실행 전에 담당자의 승인을 받도록 설계할 수 있다.

높은 위험

• 대출 승인 또는 거절
• 채용 대상자 자동 탈락
• 의료 진단과 처방
• 고액 송금
• 직원에 대한 징계 결정

이러한 업무는 사람의 실질적인 판단과 책임이 반드시 포함돼야 한다. 단순히 승인 버튼만 누르게 하는 형식적인 검토는 적절한 인간 감독이라고 보기 어렵다.

의사결정 거버넌스의 핵심 요소

1. 결정 규칙의 명시

에이전트가 무엇을 기준으로 판단해야 하는지 업무 규칙을 구체적으로 정의해야 한다. “적절하게 처리하라”와 같은 추상적인 지시는 일관된 결과를 보장하기 어렵다.

2. 권한과 한도의 설정

조회, 작성, 승인, 실행 권한을 분리하고 금액·대상·횟수 등의 한도를 설정해야 한다. 에이전트에는 업무에 필요한 최소 권한만 부여한다.

3. 전체 과정의 기록

최종 결과뿐 아니라 사용 데이터, 검색 자료, 도구 호출, 다른 에이전트와의 통신, 사람의 승인 내역을 함께 기록해야 한다.

4. 설명 가능성

결정의 근거를 사람이 이해할 수 있어야 한다. 특히 고객이나 직원의 권리에 영향을 주는 결정이라면 어떤 정보와 규칙이 적용됐는지 설명할 수 있어야 한다.

5. 중단과 복구

이상 행동이 발견되면 에이전트의 실행을 즉시 중지할 수 있어야 한다. 이미 실행된 작업을 취소하거나 이전 상태로 되돌리는 절차도 필요하다.

6. 지속적인 평가

도입 전 테스트만으로는 충분하지 않다. 정책과 데이터, 모델이 변하면 결과도 달라질 수 있으므로 운영 과정에서 오류율, 승인 취소율, 예외 발생률과 같은 지표를 계속 확인해야 한다.

제로트러스트와 의사결정 거버넌스

제로트러스트가 “이 에이전트가 이 시스템에 접근해도 되는가”를 통제한다면, 의사결정 거버넌스는 “이 에이전트가 이 결정을 내려도 되는가”를 통제한다.

두 체계는 함께 작동해야 한다.

접근 권한이 있더라도 모든 결정을 자율적으로 수행할 수 있는 것은 아니다. 반대로 올바른 판단을 내렸더라도 실행 권한이 없다면 실제 업무를 수행해서는 안 된다.

따라서 에이전트 보안은 인증과 권한 관리에서 끝나지 않는다. 결정의 근거와 책임, 실행 한도까지 포함해야 한다.

마치며

AI 에이전트의 핵심 위험은 틀린 답변만이 아니다. 잘못된 답변이 실제 업무 시스템을 통해 실행될 수 있다는 점이다.

앞으로 기업의 AI 경쟁력은 자율성을 얼마나 높였는지만으로 평가되지 않을 것이다. 어떤 결정은 자동화하고, 어떤 결정은 사람에게 남기며, 그 과정을 얼마나 투명하게 기록하는지가 더 중요해질 수 있다.

좋은 AI 에이전트는 모든 일을 스스로 처리하는 에이전트가 아니다. 허용된 범위 안에서 행동하고, 중요한 순간에는 사람에게 판단을 요청하며, 자신이 수행한 작업을 설명할 수 있는 에이전트다.