AI 에이전트는 단순히 질문에 답하는 챗봇과 다르다. 고객의 환불 여부를 판단하거나 대출 심사 자료를 검토하고, 재고를 발주하거나 보안 경보에 대응하는 등 업무상의 결정을 내리고 실행할 수 있다.

에이전트의 자율성이 높아질수록 새로운 문제가 발생한다.

AI가 잘못된 결정을 내렸을 때 누가 책임질 것인가?

모델 관리에서 의사결정 관리로

기업은 그동안 AI 거버넌스를 주로 모델 중심으로 접근했다.

• 어떤 데이터로 학습했는가
• 정확도와 편향은 어느 정도인가
• 개인정보가 포함돼 있는가
• 유해하거나 부적절한 답변을 생성하는가

이러한 관리도 중요하지만 AI 에이전트 환경에서는 충분하지 않다. 같은 모델이라도 어떤 데이터와 도구를 제공받았는지, 어떤 규칙에 따라 행동했는지에 따라 전혀 다른 결과를 만들 수 있기 때문이다.

따라서 에이전트 시대에는 모델뿐 아니라 ‘결정’을 관리해야 한다.

Gartner는 이를 의사결정 거버넌스(Decision Governance)라는 흐름으로 설명한다. AI가 내리는 전략적·운영적 결정이 증가하면서 자동화된 결정의 근거, 책임, 감사 가능성을 관리해야 한다는 것이다.

참고: Gartner 2026 데이터·분석 트렌드

같은 결과라도 과정이 다를 수 있다

AI 에이전트가 고객의 환불 요청을 거절했다고 가정해 보자. 결과만 기록하면 “환불 불가”라는 사실만 남는다.

하지만 책임을 판단하려면 더 많은 정보가 필요하다.

• 어떤 환불 규정을 검색했는가
• 최신 규정이었는가
• 고객의 주문 상태를 정확히 조회했는가
• 예외 조건을 확인했는가
• 에이전트가 사용한 프롬프트와 모델은 무엇인가
• 사람의 승인이 필요한 업무였는가
• 최종적으로 어떤 시스템을 호출했는가

결정의 입력과 규칙, 판단 과정 및 실행 기록이 연결돼 있어야 사후 감사가 가능하다.

책임 주체를 먼저 정의해야 한다

AI가 결정을 내렸다는 이유로 책임까지 AI에 넘길 수는 없다. AI는 법적·조직적 책임을 지는 주체가 아니기 때문이다.

기업은 최소한 다음 역할을 구분해야 한다.

• 업무 책임자: 자동화 대상 업무와 정책 결정
• 시스템 책임자: 에이전트 설계와 운영
• 데이터 책임자: 데이터 품질과 접근 기준 관리
• 승인자: 고위험 결정의 최종 확인
• 감사 담당자: 기록 검토와 통제 점검

문제가 발생한 뒤 책임자를 찾는 것이 아니라 에이전트를 도입하기 전에 결정별 책임자를 지정해야 한다.

모든 결정을 동일하게 자동화할 수는 없다

AI 에이전트가 수행하는 업무는 위험 수준에 따라 구분할 필요가 있다.

낮은 위험

• 회의 일정 후보 작성
• 공개 자료 검색
• 문서 형식 변환
• 내부 보고서 초안 작성

이러한 업무는 에이전트가 자동으로 수행하고, 필요할 때 사용자가 검토하는 방식이 적합하다.

중간 위험

• 고객 응답 초안
• 구매 요청 생성
• 재고 발주 추천
• 계약서 조항 검토

AI가 처리하되 최종 실행 전에 담당자의 승인을 받도록 설계할 수 있다.

높은 위험

• 대출 승인 또는 거절
• 채용 대상자 자동 탈락
• 의료 진단과 처방
• 고액 송금
• 직원에 대한 징계 결정

이러한 업무는 사람의 실질적인 판단과 책임이 반드시 포함돼야 한다. 단순히 승인 버튼만 누르게 하는 형식적인 검토는 적절한 인간 감독이라고 보기 어렵다.

의사결정 거버넌스의 핵심 요소

1. 결정 규칙의 명시

에이전트가 무엇을 기준으로 판단해야 하는지 업무 규칙을 구체적으로 정의해야 한다. “적절하게 처리하라”와 같은 추상적인 지시는 일관된 결과를 보장하기 어렵다.

2. 권한과 한도의 설정

조회, 작성, 승인, 실행 권한을 분리하고 금액·대상·횟수 등의 한도를 설정해야 한다. 에이전트에는 업무에 필요한 최소 권한만 부여한다.

3. 전체 과정의 기록

최종 결과뿐 아니라 사용 데이터, 검색 자료, 도구 호출, 다른 에이전트와의 통신, 사람의 승인 내역을 함께 기록해야 한다.

4. 설명 가능성

결정의 근거를 사람이 이해할 수 있어야 한다. 특히 고객이나 직원의 권리에 영향을 주는 결정이라면 어떤 정보와 규칙이 적용됐는지 설명할 수 있어야 한다.

5. 중단과 복구

이상 행동이 발견되면 에이전트의 실행을 즉시 중지할 수 있어야 한다. 이미 실행된 작업을 취소하거나 이전 상태로 되돌리는 절차도 필요하다.

6. 지속적인 평가

도입 전 테스트만으로는 충분하지 않다. 정책과 데이터, 모델이 변하면 결과도 달라질 수 있으므로 운영 과정에서 오류율, 승인 취소율, 예외 발생률과 같은 지표를 계속 확인해야 한다.

제로트러스트와 의사결정 거버넌스

제로트러스트가 “이 에이전트가 이 시스템에 접근해도 되는가”를 통제한다면, 의사결정 거버넌스는 “이 에이전트가 이 결정을 내려도 되는가”를 통제한다.

두 체계는 함께 작동해야 한다.

접근 권한이 있더라도 모든 결정을 자율적으로 수행할 수 있는 것은 아니다. 반대로 올바른 판단을 내렸더라도 실행 권한이 없다면 실제 업무를 수행해서는 안 된다.

따라서 에이전트 보안은 인증과 권한 관리에서 끝나지 않는다. 결정의 근거와 책임, 실행 한도까지 포함해야 한다.

마치며

AI 에이전트의 핵심 위험은 틀린 답변만이 아니다. 잘못된 답변이 실제 업무 시스템을 통해 실행될 수 있다는 점이다.

앞으로 기업의 AI 경쟁력은 자율성을 얼마나 높였는지만으로 평가되지 않을 것이다. 어떤 결정은 자동화하고, 어떤 결정은 사람에게 남기며, 그 과정을 얼마나 투명하게 기록하는지가 더 중요해질 수 있다.

좋은 AI 에이전트는 모든 일을 스스로 처리하는 에이전트가 아니다. 허용된 범위 안에서 행동하고, 중요한 순간에는 사람에게 판단을 요청하며, 자신이 수행한 작업을 설명할 수 있는 에이전트다.

AI 에이전트 보안과 제로트러스트

한눈에 보기

• 핵심: AI 에이전트가 이메일·웹·DB·업무시스템을 이용해 행동하면서 기존 계정 보안만으로는 충분하지 않게 되었다.
• 주요 위험: 간접 프롬프트 인젝션, 과도한 권한, 데이터 유출, 잘못된 자동 실행, 행동 추적의 어려움
• 대응 방향: 에이전트에도 고유한 신원과 최소 권한을 부여하고, 매 요청을 검증하며, 중요한 행동은 사람이 승인하고 전 과정을 기록한다.

1. 제로트러스트란?

제로트러스트는 내부망에 있다는 이유만으로 사용자를 신뢰하지 않고, 데이터와 시스템에 접근할 때마다 신원·기기·상황·권한을 계속 확인하는 보안 원칙이다.

핵심 원칙은 다음과 같다.

1. 명시적으로 검증한다.
2. 필요한 최소 권한만 부여한다.
3. 침해가 이미 발생했다고 가정한다.
4. 네트워크와 자원을 세분화한다.
5. 접근과 행동을 지속해서 기록·분석한다.

NIST는 2025년 상용 기술을 활용한 19개의 제로트러스트 구현 예시를 공개해 실제 적용 가능한 구조를 제시했다.

2. AI 에이전트에 새로운 보안이 필요한 이유

기존 애플리케이션은 개발자가 정한 흐름을 수행하지만, AI 에이전트는 상황에 따라 다음 행동과 도구를 스스로 선택한다. 이 때문에 정상 요청과 악의적 지시의 경계가 흐려질 수 있다.

간접 프롬프트 인젝션

공격자가 이메일·문서·웹페이지 같은 외부 데이터에 악성 명령을 숨겨두고, 에이전트가 이를 업무 데이터가 아닌 명령으로 받아들이도록 하는 공격이다.

정상 사용자 요청
  → AI가 외부 문서 조회
  → 문서 속 악성 명령을 지시로 오인
  → 민감정보 조회·전송 또는 잘못된 시스템 실행

NIST의 대규모 레드팀 연구에서는 조사한 모든 대상 프런티어 모델에서 최소 한 번 이상의 에이전트 탈취 공격 성공 사례가 발견됐다. 따라서 모델의 안전장치만 믿기보다 실행 환경의 권한을 제한해야 한다.

3. 주요 위협과 대응

위협 발생 예시 대응 방법

4. 안전한 AI 에이전트 구조

사용자 인증
  → 정책 엔진에서 요청·상황 검사
  → 제한된 에이전트 권한 발급
  → 허용된 도구만 호출
  → 중요 행동은 사용자·담당자 승인
  → 입력·판단·도구 호출·결과를 감사로그로 저장
  → 이상행동 실시간 탐지

필수 통제

• 에이전트 고유 신원과 인증
• 작업 단위의 짧은 권한 수명
• 읽기와 쓰기 권한 분리
• 금액·데이터 민감도에 따른 승인 단계
• 허용된 API와 명령 목록
• 샌드박스와 네트워크 격리
• 프롬프트·모델·도구 버전 기록
• 레드팀, 반복 공격, 실패 시나리오 평가

5. 금융기관에서 특히 중요한 이유

• 금융 에이전트는 계좌, 거래, 개인·신용정보와 직접 연결될 수 있다.
• 잘못된 행동 한 번이 금전 손실과 금융사고로 이어질 수 있다.
• 금융기관은 전자금융과 개인정보 관련 규제를 충족해야 한다.
• 장애와 사고 발생 후 거래·판단 근거를 재현할 수 있어야 한다.
• 대국민 신뢰가 핵심이므로 편리함보다 안전한 단계적 도입이 중요하다.

출처

• NIST — AI Agent Standards Initiative
• NIST — AI 에이전트 보안 고려사항 분석 (2026-05-18)
• NIST — AI 에이전트 탈취 레드팀 연구 (2026-03-23)
• NIST — 제로트러스트 아키텍처 구현 가이드 (2025-06-10)
• NIST — 소프트웨어·AI 에이전트 신원 및 권한 개념서 (2026)