AI 에이전트는 단순히 질문에 답하는 챗봇과 다르다. 고객의 환불 여부를 판단하거나 대출 심사 자료를 검토하고, 재고를 발주하거나 보안 경보에 대응하는 등 업무상의 결정을 내리고 실행할 수 있다.

에이전트의 자율성이 높아질수록 새로운 문제가 발생한다.

AI가 잘못된 결정을 내렸을 때 누가 책임질 것인가?

모델 관리에서 의사결정 관리로

기업은 그동안 AI 거버넌스를 주로 모델 중심으로 접근했다.

• 어떤 데이터로 학습했는가
• 정확도와 편향은 어느 정도인가
• 개인정보가 포함돼 있는가
• 유해하거나 부적절한 답변을 생성하는가

이러한 관리도 중요하지만 AI 에이전트 환경에서는 충분하지 않다. 같은 모델이라도 어떤 데이터와 도구를 제공받았는지, 어떤 규칙에 따라 행동했는지에 따라 전혀 다른 결과를 만들 수 있기 때문이다.

따라서 에이전트 시대에는 모델뿐 아니라 ‘결정’을 관리해야 한다.

Gartner는 이를 의사결정 거버넌스(Decision Governance)라는 흐름으로 설명한다. AI가 내리는 전략적·운영적 결정이 증가하면서 자동화된 결정의 근거, 책임, 감사 가능성을 관리해야 한다는 것이다.

참고: Gartner 2026 데이터·분석 트렌드

같은 결과라도 과정이 다를 수 있다

AI 에이전트가 고객의 환불 요청을 거절했다고 가정해 보자. 결과만 기록하면 “환불 불가”라는 사실만 남는다.

하지만 책임을 판단하려면 더 많은 정보가 필요하다.

• 어떤 환불 규정을 검색했는가
• 최신 규정이었는가
• 고객의 주문 상태를 정확히 조회했는가
• 예외 조건을 확인했는가
• 에이전트가 사용한 프롬프트와 모델은 무엇인가
• 사람의 승인이 필요한 업무였는가
• 최종적으로 어떤 시스템을 호출했는가

결정의 입력과 규칙, 판단 과정 및 실행 기록이 연결돼 있어야 사후 감사가 가능하다.

책임 주체를 먼저 정의해야 한다

AI가 결정을 내렸다는 이유로 책임까지 AI에 넘길 수는 없다. AI는 법적·조직적 책임을 지는 주체가 아니기 때문이다.

기업은 최소한 다음 역할을 구분해야 한다.

• 업무 책임자: 자동화 대상 업무와 정책 결정
• 시스템 책임자: 에이전트 설계와 운영
• 데이터 책임자: 데이터 품질과 접근 기준 관리
• 승인자: 고위험 결정의 최종 확인
• 감사 담당자: 기록 검토와 통제 점검

문제가 발생한 뒤 책임자를 찾는 것이 아니라 에이전트를 도입하기 전에 결정별 책임자를 지정해야 한다.

모든 결정을 동일하게 자동화할 수는 없다

AI 에이전트가 수행하는 업무는 위험 수준에 따라 구분할 필요가 있다.

낮은 위험

• 회의 일정 후보 작성
• 공개 자료 검색
• 문서 형식 변환
• 내부 보고서 초안 작성

이러한 업무는 에이전트가 자동으로 수행하고, 필요할 때 사용자가 검토하는 방식이 적합하다.

중간 위험

• 고객 응답 초안
• 구매 요청 생성
• 재고 발주 추천
• 계약서 조항 검토

AI가 처리하되 최종 실행 전에 담당자의 승인을 받도록 설계할 수 있다.

높은 위험

• 대출 승인 또는 거절
• 채용 대상자 자동 탈락
• 의료 진단과 처방
• 고액 송금
• 직원에 대한 징계 결정

이러한 업무는 사람의 실질적인 판단과 책임이 반드시 포함돼야 한다. 단순히 승인 버튼만 누르게 하는 형식적인 검토는 적절한 인간 감독이라고 보기 어렵다.

의사결정 거버넌스의 핵심 요소

1. 결정 규칙의 명시

에이전트가 무엇을 기준으로 판단해야 하는지 업무 규칙을 구체적으로 정의해야 한다. “적절하게 처리하라”와 같은 추상적인 지시는 일관된 결과를 보장하기 어렵다.

2. 권한과 한도의 설정

조회, 작성, 승인, 실행 권한을 분리하고 금액·대상·횟수 등의 한도를 설정해야 한다. 에이전트에는 업무에 필요한 최소 권한만 부여한다.

3. 전체 과정의 기록

최종 결과뿐 아니라 사용 데이터, 검색 자료, 도구 호출, 다른 에이전트와의 통신, 사람의 승인 내역을 함께 기록해야 한다.

4. 설명 가능성

결정의 근거를 사람이 이해할 수 있어야 한다. 특히 고객이나 직원의 권리에 영향을 주는 결정이라면 어떤 정보와 규칙이 적용됐는지 설명할 수 있어야 한다.

5. 중단과 복구

이상 행동이 발견되면 에이전트의 실행을 즉시 중지할 수 있어야 한다. 이미 실행된 작업을 취소하거나 이전 상태로 되돌리는 절차도 필요하다.

6. 지속적인 평가

도입 전 테스트만으로는 충분하지 않다. 정책과 데이터, 모델이 변하면 결과도 달라질 수 있으므로 운영 과정에서 오류율, 승인 취소율, 예외 발생률과 같은 지표를 계속 확인해야 한다.

제로트러스트와 의사결정 거버넌스

제로트러스트가 “이 에이전트가 이 시스템에 접근해도 되는가”를 통제한다면, 의사결정 거버넌스는 “이 에이전트가 이 결정을 내려도 되는가”를 통제한다.

두 체계는 함께 작동해야 한다.

접근 권한이 있더라도 모든 결정을 자율적으로 수행할 수 있는 것은 아니다. 반대로 올바른 판단을 내렸더라도 실행 권한이 없다면 실제 업무를 수행해서는 안 된다.

따라서 에이전트 보안은 인증과 권한 관리에서 끝나지 않는다. 결정의 근거와 책임, 실행 한도까지 포함해야 한다.

마치며

AI 에이전트의 핵심 위험은 틀린 답변만이 아니다. 잘못된 답변이 실제 업무 시스템을 통해 실행될 수 있다는 점이다.

앞으로 기업의 AI 경쟁력은 자율성을 얼마나 높였는지만으로 평가되지 않을 것이다. 어떤 결정은 자동화하고, 어떤 결정은 사람에게 남기며, 그 과정을 얼마나 투명하게 기록하는지가 더 중요해질 수 있다.

좋은 AI 에이전트는 모든 일을 스스로 처리하는 에이전트가 아니다. 허용된 범위 안에서 행동하고, 중요한 순간에는 사람에게 판단을 요청하며, 자신이 수행한 작업을 설명할 수 있는 에이전트다.

기업에서 생성형 AI를 활용하는 방식은 빠르게 발전하고 있다. 초기에는 사내 문서를 검색해 답변하는 RAG가 중심이었다. 이후 AI가 문서를 작성하거나 시스템을 조작하는 업무자동화 단계로 넘어갔고, 최근에는 여러 AI 에이전트가 역할을 나누어 협업하는 구조가 주목받고 있다.

이 과정에서 등장한 핵심 기술이 MCP와 A2A다.

RAG만으로 업무자동화가 어려운 이유

RAG(Retrieval-Augmented Generation)는 AI가 외부 지식을 검색해 답변하도록 만드는 기술이다. 사내 규정, 업무 매뉴얼, 상품 설명서와 같은 문서를 검색하고 관련 내용을 생성형 AI에 전달함으로써 답변의 정확도를 높인다.

하지만 RAG의 역할은 기본적으로 ‘정보 제공’에 가깝다.

예를 들어 사용자가 “지난달 매출 실적을 분석하고 부진한 상품의 프로모션 계획을 만들어줘”라고 요청했다고 가정해 보자. 이 업무를 완료하려면 AI가 다음과 같은 작업을 수행해야 한다.

1. 데이터베이스에서 매출 데이터 조회
2. 상품별 실적 분석
3. 재고 시스템 확인
4. 프로모션 계획 작성
5. 담당자에게 검토 요청
6. 승인 후 마케팅 시스템에 등록

문서를 검색하는 것만으로는 이 과정을 모두 처리하기 어렵다. AI가 데이터와 업무 도구에 접근하고, 다른 에이전트와 협력할 수 있어야 한다.

MCP란 무엇인가

MCP(Model Context Protocol)는 AI 애플리케이션이 외부 데이터와 도구를 일정한 방식으로 연결하도록 만든 개방형 프로토콜이다.

기존에는 AI 모델을 데이터베이스, 파일 시스템, 협업 도구 또는 사내 API와 연결할 때마다 별도의 연동 코드를 개발해야 했다. 연결 대상이 늘어날수록 개발과 유지보수 부담도 커졌다.

MCP는 AI가 사용할 수 있는 데이터와 기능을 표준화된 형태로 제공한다. 이를 통해 AI 에이전트는 사내 문서 검색, 데이터베이스 조회, 이메일 발송, 일정 확인, 파일 생성과 같은 기능을 발견하고 사용할 수 있다.

쉽게 표현하면 MCP는 AI 에이전트가 업무 도구를 연결할 수 있게 해주는 ‘공통 연결 규격’이다.

A2A란 무엇인가

MCP가 에이전트와 도구를 연결한다면, A2A(Agent-to-Agent)는 서로 다른 AI 에이전트를 연결한다.

하나의 에이전트가 모든 업무를 담당하게 만들면 시스템이 지나치게 복잡해질 수 있다. 실제 기업에서는 역할별 에이전트를 구성하는 방식이 더 현실적이다.

예를 들어 고객의 환불 요청을 처리할 때 다음과 같이 역할을 나눌 수 있다.

• 고객상담 에이전트: 요청 내용 파악
• 주문관리 에이전트: 주문과 배송 상태 확인
• 정책 에이전트: 환불 규정 판단
• 결제 에이전트: 환불 실행
• 감사 에이전트: 처리 과정 기록

A2A는 서로 다른 회사나 개발 프레임워크에서 만들어진 에이전트가 상대방의 기능을 확인하고, 작업을 요청하며, 처리 결과를 주고받도록 지원한다.

Linux Foundation에 따르면 A2A는 2026년 4월 기준 150개 이상의 조직이 지원하고 있으며 Google, Microsoft, AWS를 비롯한 주요 플랫폼에 통합되고 있다. 공급망, 금융, 보험, IT 운영 분야에서는 실제 적용도 시작됐다.

참고: Linux Foundation A2A 발표

MCP와 A2A의 차이

구분 MCP A2A

RAG가 AI에게 필요한 지식을 제공한다면 MCP는 업무 도구를 제공하고, A2A는 함께 일할 동료 에이전트를 연결한다.

표준화가 모든 문제를 해결하지는 않는다

연결이 쉬워질수록 보안 문제는 더 중요해진다. MCP 서버나 외부 에이전트가 신뢰할 수 없는 정보를 제공할 수도 있고, AI가 필요 이상의 권한을 사용할 수도 있다.

따라서 기업은 다음과 같은 통제 체계를 함께 마련해야 한다.

• 에이전트별 최소 권한 부여
• 사용자와 에이전트의 신원 확인
• 중요한 작업에 대한 사람의 승인
• 도구 호출과 에이전트 통신 기록
• 외부 에이전트의 신뢰 수준 검증
• 입력 데이터와 응답에 대한 보안 검사

결국 MCP와 A2A는 연결을 위한 기술 표준이지, 보안과 거버넌스를 자동으로 보장하는 기술은 아니다.

마치며

기업의 생성형 AI는 문서를 검색하는 RAG에서 실제 업무를 수행하는 AI 에이전트로 발전하고 있다. 앞으로는 하나의 강력한 모델보다 여러 시스템과 에이전트를 안전하게 연결하고 조정하는 능력이 더욱 중요해질 것이다.

RAG가 기업 지식을 AI와 연결했다면 MCP는 AI와 업무 도구를 연결하고, A2A는 AI와 AI를 연결한다. 이 세 가지 기술의 결합이 지식 기반 업무자동화의 다음 단계를 만들고 있다.

금융권 생성형 AI와 AI 에이전트

한눈에 보기

• 핵심: 생성형 AI가 질문에 답하는 도구에서 벗어나, 여러 시스템과 도구를 사용해 업무를 계획하고 실행하는 AI 에이전트로 발전하고 있다.
• 금융권의 변화: 상담·문서 요약 같은 보조 업무를 넘어 신용분석, 상품 추천, 이상거래 조사, 내부통제 점검 등으로 활용 범위가 넓어지고 있다.
• 중요한 조건: 금융에서는 정확성, 개인정보보호, 설명 가능성, 접근권한과 최종 책임을 확보해야 실제 업무에 적용할 수 있다.

1. 핵심 개념

생성형 AI

대규모 데이터를 학습한 모델이 질문에 대한 답변, 보고서, 코드, 이미지 등 새로운 결과물을 생성하는 기술이다.

AI 에이전트

사용자의 목표를 받아 다음 행동을 계획하고, API·DB·검색·업무시스템 같은 도구를 호출하며, 결과를 확인해 후속 작업까지 수행하는 시스템이다.

사용자 목표
  → 업무 계획
  → 필요한 데이터 조회
  → 도구·시스템 실행
  → 결과 검증
  → 사용자 승인 또는 최종 처리

단순 챗봇과의 가장 큰 차이는 답변 생성에 그치지 않고 외부 시스템에서 행동을 수행한다는 점이다.

2. 주목받는 이유

1. 자연어로 복잡한 금융 업무를 처리해 직원 생산성과 고객 편의성을 높일 수 있다.
2. 여러 시스템에 흩어진 정보를 검색·요약해 의사결정 시간을 줄일 수 있다.
3. 반복적인 심사·보고·점검 업무를 자동화할 수 있다.
4. 금융당국의 규제 개선으로 실제 금융 서비스 적용 속도가 빨라지고 있다.

금융위원회는 2026년 4월 보안 위험이 낮은 단순 생성형 AI 모델 변경의 경우 혁신금융서비스 재지정 없이 서면확인으로 출시할 수 있도록 절차를 간소화했다. 이는 금융회사 내부 업무 효율화와 AI 기반 금융서비스 출시가 더 빨라질 수 있음을 의미한다.

3. 금융권 활용 사례

분야 활용 예시 기대 효과

AI가 대출 승인이나 송금 같은 중대한 결정을 완전히 단독 수행하기보다는, 위험도에 따라 사람의 승인과 검증을 포함하는 구조가 적절하다.

4. 핵심 기술

• RAG: 내부 규정·상품 설명서·공시 등 신뢰할 수 있는 문서를 검색한 후 답변 생성
• 도구 호출: API, 데이터베이스, 업무시스템을 AI가 정해진 방식으로 이용
• 에이전트 오케스트레이션: 계획, 실행, 검증 등 여러 단계와 역할을 관리
• 가드레일: 금지된 요청·개인정보·위험한 행동을 탐지하고 제한
• LLMOps: 모델 버전, 프롬프트, 품질, 비용, 지연시간과 오류를 지속 관리
• 평가 체계: 정확성, 근거성, 안전성, 편향, 보안과 업무 성과를 측정

5. 한계와 위험 요소

위험 설명 대응 방향

출처

• 금융위원회 — 생성형 AI 모델 변경 시 혁신금융서비스 절차 개선 (2026-04-15)
• NIST — AI Agent Standards Initiative (2026)
• NIST — AI 에이전트 보안 고려사항 분석 (2026-05-18)
• IBK기업은행 — 2025 연차보고서 및 2026 추진 방향