기업이 생성형 AI를 도입할 때 가장 먼저 비교하는 것은 모델의 성능과 가격이다. 그러나 금융, 공공, 의료와 같은 분야에서는 또 다른 질문이 중요하다.

“우리의 데이터는 어디에 저장되고, 누구의 법률과 통제를 받는가?”

AI가 국가 경제와 기업 운영의 핵심 기반으로 자리 잡으면서 소버린 AI(Sovereign AI)와 데이터 주권이 중요한 IT 전략으로 떠오르고 있다.

소버린 AI란 무엇인가

소버린 AI는 국가 또는 조직이 자국의 법률, 문화, 언어와 정책에 따라 AI 모델과 데이터, 인프라를 통제할 수 있는 역량을 의미한다.

단순히 국내 기업이 만든 AI 모델만을 뜻하지는 않는다. 다음과 같은 요소를 종합적으로 살펴봐야 한다.

• 데이터가 저장되고 처리되는 위치
• 모델과 클라우드 인프라의 운영 주체
• 적용되는 법률과 규제
• 학습 데이터와 모델에 대한 접근 권한
• 서비스 중단 시 대체 가능성
• 국가 언어와 문화적 맥락의 반영
• 반도체와 데이터센터를 포함한 공급망

해외 모델을 사용하더라도 데이터 처리와 암호키, 운영 권한을 국내에서 통제한다면 소버린 AI 전략의 일부가 될 수 있다. 반대로 국내 서비스라도 핵심 모델과 인프라를 외부 사업자에 전적으로 의존한다면 완전한 통제력을 확보했다고 보기 어렵다.

데이터 주권과 데이터 현지화의 차이

두 개념은 비슷해 보이지만 동일하지 않다.

데이터 현지화는 데이터를 특정 국가 또는 지역 안에 저장하고 처리하도록 요구하는 것이다. 저장 위치에 초점을 둔다.

데이터 주권은 데이터가 어느 국가의 법률과 통제를 받는지를 의미한다. 데이터가 국내 데이터센터에 있더라도 해외 사업자의 운영 정책이나 외국 법률의 영향을 받는다면 주권 문제가 남을 수 있다.

따라서 기업은 데이터센터 위치만 확인해서는 안 된다. 운영자의 접근 권한, 암호키 관리, 백업 위치, 장애 대응과 정부의 정보 제공 요구 가능성까지 검토해야 한다.

왜 지금 중요해졌는가

기존 클라우드에서도 데이터 주권은 중요한 문제였다. 생성형 AI 시대에는 모델이 기업의 핵심 데이터와 업무 판단에 직접 관여하면서 영향이 더 커졌다.

AI 에이전트는 다음과 같은 정보에 접근할 수 있다.

• 고객과 임직원의 개인정보
• 기업의 계약서와 내부 규정
• 재무·신용·거래정보
• 소스코드와 기술문서
• 의료기록과 상담 내용
• 경영진의 의사결정 자료

이 데이터가 어느 환경에서 처리되는지, 모델 학습에 다시 사용되는지, 서비스 사업자가 어느 범위까지 접근할 수 있는지를 알 수 없다면 핵심 업무를 맡기기 어렵다.

Gartner는 2026년 주요 데이터·분석 트렌드의 첫 번째로 소버린 AI의 가속을 제시했다. 각국이 외부 국가에 대한 의존을 줄이고 AI 역량과 데이터 통제권을 확보하려는 움직임이 기업의 AI 로드맵에도 영향을 준다는 설명이다.

참고: Gartner, Top Trends for Data and Analytics 2026

소버린 AI가 중요한 산업

금융

금융회사는 신용정보와 거래정보를 처리하며 모델의 판단이 대출, 투자와 이상거래 탐지에 영향을 줄 수 있다. 데이터의 국외 이전, 외부 위탁, 설명 가능성과 감사 기록을 함께 관리해야 한다.

공공

행정, 국방과 국가 기반시설의 데이터는 외부 서비스 중단이나 정책 변경에 따라 사용할 수 없게 되는 상황을 피해야 한다. 국가 언어와 법률을 정확하게 반영하는 것도 중요하다.

의료

진료기록과 유전체 데이터는 유출됐을 때 되돌릴 수 없는 민감정보다. 저장 위치뿐 아니라 추론 과정에서의 데이터 전송과 모델 사업자의 접근 가능성을 확인해야 한다.

제조와 연구개발

설계도, 생산공정과 연구자료는 기업 경쟁력의 핵심이다. 외부 AI를 통한 지식재산 유출 가능성과 공급망 의존을 고려해야 한다.

모든 AI를 자체 구축해야 할까

소버린 AI가 반드시 모든 모델과 데이터센터를 직접 만들어야 한다는 뜻은 아니다. 자체 구축은 통제력을 높일 수 있지만 비용과 운영 난도가 크다.

기업은 업무의 위험 수준에 따라 다양한 방식을 조합할 수 있다.

업무 유형 가능한 운영 방식

중요한 것은 하나의 모델로 모든 업무를 처리하는 것이 아니라 데이터의 민감도, 업무 위험과 비용에 따라 적절한 모델을 선택하는 멀티모델 전략이다.

소버린 AI의 현실적인 과제

통제력을 높이면 새로운 비용과 문제가 발생한다.

• 데이터센터와 AI 가속기 확보 비용
• 최신 모델을 지속적으로 개선할 인력 부족
• 글로벌 대형 모델과의 성능 격차
• 국내 데이터만 사용했을 때의 다양성 부족
• 여러 모델과 환경을 운영하는 복잡성
• 자체 구축 시스템의 보안 책임 증가

자체 환경이라는 이유만으로 자동으로 안전해지는 것은 아니다. 보안 업데이트와 접근 통제를 제대로 운영하지 못하면 외부 클라우드보다 위험할 수도 있다.

기업이 확인해야 할 질문

AI 서비스를 도입할 때 다음 항목을 확인할 필요가 있다.

1. 입력 데이터와 결과는 어느 국가에 저장되는가?
2. 데이터 처리에는 어느 국가의 법률이 적용되는가?
3. 서비스 사업자가 입력 내용을 모델 학습에 사용하는가?
4. 운영자도 읽을 수 없도록 기업이 암호키를 통제할 수 있는가?
5. 데이터와 로그의 보관 기간을 설정할 수 있는가?
6. 계약 종료 시 데이터와 모델 자산을 이전할 수 있는가?
7. 서비스가 중단되면 다른 모델로 전환할 수 있는가?
8. AI가 내린 결정과 사용 데이터를 감사할 수 있는가?

이 질문에 답하지 못한다면 모델의 정확도가 높더라도 핵심 업무에 적용하기 어렵다.

마치며

소버린 AI는 국내 모델과 해외 모델 중 하나를 선택하는 단순한 문제가 아니다. 기업과 국가가 데이터, 모델, 인프라와 운영 정책을 어느 수준까지 통제할 것인지 결정하는 전략이다.

앞으로 AI 경쟁력은 가장 뛰어난 모델을 사용하는 것만으로 결정되지 않을 수 있다. 필요한 데이터를 안전하게 활용하고, 특정 공급자나 국가에 대한 의존을 관리하며, 환경 변화에도 서비스를 계속 운영할 수 있는 능력이 함께 필요하다.

AI 시대의 주권은 데이터를 국내에 보관하는 데서 끝나지 않는다. 누가 접근하고, 어떤 규칙으로 처리하며, 필요할 때 다른 선택으로 전환할 수 있는가까지 포함한다.

기존 챗봇이 잘못된 답변을 생성하면 사용자는 답변을 무시하고 다시 질문할 수 있었다. 그러나 AI 에이전트가 이메일을 보내고, 주문을 취소하고, 데이터베이스를 수정한다면 잘못된 판단이 실제 업무의 오류로 이어진다.

이때 필요한 것이 AI 에이전트 옵저버빌리티(Agent Observability)다. 에이전트가 어떤 판단 과정을 거쳐 무엇을 실행했는지 관찰하고 추적하는 체계다.

모니터링과 옵저버빌리티는 무엇이 다른가

전통적인 모니터링은 미리 정한 지표를 확인한다. 서버의 CPU 사용률, 응답시간, 오류율이 대표적이다. 문제가 무엇인지 이미 어느 정도 알고 있을 때 효과적이다.

옵저버빌리티는 로그, 메트릭, 트레이스 등 시스템이 남긴 정보를 바탕으로 예상하지 못한 문제의 원인을 파악하는 데 초점을 둔다.

AI 에이전트는 같은 요청에도 검색 결과, 모델 응답, 사용 가능한 도구와 이전 대화에 따라 다른 경로를 선택할 수 있다. 최종 응답만 저장해서는 왜 그런 결과가 나왔는지 알기 어렵다.

에이전트 트레이스란 무엇인가

에이전트 트레이스는 하나의 요청이 완료될 때까지 수행된 전체 과정을 연결한 기록이다.

고객 환불 업무라면 다음 내용이 포함될 수 있다.

1. 사용자가 입력한 요청
2. 에이전트가 세운 작업 계획
3. 검색한 환불 규정과 문서 버전
4. 주문 시스템에 전달한 조회 조건
5. 다른 에이전트에 위임한 작업
6. 각 단계에서 사용한 모델과 프롬프트
7. 사람에게 승인을 요청한 시점
8. 실제 환불 API 호출과 결과

이 기록이 연결돼야 “잘못된 문서를 검색했는지”, “규칙은 맞았지만 도구가 실패했는지”, “사용자 승인 범위를 넘었는지”를 구분할 수 있다.

일반 애플리케이션보다 관찰하기 어려운 이유

전통적인 프로그램은 정해진 조건에 따라 비교적 예측 가능한 경로로 동작한다. 반면 AI 에이전트는 자연어를 해석하고 다음 행동을 동적으로 선택한다.

오류의 원인도 다양하다.

• 사용자의 지시가 모호함
• 검색 문서가 오래되거나 잘못됨
• 모델이 도구의 용도를 잘못 이해함
• 다른 에이전트의 응답이 부정확함
• API는 성공했지만 업무 결과는 잘못됨
• 지나치게 많은 반복 호출로 비용 증가
• 중간 단계에서 오류가 발생했지만 작업은 계속 진행됨

HTTP 응답이 200이라는 사실만으로 업무가 정상적으로 완료됐다고 판단할 수 없는 이유다.

무엇을 측정해야 하는가

에이전트의 성능은 단순한 답변 정확도만으로 평가하기 어렵다. 실제 운영에서는 다음과 같은 지표가 필요하다.

업무 품질

• 목표 완료율
• 올바른 도구 선택 비율
• 잘못된 실행과 실행 취소 비율
• 사람의 수정 없이 완료된 비율
• 정책과 업무 규칙 위반 건수

운영 효율

• 업무당 모델 호출 횟수
• 평균 토큰과 비용
• 완료까지 걸린 시간
• 같은 작업을 반복한 횟수
• 외부 도구와 API의 실패율

인간 개입

• 승인 요청 비율
• 담당자가 결정을 변경한 비율
• 에이전트에서 사람에게 이관된 비율
• 사람이 개입하기까지 걸린 시간

지표는 업무의 위험 수준에 따라 달라져야 한다. 회의록 작성 에이전트와 결제 에이전트에 동일한 성공 기준을 적용할 수는 없다.

관찰에서 자동 대응으로

옵저버빌리티의 목적은 보고서를 만드는 데 그치지 않는다. 위험한 행동을 발견하면 실행을 중단하거나 사람에게 전달할 수 있어야 한다.

예를 들어 다음과 같은 정책을 적용할 수 있다.

• 동일 API를 일정 횟수 이상 호출하면 작업 중지
• 승인 한도를 넘는 결제는 담당자에게 이관
• 신뢰도가 낮은 문서만 검색되면 답변 생성 중단
• 개인정보가 포함된 입력은 외부 모델로 전송 금지
• 평소와 다른 도구 호출 순서가 나타나면 경고
• 에이전트 간 반복 위임이 발생하면 루프 차단

이 구조는 관찰, 판단, 통제가 하나의 운영 체계로 연결돼야 효과가 있다.

모든 내용을 기록하면 안전할까

상세한 로그는 문제 분석에 도움이 되지만 새로운 보안 위험을 만들 수도 있다. 프롬프트와 도구의 응답에는 개인정보, 계약정보, 인증 토큰과 사내 기밀이 포함될 수 있기 때문이다.

따라서 기록 단계에서도 다음 원칙이 필요하다.

• 민감정보 마스킹과 비식별화
• 로그 접근 권한 최소화
• 업무별 보관 기간 설정
• 원문과 요약 기록의 분리
• 위변조 방지와 감사 이력 관리
• 외부 관측 도구로 전송할 데이터 제한

많이 저장하는 것이 항상 좋은 옵저버빌리티는 아니다. 문제를 재현할 수 있을 만큼 기록하되 불필요한 민감정보는 남기지 않아야 한다.

기업이 도입할 때 확인할 사항

1. 사용자 요청부터 최종 실행까지 하나의 트레이스로 연결되는가?
2. 모델, 프롬프트, 검색 문서의 버전을 확인할 수 있는가?
3. 에이전트 간 위임과 도구 호출을 함께 추적할 수 있는가?
4. 기술적 성공과 업무적 성공을 구분하는가?
5. 이상 행동이 발생하면 자동으로 중단할 수 있는가?
6. 사고 발생 후 동일 조건을 재현할 수 있는가?
7. 기록에 포함된 개인정보와 기밀을 보호하는가?

Gartner는 AI를 배포한 조직 중 40%가 2028년까지 모델 성능을 관리하기 위해 AI 옵저버빌리티를 사용할 것으로 전망했다. 동시에 에이전틱 AI가 분석에서 실제 조치로 이어지려면 기술뿐 아니라 사람, 프로세스와 거버넌스의 변화가 필요하다고 설명했다.

참고: Gartner, AI Infrastructure and Observability Trends

마치며

AI 에이전트 운영에서 중요한 것은 최종 답변만 확인하는 것이 아니다. 어떤 정보를 참고했고, 어떤 판단을 내렸으며, 무엇을 실행했는지 전체 흐름을 볼 수 있어야 한다.

에이전트 옵저버빌리티는 단순한 로그 수집 기술이 아니다. AI의 행동을 설명하고, 비용을 관리하며, 사고를 중단하고, 책임 소재를 확인하기 위한 운영 기반이다.

AI 에이전트에 더 많은 자율성을 부여할수록 조직은 그 행동을 더 투명하게 관찰할 수 있어야 한다.

생성형 AI가 소프트웨어 개발에 처음 도입됐을 때 가장 주목받은 기능은 코드 자동완성이었다. 개발자가 함수 이름이나 주석을 입력하면 AI가 다음 코드를 제안하는 방식이었다.

최근에는 여기서 한 단계 더 나아가 요구사항을 분석하고, 여러 파일을 수정하고, 테스트를 실행한 뒤 오류까지 고치는 AI 코딩 에이전트가 등장하고 있다. 개발 도구가 조수에서 실제 작업을 위임받는 동료로 바뀌는 것이다.

코딩 도우미와 코딩 에이전트의 차이

기존 코딩 도우미는 개발자가 작성 중인 코드를 보완한다. 작업의 주도권은 개발자에게 있고 AI는 짧은 코드나 설명을 제안한다.

AI 코딩 에이전트는 목표를 전달받은 뒤 작업 과정을 스스로 구성한다.

예를 들어 “회원 탈퇴 기능을 추가해줘”라는 요청을 받으면 다음과 같은 단계를 수행할 수 있다.

1. 프로젝트 구조와 관련 코드 확인
2. 기존 회원·인증 로직 분석
3. 변경 계획 수립
4. API와 화면 코드 수정
5. 테스트 코드 작성과 실행
6. 실패 원인 분석 및 재수정
7. 변경 내용과 주의사항 정리

차이는 코드를 얼마나 길게 생성하느냐가 아니다. 목표를 작업으로 분해하고, 도구를 사용하며, 실행 결과를 바탕으로 다음 행동을 결정한다는 점이 핵심이다.

개발은 프롬프트보다 명세가 중요해진다

간단한 예제는 짧은 프롬프트만으로 만들 수 있지만 실제 서비스는 그렇지 않다. 업무 규칙, 예외 처리, 데이터 구조, 보안 기준과 기존 시스템의 제약을 함께 고려해야 한다.

따라서 에이전트에게 “기능을 알아서 만들어줘”라고 요청하는 것보다 다음 내용을 명확하게 제공하는 것이 중요하다.

• 기능의 목적과 대상 사용자
• 입력값과 예상 결과
• 정상 흐름과 예외 흐름
• 변경 가능한 파일과 금지된 영역
• 반드시 통과해야 하는 테스트
• 성능과 보안 기준
• 완료 여부를 판정할 조건

이런 방식은 명세 주도 개발(Spec-driven Development)과 연결된다. AI 시대의 개발자는 문법을 입력하는 사람에서 요구사항과 제약조건을 정확하게 설계하는 사람으로 역할이 이동할 수 있다.

하나의 에이전트에서 병렬 에이전트로

코딩 에이전트는 여러 작업을 동시에 수행하는 구조로 발전하고 있다. 하나의 에이전트가 모든 일을 순서대로 처리하는 대신 역할을 분리할 수 있다.

• 구현 에이전트: 기능 개발
• 테스트 에이전트: 테스트 작성과 실행
• 리뷰 에이전트: 코드 품질과 규칙 점검
• 보안 에이전트: 취약점과 비밀정보 노출 검사
• 문서화 에이전트: 변경사항과 사용법 작성

개발자는 이 결과를 조율하고 최종 결정을 내린다. Gartner는 기업용 코딩 에이전트가 코드 자동완성을 넘어 기획, 구현, 리뷰를 포함한 소프트웨어 개발 수명주기 전체로 확장되고 있다고 분석했다. 또한 2027년에는 에이전틱 코딩을 사용하는 개발팀의 65% 이상이 IDE를 필수가 아닌 선택적 도구로 보게 될 것으로 전망했다.

참고: Gartner, Enterprise AI Coding Agents

생산성이 높아져도 개발자가 사라지지 않는 이유

AI가 코드를 빠르게 생성하면 개발자가 필요 없어질 것이라는 예상도 있다. 하지만 코드 생성 속도와 소프트웨어의 완성도는 같은 개념이 아니다.

개발 과정에는 여전히 사람이 판단해야 하는 문제가 많다.

• 어떤 문제를 해결해야 하는가
• 기존 기능과 충돌하지 않는가
• 사용자의 실제 요구와 맞는가
• 보안과 개인정보 기준을 충족하는가
• 장애가 발생하면 복구할 수 있는가
• 앞으로 유지보수하기 쉬운 구조인가

AI는 주어진 목표를 빠르게 수행할 수 있지만 잘못된 목표가 주어졌는지까지 항상 판단하지는 못한다. 생성되는 코드가 늘어날수록 검토해야 할 코드도 증가할 수 있다.

새로운 위험: 빠르게 만들어지는 기술 부채

AI 코딩 에이전트는 개발 속도를 높이지만 잘못 사용하면 기술 부채도 빠르게 만들 수 있다.

대표적인 위험은 다음과 같다.

• 존재하지 않는 라이브러리나 API 사용
• 오래되거나 취약한 패키지 추가
• 비슷한 기능의 중복 구현
• 테스트를 통과하기 위한 임시 수정
• 인증과 권한 검사의 누락
• 비밀키와 개인정보의 외부 전송
• 라이선스를 확인하기 어려운 코드 생성

따라서 기업은 에이전트가 만든 코드를 일반 코드보다 덜 검토해서는 안 된다. 코드 리뷰, 자동 테스트, 보안 검사와 배포 승인 절차를 함께 적용해야 한다.

기업이 준비해야 할 것

코딩 에이전트를 전사적으로 도입하려면 도구 구매보다 운영 기준을 먼저 준비해야 한다.

1. AI가 접근할 수 있는 저장소와 데이터 범위 정의
2. 브랜치 생성, 병합, 배포 권한 분리
3. 프로젝트별 코딩 규칙과 아키텍처 문서화
4. 필수 테스트와 보안 검사를 자동화
5. AI가 만든 변경사항을 식별하고 기록
6. 생산성뿐 아니라 결함률과 재작업률 측정
7. 모델 사용량과 업무 완료당 비용 관리

단순히 생성된 코드 줄 수만 측정하면 실제 효과를 왜곡할 수 있다. 개발 시간, 리뷰 시간, 운영 장애, 수정 비용까지 포함해 평가해야 한다.

마치며

AI 코딩 에이전트는 개발자를 없애기보다 개발자가 일하는 방식을 바꾸고 있다. 직접 코드를 입력하는 시간은 줄고, 요구사항을 구조화하고 결과를 검증하며 여러 에이전트를 조율하는 역할은 커질 것이다.

앞으로 중요한 질문은 “AI가 코드를 작성할 수 있는가”가 아니다. AI가 만든 소프트웨어를 얼마나 신뢰할 수 있고, 기업이 그 과정을 얼마나 안전하게 통제할 수 있는가가 될 것이다.

AI 에이전트는 단순히 질문에 답하는 챗봇과 다르다. 고객의 환불 여부를 판단하거나 대출 심사 자료를 검토하고, 재고를 발주하거나 보안 경보에 대응하는 등 업무상의 결정을 내리고 실행할 수 있다.

에이전트의 자율성이 높아질수록 새로운 문제가 발생한다.

AI가 잘못된 결정을 내렸을 때 누가 책임질 것인가?

모델 관리에서 의사결정 관리로

기업은 그동안 AI 거버넌스를 주로 모델 중심으로 접근했다.

• 어떤 데이터로 학습했는가
• 정확도와 편향은 어느 정도인가
• 개인정보가 포함돼 있는가
• 유해하거나 부적절한 답변을 생성하는가

이러한 관리도 중요하지만 AI 에이전트 환경에서는 충분하지 않다. 같은 모델이라도 어떤 데이터와 도구를 제공받았는지, 어떤 규칙에 따라 행동했는지에 따라 전혀 다른 결과를 만들 수 있기 때문이다.

따라서 에이전트 시대에는 모델뿐 아니라 ‘결정’을 관리해야 한다.

Gartner는 이를 의사결정 거버넌스(Decision Governance)라는 흐름으로 설명한다. AI가 내리는 전략적·운영적 결정이 증가하면서 자동화된 결정의 근거, 책임, 감사 가능성을 관리해야 한다는 것이다.

참고: Gartner 2026 데이터·분석 트렌드

같은 결과라도 과정이 다를 수 있다

AI 에이전트가 고객의 환불 요청을 거절했다고 가정해 보자. 결과만 기록하면 “환불 불가”라는 사실만 남는다.

하지만 책임을 판단하려면 더 많은 정보가 필요하다.

• 어떤 환불 규정을 검색했는가
• 최신 규정이었는가
• 고객의 주문 상태를 정확히 조회했는가
• 예외 조건을 확인했는가
• 에이전트가 사용한 프롬프트와 모델은 무엇인가
• 사람의 승인이 필요한 업무였는가
• 최종적으로 어떤 시스템을 호출했는가

결정의 입력과 규칙, 판단 과정 및 실행 기록이 연결돼 있어야 사후 감사가 가능하다.

책임 주체를 먼저 정의해야 한다

AI가 결정을 내렸다는 이유로 책임까지 AI에 넘길 수는 없다. AI는 법적·조직적 책임을 지는 주체가 아니기 때문이다.

기업은 최소한 다음 역할을 구분해야 한다.

• 업무 책임자: 자동화 대상 업무와 정책 결정
• 시스템 책임자: 에이전트 설계와 운영
• 데이터 책임자: 데이터 품질과 접근 기준 관리
• 승인자: 고위험 결정의 최종 확인
• 감사 담당자: 기록 검토와 통제 점검

문제가 발생한 뒤 책임자를 찾는 것이 아니라 에이전트를 도입하기 전에 결정별 책임자를 지정해야 한다.

모든 결정을 동일하게 자동화할 수는 없다

AI 에이전트가 수행하는 업무는 위험 수준에 따라 구분할 필요가 있다.

낮은 위험

• 회의 일정 후보 작성
• 공개 자료 검색
• 문서 형식 변환
• 내부 보고서 초안 작성

이러한 업무는 에이전트가 자동으로 수행하고, 필요할 때 사용자가 검토하는 방식이 적합하다.

중간 위험

• 고객 응답 초안
• 구매 요청 생성
• 재고 발주 추천
• 계약서 조항 검토

AI가 처리하되 최종 실행 전에 담당자의 승인을 받도록 설계할 수 있다.

높은 위험

• 대출 승인 또는 거절
• 채용 대상자 자동 탈락
• 의료 진단과 처방
• 고액 송금
• 직원에 대한 징계 결정

이러한 업무는 사람의 실질적인 판단과 책임이 반드시 포함돼야 한다. 단순히 승인 버튼만 누르게 하는 형식적인 검토는 적절한 인간 감독이라고 보기 어렵다.

의사결정 거버넌스의 핵심 요소

1. 결정 규칙의 명시

에이전트가 무엇을 기준으로 판단해야 하는지 업무 규칙을 구체적으로 정의해야 한다. “적절하게 처리하라”와 같은 추상적인 지시는 일관된 결과를 보장하기 어렵다.

2. 권한과 한도의 설정

조회, 작성, 승인, 실행 권한을 분리하고 금액·대상·횟수 등의 한도를 설정해야 한다. 에이전트에는 업무에 필요한 최소 권한만 부여한다.

3. 전체 과정의 기록

최종 결과뿐 아니라 사용 데이터, 검색 자료, 도구 호출, 다른 에이전트와의 통신, 사람의 승인 내역을 함께 기록해야 한다.

4. 설명 가능성

결정의 근거를 사람이 이해할 수 있어야 한다. 특히 고객이나 직원의 권리에 영향을 주는 결정이라면 어떤 정보와 규칙이 적용됐는지 설명할 수 있어야 한다.

5. 중단과 복구

이상 행동이 발견되면 에이전트의 실행을 즉시 중지할 수 있어야 한다. 이미 실행된 작업을 취소하거나 이전 상태로 되돌리는 절차도 필요하다.

6. 지속적인 평가

도입 전 테스트만으로는 충분하지 않다. 정책과 데이터, 모델이 변하면 결과도 달라질 수 있으므로 운영 과정에서 오류율, 승인 취소율, 예외 발생률과 같은 지표를 계속 확인해야 한다.

제로트러스트와 의사결정 거버넌스

제로트러스트가 “이 에이전트가 이 시스템에 접근해도 되는가”를 통제한다면, 의사결정 거버넌스는 “이 에이전트가 이 결정을 내려도 되는가”를 통제한다.

두 체계는 함께 작동해야 한다.

접근 권한이 있더라도 모든 결정을 자율적으로 수행할 수 있는 것은 아니다. 반대로 올바른 판단을 내렸더라도 실행 권한이 없다면 실제 업무를 수행해서는 안 된다.

따라서 에이전트 보안은 인증과 권한 관리에서 끝나지 않는다. 결정의 근거와 책임, 실행 한도까지 포함해야 한다.

마치며

AI 에이전트의 핵심 위험은 틀린 답변만이 아니다. 잘못된 답변이 실제 업무 시스템을 통해 실행될 수 있다는 점이다.

앞으로 기업의 AI 경쟁력은 자율성을 얼마나 높였는지만으로 평가되지 않을 것이다. 어떤 결정은 자동화하고, 어떤 결정은 사람에게 남기며, 그 과정을 얼마나 투명하게 기록하는지가 더 중요해질 수 있다.

좋은 AI 에이전트는 모든 일을 스스로 처리하는 에이전트가 아니다. 허용된 범위 안에서 행동하고, 중요한 순간에는 사람에게 판단을 요청하며, 자신이 수행한 작업을 설명할 수 있는 에이전트다.

생성형 AI가 쇼핑에 활용되는 방식이 달라지고 있다. 지금까지의 AI 쇼핑 서비스는 상품을 검색하거나 추천하는 역할이 중심이었다. 최근에는 사용자의 조건에 맞는 상품을 찾고, 가격을 비교하고, 주문과 결제까지 수행하는 ‘에이전틱 커머스’로 발전하고 있다.

AI가 구매 조언을 제공하는 것을 넘어 실제 경제 활동의 주체처럼 행동하기 시작한 것이다.

에이전틱 커머스란 무엇인가

에이전틱 커머스는 AI 에이전트가 사용자를 대신해 쇼핑 과정의 일부 또는 전체를 수행하는 방식이다.

예를 들어 사용자가 다음과 같이 요청할 수 있다.

다음 주 부산 출장에 사용할 호텔을 찾아줘. 회사 근처이고, 1박당 15만 원 이하이며, 무료 취소가 가능해야 해. 조건이 맞으면 예약까지 진행해줘.

기존 AI는 조건에 맞는 호텔 목록과 예약 사이트 링크를 보여주는 데 그쳤다. 에이전틱 커머스에서는 AI가 여러 사이트를 비교하고, 예약 조건을 확인하고, 사전에 정한 범위 안에서 결제까지 실행할 수 있다.

적용 대상도 여행 예약에만 한정되지 않는다.

• 생필품 자동 주문
• 항공권과 호텔 예약
• 한정판 상품 구매
• 보험상품 비교와 가입 지원
• 기업의 소모품 구매
• 구독 서비스 변경과 해지
• 가격 하락 시 자동 구매

쇼핑의 중심이 사람이 직접 화면을 탐색하는 방식에서 AI에게 목표와 조건을 전달하는 방식으로 이동하는 셈이다.

왜 새로운 프로토콜이 필요한가

AI가 쇼핑을 수행하려면 다양한 시스템을 연결해야 한다. 상품 검색, 재고 확인, 할인 적용, 배송지 전달, 사용자 인증 및 결제가 서로 다른 사업자의 시스템에서 이루어지기 때문이다.

각 쇼핑몰이 AI 에이전트마다 별도의 연동 기능을 개발한다면 확장하기 어렵다. 이러한 문제를 해결하기 위해 등장한 것이 UCP와 AP2다.

UCP

UCP(Universal Commerce Protocol)는 상품 탐색부터 구매와 구매 이후 지원까지 쇼핑 전반을 연결하기 위한 개방형 표준이다.

Google은 2026년 1월 Shopify, Etsy, Wayfair, Target, Walmart 등과 함께 UCP를 발표했다. 이 규격은 MCP, A2A, AP2 등 기존 에이전트 프로토콜과 호환되도록 설계됐다.

참고: Google UCP 발표

AP2

AP2(Agent Payments Protocol)는 AI 에이전트가 사용자를 대신해 안전하게 결제를 수행하기 위한 프로토콜이다.

핵심은 AI가 임의로 결제하는 것이 아니라 사용자가 승인한 조건과 의도를 증명하는 것이다. 사용자는 금액, 상품 종류, 판매자, 기간과 같은 조건을 미리 설정하고 에이전트는 그 범위 안에서 거래를 실행한다.

Google은 2026년 4월 AP2를 FIDO Alliance에 기증하면서 특정 기업에 종속되지 않는 개방형 결제 표준으로 발전시키겠다고 발표했다. AP2 0.2에는 사용자가 결제 순간에 참여하지 않아도 사전 승인에 따라 에이전트가 거래하는 ‘Human Not Present’ 방식이 포함됐다.

참고: Google AP2 발표

AI 결제에서 중요한 것은 사용자의 의도다

기존 온라인 결제는 결제 시점에 사용자가 버튼을 누르거나 인증을 수행한다. 그러나 AI 에이전트가 특정 조건이 충족되는 순간 자동으로 결제한다면 사용자가 그 자리에 없을 수 있다.

이때 중요한 것이 ‘검증 가능한 의도’다.

예를 들어 사용자는 에이전트에 다음과 같은 권한을 줄 수 있다.

• 8월 31일까지 사용
• 30만 원 이하 결제
• 공식 판매처만 허용
• 해외 배송 상품 제외
• 취소가 가능한 상품만 구매

시스템은 이 조건이 사용자가 승인한 내용이며 이후 변조되지 않았다는 사실을 증명해야 한다. 그래야 판매자와 결제회사도 해당 거래를 신뢰할 수 있다.

책임과 보안 문제

에이전틱 커머스가 확산되면 편의성만큼 책임 문제도 커진다.

AI가 잘못된 상품을 구매했거나 동일한 상품을 중복 주문했다면 누가 책임져야 할까? 사용자의 조건이 모호했다면 판매자는 거래를 그대로 인정해야 할까? 에이전트 계정이 탈취됐을 때 기존 카드 결제와 동일한 방식으로 처리할 수 있을까?

이를 위해서는 다음과 같은 장치가 필요하다.

• 결제 금액과 횟수 제한
• 판매자와 상품 범위 제한
• 고액 거래에 대한 추가 승인
• 사용자의 승인 내용과 실행 기록 보존
• 구매 전 조건 재검증
• 취소·환불 절차의 자동 연계
• 에이전트용 인증정보와 개인 계정 분리

특히 에이전트에는 일반 사용자 계정을 그대로 제공하기보다 제한된 범위에서만 사용할 수 있는 별도의 위임 권한을 부여해야 한다.

기업의 준비사항

에이전틱 커머스는 온라인 쇼핑몰의 화면만 바꾸는 기술이 아니다. 상품 정보와 정책을 AI가 이해할 수 있는 구조로 제공해야 한다.

1. 상품·가격·재고 정보를 실시간으로 제공할 수 있는가?
2. 배송과 환불 정책이 구조화돼 있는가?
3. AI 에이전트가 호출할 수 있는 안전한 API가 있는가?
4. 에이전트가 수행한 거래를 구분하고 추적할 수 있는가?
5. 사용자 승인 범위를 결제 전에 검증할 수 있는가?

향후에는 검색 결과 상단에 노출되는 것뿐 아니라 AI 에이전트가 신뢰할 수 있는 상품 정보와 거래 조건을 제공하는 능력이 새로운 경쟁력이 될 가능성이 크다.

마치며

에이전틱 커머스는 AI가 상품을 추천하는 단계를 넘어 사용자를 대신해 거래하는 변화다. UCP가 쇼핑 과정의 공통 언어라면 AP2는 AI 결제를 안전하게 수행하기 위한 규칙이라고 할 수 있다.

앞으로 소비자는 여러 쇼핑몰을 직접 돌아다니는 대신 AI에게 원하는 결과와 예산을 알려주게 될 수 있다. 이때 경쟁력은 화려한 쇼핑 화면보다 에이전트가 이해하고 신뢰할 수 있는 데이터, 정책 그리고 결제 체계에서 나올 것이다.

기업에서 생성형 AI를 활용하는 방식은 빠르게 발전하고 있다. 초기에는 사내 문서를 검색해 답변하는 RAG가 중심이었다. 이후 AI가 문서를 작성하거나 시스템을 조작하는 업무자동화 단계로 넘어갔고, 최근에는 여러 AI 에이전트가 역할을 나누어 협업하는 구조가 주목받고 있다.

이 과정에서 등장한 핵심 기술이 MCP와 A2A다.

RAG만으로 업무자동화가 어려운 이유

RAG(Retrieval-Augmented Generation)는 AI가 외부 지식을 검색해 답변하도록 만드는 기술이다. 사내 규정, 업무 매뉴얼, 상품 설명서와 같은 문서를 검색하고 관련 내용을 생성형 AI에 전달함으로써 답변의 정확도를 높인다.

하지만 RAG의 역할은 기본적으로 ‘정보 제공’에 가깝다.

예를 들어 사용자가 “지난달 매출 실적을 분석하고 부진한 상품의 프로모션 계획을 만들어줘”라고 요청했다고 가정해 보자. 이 업무를 완료하려면 AI가 다음과 같은 작업을 수행해야 한다.

1. 데이터베이스에서 매출 데이터 조회
2. 상품별 실적 분석
3. 재고 시스템 확인
4. 프로모션 계획 작성
5. 담당자에게 검토 요청
6. 승인 후 마케팅 시스템에 등록

문서를 검색하는 것만으로는 이 과정을 모두 처리하기 어렵다. AI가 데이터와 업무 도구에 접근하고, 다른 에이전트와 협력할 수 있어야 한다.

MCP란 무엇인가

MCP(Model Context Protocol)는 AI 애플리케이션이 외부 데이터와 도구를 일정한 방식으로 연결하도록 만든 개방형 프로토콜이다.

기존에는 AI 모델을 데이터베이스, 파일 시스템, 협업 도구 또는 사내 API와 연결할 때마다 별도의 연동 코드를 개발해야 했다. 연결 대상이 늘어날수록 개발과 유지보수 부담도 커졌다.

MCP는 AI가 사용할 수 있는 데이터와 기능을 표준화된 형태로 제공한다. 이를 통해 AI 에이전트는 사내 문서 검색, 데이터베이스 조회, 이메일 발송, 일정 확인, 파일 생성과 같은 기능을 발견하고 사용할 수 있다.

쉽게 표현하면 MCP는 AI 에이전트가 업무 도구를 연결할 수 있게 해주는 ‘공통 연결 규격’이다.

A2A란 무엇인가

MCP가 에이전트와 도구를 연결한다면, A2A(Agent-to-Agent)는 서로 다른 AI 에이전트를 연결한다.

하나의 에이전트가 모든 업무를 담당하게 만들면 시스템이 지나치게 복잡해질 수 있다. 실제 기업에서는 역할별 에이전트를 구성하는 방식이 더 현실적이다.

예를 들어 고객의 환불 요청을 처리할 때 다음과 같이 역할을 나눌 수 있다.

• 고객상담 에이전트: 요청 내용 파악
• 주문관리 에이전트: 주문과 배송 상태 확인
• 정책 에이전트: 환불 규정 판단
• 결제 에이전트: 환불 실행
• 감사 에이전트: 처리 과정 기록

A2A는 서로 다른 회사나 개발 프레임워크에서 만들어진 에이전트가 상대방의 기능을 확인하고, 작업을 요청하며, 처리 결과를 주고받도록 지원한다.

Linux Foundation에 따르면 A2A는 2026년 4월 기준 150개 이상의 조직이 지원하고 있으며 Google, Microsoft, AWS를 비롯한 주요 플랫폼에 통합되고 있다. 공급망, 금융, 보험, IT 운영 분야에서는 실제 적용도 시작됐다.

참고: Linux Foundation A2A 발표

MCP와 A2A의 차이

구분 MCP A2A

RAG가 AI에게 필요한 지식을 제공한다면 MCP는 업무 도구를 제공하고, A2A는 함께 일할 동료 에이전트를 연결한다.

표준화가 모든 문제를 해결하지는 않는다

연결이 쉬워질수록 보안 문제는 더 중요해진다. MCP 서버나 외부 에이전트가 신뢰할 수 없는 정보를 제공할 수도 있고, AI가 필요 이상의 권한을 사용할 수도 있다.

따라서 기업은 다음과 같은 통제 체계를 함께 마련해야 한다.

• 에이전트별 최소 권한 부여
• 사용자와 에이전트의 신원 확인
• 중요한 작업에 대한 사람의 승인
• 도구 호출과 에이전트 통신 기록
• 외부 에이전트의 신뢰 수준 검증
• 입력 데이터와 응답에 대한 보안 검사

결국 MCP와 A2A는 연결을 위한 기술 표준이지, 보안과 거버넌스를 자동으로 보장하는 기술은 아니다.

마치며

기업의 생성형 AI는 문서를 검색하는 RAG에서 실제 업무를 수행하는 AI 에이전트로 발전하고 있다. 앞으로는 하나의 강력한 모델보다 여러 시스템과 에이전트를 안전하게 연결하고 조정하는 능력이 더욱 중요해질 것이다.

RAG가 기업 지식을 AI와 연결했다면 MCP는 AI와 업무 도구를 연결하고, A2A는 AI와 AI를 연결한다. 이 세 가지 기술의 결합이 지식 기반 업무자동화의 다음 단계를 만들고 있다.

RAG에서 지식 기반 업무자동화로의 발전

• 핵심 내용:
  • RAG(Retrieval-Augmented Generation)는 사용자의 질문과 관련된 사내 문서나 데이터 조각을 검색해 LLM에 제공하고, 그 근거를 바탕으로 답변을 생성하는 구조다. 모델을 다시 학습시키지 않고도 최신 내부지식을 활용하고 환각을 줄일 수 있다.
  • 초기 RAG는 질문 → 한 번 검색 → 답변하는 지식검색·챗봇 중심이었다. 최근의 Agentic RAG·Agentic Retrieval은 복잡한 질문을 여러 하위 질문으로 나누고, 다양한 지식원을 반복 검색하며, 부족한 정보를 다시 찾고, 결과를 교차검증한다.
  • 다음 단계인 지식 기반 업무자동화는 검색 결과를 답변으로 끝내지 않는다. 업무 규정과 사례를 근거로 신청서 검토, 데이터 대조, 보고서 초안, 담당자 배정, 보완요청 생성, 승인 요청과 시스템 입력까지 연결한다.
  • 발전 단계는 문서검색 → 근거 있는 질의응답 → 여러 출처의 종합·분석 → 업무 판단 보조 → 승인 기반 실행 → 결과 기록과 학습으로 볼 수 있다.
  • 핵심은 LLM 단독 성능이 아니라 데이터 수집·OCR·청킹·메타데이터·검색·재순위화·권한필터·도구연결·평가·감사까지 포함한 전체 시스템 품질이다.
• 주목받는 이유:
  • 기업은 생성형 AI의 시범 챗봇을 넘어 실제 처리시간 단축과 업무성과를 요구하고 있다. 단순 답변보다 사내 지식과 업무시스템을 연결한 자동화의 가치가 크다.
  • 규정과 매뉴얼이 자주 바뀌는 공공·금융·의료 분야에서는 모델이 학습한 과거 지식보다 현재 시행 중인 원문을 검색해 근거와 기준일을 제시하는 방식이 필요하다.
  • 긴 문서를 모두 프롬프트에 넣으면 비용이 증가하고 중요한 내용을 놓치는 ‘컨텍스트 부패’가 발생할 수 있다. 필요한 순간에 관련 정보만 가져오는 검색과 컨텍스트 엔지니어링이 중요해졌다.
  • 2026년 Azure 등 주요 플랫폼은 기본 RAG보다 복잡한 질문을 분해하고 반복 검색하는 Agentic Retrieval을 현대적인 RAG 방식으로 권장하고 있다.
• 관련 기술·용어:
  • Embedding·Vector Database: 문서와 질문의 의미를 벡터로 표현하고 유사한 정보를 검색
  • Hybrid Search: 키워드 검색과 벡터 검색을 결합해 정확한 용어와 의미 유사성을 함께 반영
  • Semantic Reranking: 1차 검색 결과를 질문과의 관련성에 따라 다시 정렬
  • Chunking: 긴 문서를 검색하기 좋은 단위로 분할하는 과정
  • Metadata Filtering: 기관, 부서, 문서종류, 시행일, 보안등급 등으로 검색범위를 제한
  • Agentic Retrieval: 질문분해, 다중 검색, 후속질문, 결과통합을 에이전트가 반복 수행
  • Knowledge Graph: 개체와 관계를 그래프로 표현해 규정·조직·업무 간 연결을 탐색
  • Context Engineering: 시스템 지시, 검색자료, 도구, 메모리, 대화이력 중 현재 작업에 필요한 정보를 선별·관리
  • Tool Use·Function Calling: LLM이 검색뿐 아니라 API와 업무시스템 기능을 호출
  • Grounding·Citation: 답변을 검색된 근거에 연결하고 출처를 표시
  • RAG Evaluation: 검색 적중률, 답변 충실성, 근거 일치도, 업무완료율 등을 평가
• 기업·산업에 미치는 영향:
  • 사내 문서검색이 개인의 노하우에 의존하던 방식에서, 기관 전체의 규정·사례·업무이력을 활용하는 지식 플랫폼으로 변화한다.
  • 신입직원의 업무 숙련시간을 줄이고 담당자마다 다른 답변을 표준화할 수 있다.
  • 단순·반복적인 자료조회와 초안 작성을 자동화해 직원은 예외판단, 민원 설득, 정책개선과 같은 고부가가치 업무에 집중할 수 있다.
  • 문서가 AI의 업무 근거가 되므로 문서 소유자, 시행일·폐기일, 버전, 보안등급과 품질을 관리하는 지식 거버넌스의 중요성이 커진다.
  • 기존 ERP·그룹웨어·전자결재·민원·CRM 시스템이 API와 MCP 같은 표준 인터페이스를 통해 AI 에이전트의 도구로 연결된다.
• 실제 활용 사례:
  • 규정 질의응답: 현행 규정과 FAQ를 검색해 답변하고 조항, 문서명, 시행일과 원문 링크를 함께 제시한다.
  • 민원처리 자동화: 민원을 분류하고 관련 규정·과거 사례를 검색해 답변 초안을 작성한 뒤 담당자에게 배정한다. 승인 후 발송하고 처리결과를 기록한다.
  • 한국장학재단: 국가장학금 신청정보와 학적·소득 자료를 대조하고 현행 지침을 검색해 누락서류와 보완요청 초안을 생성할 수 있다.
  • 국민건강보험공단: 자격·보험료 문의에 적용되는 법령과 지침을 검색하고 가입자의 상황에 맞는 처리절차를 제시하되 개인정보 조회와 처분은 권한검사·승인을 거친다.
  • 건강보험심사평가원: 청구명세와 심사기준·고시·과거 사례를 연결해 검토 근거를 제시하고, 전문가가 최종 판단하도록 지원할 수 있다.
  • IT 운영: 장애 로그, 변경이력, 운영매뉴얼과 과거 장애보고서를 검색해 원인 후보와 복구절차를 제안하고 작업계획을 결재로 연결한다.
• 한계 및 위험 요소:
  • 잘못된 검색: 가장 관련 있는 문서를 찾지 못하면 모델이 검색 결과에 충실해도 답변은 틀릴 수 있다.
  • 낡은 문서: 폐기된 규정이나 중복 문서가 검색되면 잘못된 업무처리로 이어진다.
  • 권한 누출: 검색 단계에서 사용자에게 권한이 없는 문서가 프롬프트나 답변에 포함될 수 있다.
  • 프롬프트 인젝션: 검색 문서에 숨겨진 악성 지시가 에이전트의 도구 호출과 데이터 유출을 유도할 수 있다.
  • 출처의 형식적 표시: 인용 링크가 존재해도 실제 주장과 근거가 일치하지 않을 수 있다.
  • 자동화 오류의 확대: 잘못된 답변 한 건이 아니라 잘못된 시스템 입력·대량 발송·처분으로 피해가 커질 수 있다.
  • 비용과 지연: 다단계 검색·재순위화·모델 호출은 품질을 높이지만 응답시간과 비용을 증가시킨다.
  • 대응 방향: 현행 문서 우선순위, 권한 기반 검색, 문서 버전관리, 검색·답변의 분리평가, 인용 검증, 고위험 실행 승인, 전체 작업로그와 롤백을 적용해야 한다.
• 내 생각:
  • RAG의 경쟁력은 벡터DB를 도입했는지가 아니라 올바른 문서를 올바른 권한과 시점에 찾아 실제 업무를 얼마나 정확하게 완료하는지에 달려 있다고 생각한다.
  • 업무자동화를 서두르기보다 먼저 기관의 문서체계와 데이터 품질을 정비해야 한다. AI는 혼란스러운 지식관리 체계를 자동으로 해결하기보다 그 혼란을 더 빠르게 확산시킬 수 있기 때문이다.
  • 공공기관에서는 완전자동화보다 “AI가 근거와 처리안을 제시하고 사람이 예외와 최종 처분을 판단하는 구조”가 현실적이다. 반복업무는 줄이면서 적법절차와 책임성을 유지할 수 있다.
• 출처 및 확인 날짜:
  • Microsoft Azure AI Search, Agentic Retrieval Overview
  • Microsoft Azure Cosmos DB, Agentic Retrieval Toolkit
  • Google Cloud, RAG Infrastructure Reference Architecture
  • Google Cloud, RAG Engine Overview
  • Anthropic, Effective Context Engineering for AI Agents
  • 확인 날짜: 2026-07-26

AI 에이전트 보안과 제로트러스트

한눈에 보기

• 핵심: AI 에이전트가 이메일·웹·DB·업무시스템을 이용해 행동하면서 기존 계정 보안만으로는 충분하지 않게 되었다.
• 주요 위험: 간접 프롬프트 인젝션, 과도한 권한, 데이터 유출, 잘못된 자동 실행, 행동 추적의 어려움
• 대응 방향: 에이전트에도 고유한 신원과 최소 권한을 부여하고, 매 요청을 검증하며, 중요한 행동은 사람이 승인하고 전 과정을 기록한다.

1. 제로트러스트란?

제로트러스트는 내부망에 있다는 이유만으로 사용자를 신뢰하지 않고, 데이터와 시스템에 접근할 때마다 신원·기기·상황·권한을 계속 확인하는 보안 원칙이다.

핵심 원칙은 다음과 같다.

1. 명시적으로 검증한다.
2. 필요한 최소 권한만 부여한다.
3. 침해가 이미 발생했다고 가정한다.
4. 네트워크와 자원을 세분화한다.
5. 접근과 행동을 지속해서 기록·분석한다.

NIST는 2025년 상용 기술을 활용한 19개의 제로트러스트 구현 예시를 공개해 실제 적용 가능한 구조를 제시했다.

2. AI 에이전트에 새로운 보안이 필요한 이유

기존 애플리케이션은 개발자가 정한 흐름을 수행하지만, AI 에이전트는 상황에 따라 다음 행동과 도구를 스스로 선택한다. 이 때문에 정상 요청과 악의적 지시의 경계가 흐려질 수 있다.

간접 프롬프트 인젝션

공격자가 이메일·문서·웹페이지 같은 외부 데이터에 악성 명령을 숨겨두고, 에이전트가 이를 업무 데이터가 아닌 명령으로 받아들이도록 하는 공격이다.

정상 사용자 요청
  → AI가 외부 문서 조회
  → 문서 속 악성 명령을 지시로 오인
  → 민감정보 조회·전송 또는 잘못된 시스템 실행

NIST의 대규모 레드팀 연구에서는 조사한 모든 대상 프런티어 모델에서 최소 한 번 이상의 에이전트 탈취 공격 성공 사례가 발견됐다. 따라서 모델의 안전장치만 믿기보다 실행 환경의 권한을 제한해야 한다.

3. 주요 위협과 대응

위협 발생 예시 대응 방법

4. 안전한 AI 에이전트 구조

사용자 인증
  → 정책 엔진에서 요청·상황 검사
  → 제한된 에이전트 권한 발급
  → 허용된 도구만 호출
  → 중요 행동은 사용자·담당자 승인
  → 입력·판단·도구 호출·결과를 감사로그로 저장
  → 이상행동 실시간 탐지

필수 통제

• 에이전트 고유 신원과 인증
• 작업 단위의 짧은 권한 수명
• 읽기와 쓰기 권한 분리
• 금액·데이터 민감도에 따른 승인 단계
• 허용된 API와 명령 목록
• 샌드박스와 네트워크 격리
• 프롬프트·모델·도구 버전 기록
• 레드팀, 반복 공격, 실패 시나리오 평가

5. 금융기관에서 특히 중요한 이유

• 금융 에이전트는 계좌, 거래, 개인·신용정보와 직접 연결될 수 있다.
• 잘못된 행동 한 번이 금전 손실과 금융사고로 이어질 수 있다.
• 금융기관은 전자금융과 개인정보 관련 규제를 충족해야 한다.
• 장애와 사고 발생 후 거래·판단 근거를 재현할 수 있어야 한다.
• 대국민 신뢰가 핵심이므로 편리함보다 안전한 단계적 도입이 중요하다.

출처

• NIST — AI Agent Standards Initiative
• NIST — AI 에이전트 보안 고려사항 분석 (2026-05-18)
• NIST — AI 에이전트 탈취 레드팀 연구 (2026-03-23)
• NIST — 제로트러스트 아키텍처 구현 가이드 (2025-06-10)
• NIST — 소프트웨어·AI 에이전트 신원 및 권한 개념서 (2026)

금융권 생성형 AI와 AI 에이전트

한눈에 보기

• 핵심: 생성형 AI가 질문에 답하는 도구에서 벗어나, 여러 시스템과 도구를 사용해 업무를 계획하고 실행하는 AI 에이전트로 발전하고 있다.
• 금융권의 변화: 상담·문서 요약 같은 보조 업무를 넘어 신용분석, 상품 추천, 이상거래 조사, 내부통제 점검 등으로 활용 범위가 넓어지고 있다.
• 중요한 조건: 금융에서는 정확성, 개인정보보호, 설명 가능성, 접근권한과 최종 책임을 확보해야 실제 업무에 적용할 수 있다.

1. 핵심 개념

생성형 AI

대규모 데이터를 학습한 모델이 질문에 대한 답변, 보고서, 코드, 이미지 등 새로운 결과물을 생성하는 기술이다.

AI 에이전트

사용자의 목표를 받아 다음 행동을 계획하고, API·DB·검색·업무시스템 같은 도구를 호출하며, 결과를 확인해 후속 작업까지 수행하는 시스템이다.

사용자 목표
  → 업무 계획
  → 필요한 데이터 조회
  → 도구·시스템 실행
  → 결과 검증
  → 사용자 승인 또는 최종 처리

단순 챗봇과의 가장 큰 차이는 답변 생성에 그치지 않고 외부 시스템에서 행동을 수행한다는 점이다.

2. 주목받는 이유

1. 자연어로 복잡한 금융 업무를 처리해 직원 생산성과 고객 편의성을 높일 수 있다.
2. 여러 시스템에 흩어진 정보를 검색·요약해 의사결정 시간을 줄일 수 있다.
3. 반복적인 심사·보고·점검 업무를 자동화할 수 있다.
4. 금융당국의 규제 개선으로 실제 금융 서비스 적용 속도가 빨라지고 있다.

금융위원회는 2026년 4월 보안 위험이 낮은 단순 생성형 AI 모델 변경의 경우 혁신금융서비스 재지정 없이 서면확인으로 출시할 수 있도록 절차를 간소화했다. 이는 금융회사 내부 업무 효율화와 AI 기반 금융서비스 출시가 더 빨라질 수 있음을 의미한다.

3. 금융권 활용 사례

분야 활용 예시 기대 효과

AI가 대출 승인이나 송금 같은 중대한 결정을 완전히 단독 수행하기보다는, 위험도에 따라 사람의 승인과 검증을 포함하는 구조가 적절하다.

4. 핵심 기술

• RAG: 내부 규정·상품 설명서·공시 등 신뢰할 수 있는 문서를 검색한 후 답변 생성
• 도구 호출: API, 데이터베이스, 업무시스템을 AI가 정해진 방식으로 이용
• 에이전트 오케스트레이션: 계획, 실행, 검증 등 여러 단계와 역할을 관리
• 가드레일: 금지된 요청·개인정보·위험한 행동을 탐지하고 제한
• LLMOps: 모델 버전, 프롬프트, 품질, 비용, 지연시간과 오류를 지속 관리
• 평가 체계: 정확성, 근거성, 안전성, 편향, 보안과 업무 성과를 측정

5. 한계와 위험 요소

위험 설명 대응 방향

출처

• 금융위원회 — 생성형 AI 모델 변경 시 혁신금융서비스 절차 개선 (2026-04-15)
• NIST — AI Agent Standards Initiative (2026)
• NIST — AI 에이전트 보안 고려사항 분석 (2026-05-18)
• IBK기업은행 — 2025 연차보고서 및 2026 추진 방향

Spring Boot 백엔드 프로젝트를 만들면서 PostgreSQL, Redis, AWS RDS, EC2, S3까지 연결하는 과정을 정리했다.

1. Spring Initializr 설정

`https://start.spring.io/`에서 프로젝트를 생성했다.

추천 설정은 다음과 같다.

- Project: Gradle - Groovy
- Language: Java
- Spring Boot: Stable 버전
- Packaging: Jar
- Java: 21

추가한 Dependencies는 다음과 같다.

- Spring Web
- Spring Data JPA
- PostgreSQL Driver
- Spring Data Redis
- Lombok
- Validation
- DevTools

일반적인 Spring Boot API 서버는 `War`보다 `Jar`가 편하다.

2. IntelliJ에 프로젝트 적용

다운로드한 zip 파일의 압축을 풀고 IntelliJ에서 열었다.

File → Open → build.gradle이 있는 프로젝트 폴더 선택

프로젝트를 열면 Gradle 의존성이 자동으로 다운로드된다.

3. application.yml 구성

기본 설정 파일은 다음 위치에 만든다.

src/main/resources/application.yml

yaml파일에 프로필을 나누기 위해 다음처럼 설정했다.

spring:
profiles:
active: local

그리고 환경별로 파일을 분리했다.

application-local.yml
application-prod.yml

`application-prod.yml`은 AWS 배포를 고려해서 환경변수 기반으로 작성했다.

spring:
datasource:
url: jdbc:postgresql://${DB_HOST}:5432/${DB_NAME}?sslmode=require
username: ${DB_USERNAME}
password: ${DB_PASSWORD}

jpa:
hibernate:
ddl-auto: update
show-sql: false

server:
port: 8080

cloud:
aws:
region:
static: ${AWS_REGION}
s3:
bucket: ${S3_BUCKET}

비밀번호나 AWS 정보는 코드에 직접 넣지 않고 환경변수로 관리하는 것이 좋다.

4. AWS 구성 순서

AWS는 다음 순서로 설정했다.

1. VPC 생성
2. Security Group 생성
3. RDS PostgreSQL 생성
4. S3 Bucket 생성
5. EC2 생성
6. EC2에서 RDS 연결 테스트

기본 구조는 다음과 같다.

사용자 → EC2 → RDS PostgreSQL
사용자 → EC2 → S3

RDS는 외부에 직접 공개하지 않고 EC2에서만 접근하도록 구성했다.

5. VPC와 Security Group

EC2와 RDS는 같은 VPC를 사용해야 한다.

EC2 Security Group: doody-app-ec2-sg
RDS Security Group: doody-app-rds-sg

EC2 Security Group inbound 예시:

SSH 22 내 IP
HTTP 80 0.0.0.0/0
HTTPS 443 0.0.0.0/0
8080 테스트 중에만 허용

RDS Security Group inbound:

PostgreSQL 5432
Source: doody-app-ec2-sg

RDS에 `0.0.0.0/0`를 열지 않는 것이 중요하다.

6. RDS PostgreSQL 생성

RDS에서는 PostgreSQL을 선택했다.

주의할 점은 Aurora가 아니라 일반 PostgreSQL을 선택하는 것이다.

추천 설정:

Engine: PostgreSQL
Template: Free tier
DB instance class: db.t4g.micro
Storage: 20GiB
Public access: No
VPC: 직접 만든 VPC
Security Group: doody-app-rds-sg

처음에 스토리지를 200GiB로 잡으면 비용이 커질 수 있으므로 개발용은 20GiB면 충분하다.

RDS의 `DB 식별자`와 실제 `DB 이름`은 다르다.

DB 식별자: doody-app-db
실제 DB 이름: doodyappdb

접속 테스트는 EC2에서 진행했다.

psql "host=$DB_HOST port=5432 dbname=postgres user=doodyuser sslmode=require"

접속 후 앱용 DB를 생성했다.

7. S3 Bucket 생성

S3는 일반적인 파일 업로드 용도로 사용할 것이므로 General purpose bucket을 선택했다.

추천 설정:

Bucket type: General purpose
Region: ap-northeast-2
Block all public access: On
Object Ownership: ACLs disabled
Encryption: SSE-S3

Spring Boot에서 S3를 사용할 때는 Access Key를 코드에 넣기보다 EC2 IAM Role을 사용하는 것이 좋다.

8. EC2 생성과 SSH 접속

EC2는 public subnet에 생성하고 public IP를 받아야 SSH 접속이 가능하다.

접속 명령어는 WSL 기준으로 다음과 같다.

ssh -i ~/.ssh/{키} ubuntu@EC2_PUBLIC_IP

Windows Downloads에 있는 pem 파일은 권한 문제가 날 수 있어서 WSL 홈으로 복사했다.

그 후 접속에 성공했다.

9. EC2 환경변수 설정

EC2에는 환경변수를 설정했다.

임시 설정은 SSH 세션이 끝나면 사라지므로 `~/.bashrc`에 추가하면 유지된다.

nano ~/.bashrc
source ~/.bashrc

10. 로컬 JDK 21 설치

Spring Boot 프로젝트는 Java 21 기준으로 생성했기 때문에 로컬에도 JDK 21이 필요했다.

Windows에서는 winget으로 설치했다.

설치 후 IntelliJ에서 다음 설정을 맞춘다.

File → Project Structure → Project SDK → JDK 21
Settings → Build Tools → Gradle → Gradle JVM → JDK 21

11. ERD 기반 Spring JPA 코드 작성

DB 설계 이미지를 기준으로 JPA Entity와 Repository를 생성했다.

Repository도 각 엔티티별로 만들었다.

복합키가 필요한 테이블은 `@EmbeddedId`를 사용했다.

JSON 컬럼은 PostgreSQL 기준으로 `jsonb`로 매핑했다.

빌드는 JDK 21 설정 후 정상적으로 통과했다.

마무리

이번 설정에서 가장 중요했던 점은 다음 세 가지였다.

1. RDS는 Public access를 No로 설정한다.
2. RDS Security Group은 EC2 Security Group만 허용한다.
3. DB 비밀번호와 AWS 정보는 코드에 직접 넣지 않고 환경변수로 관리한다.