기업에서 생성형 AI를 활용하는 방식은 빠르게 발전하고 있다. 초기에는 사내 문서를 검색해 답변하는 RAG가 중심이었다. 이후 AI가 문서를 작성하거나 시스템을 조작하는 업무자동화 단계로 넘어갔고, 최근에는 여러 AI 에이전트가 역할을 나누어 협업하는 구조가 주목받고 있다.

이 과정에서 등장한 핵심 기술이 MCP와 A2A다.

RAG만으로 업무자동화가 어려운 이유

RAG(Retrieval-Augmented Generation)는 AI가 외부 지식을 검색해 답변하도록 만드는 기술이다. 사내 규정, 업무 매뉴얼, 상품 설명서와 같은 문서를 검색하고 관련 내용을 생성형 AI에 전달함으로써 답변의 정확도를 높인다.

하지만 RAG의 역할은 기본적으로 ‘정보 제공’에 가깝다.

예를 들어 사용자가 “지난달 매출 실적을 분석하고 부진한 상품의 프로모션 계획을 만들어줘”라고 요청했다고 가정해 보자. 이 업무를 완료하려면 AI가 다음과 같은 작업을 수행해야 한다.

1. 데이터베이스에서 매출 데이터 조회
2. 상품별 실적 분석
3. 재고 시스템 확인
4. 프로모션 계획 작성
5. 담당자에게 검토 요청
6. 승인 후 마케팅 시스템에 등록

문서를 검색하는 것만으로는 이 과정을 모두 처리하기 어렵다. AI가 데이터와 업무 도구에 접근하고, 다른 에이전트와 협력할 수 있어야 한다.

MCP란 무엇인가

MCP(Model Context Protocol)는 AI 애플리케이션이 외부 데이터와 도구를 일정한 방식으로 연결하도록 만든 개방형 프로토콜이다.

기존에는 AI 모델을 데이터베이스, 파일 시스템, 협업 도구 또는 사내 API와 연결할 때마다 별도의 연동 코드를 개발해야 했다. 연결 대상이 늘어날수록 개발과 유지보수 부담도 커졌다.

MCP는 AI가 사용할 수 있는 데이터와 기능을 표준화된 형태로 제공한다. 이를 통해 AI 에이전트는 사내 문서 검색, 데이터베이스 조회, 이메일 발송, 일정 확인, 파일 생성과 같은 기능을 발견하고 사용할 수 있다.

쉽게 표현하면 MCP는 AI 에이전트가 업무 도구를 연결할 수 있게 해주는 ‘공통 연결 규격’이다.

A2A란 무엇인가

MCP가 에이전트와 도구를 연결한다면, A2A(Agent-to-Agent)는 서로 다른 AI 에이전트를 연결한다.

하나의 에이전트가 모든 업무를 담당하게 만들면 시스템이 지나치게 복잡해질 수 있다. 실제 기업에서는 역할별 에이전트를 구성하는 방식이 더 현실적이다.

예를 들어 고객의 환불 요청을 처리할 때 다음과 같이 역할을 나눌 수 있다.

• 고객상담 에이전트: 요청 내용 파악
• 주문관리 에이전트: 주문과 배송 상태 확인
• 정책 에이전트: 환불 규정 판단
• 결제 에이전트: 환불 실행
• 감사 에이전트: 처리 과정 기록

A2A는 서로 다른 회사나 개발 프레임워크에서 만들어진 에이전트가 상대방의 기능을 확인하고, 작업을 요청하며, 처리 결과를 주고받도록 지원한다.

Linux Foundation에 따르면 A2A는 2026년 4월 기준 150개 이상의 조직이 지원하고 있으며 Google, Microsoft, AWS를 비롯한 주요 플랫폼에 통합되고 있다. 공급망, 금융, 보험, IT 운영 분야에서는 실제 적용도 시작됐다.

참고: Linux Foundation A2A 발표

MCP와 A2A의 차이

구분 MCP A2A

RAG가 AI에게 필요한 지식을 제공한다면 MCP는 업무 도구를 제공하고, A2A는 함께 일할 동료 에이전트를 연결한다.

표준화가 모든 문제를 해결하지는 않는다

연결이 쉬워질수록 보안 문제는 더 중요해진다. MCP 서버나 외부 에이전트가 신뢰할 수 없는 정보를 제공할 수도 있고, AI가 필요 이상의 권한을 사용할 수도 있다.

따라서 기업은 다음과 같은 통제 체계를 함께 마련해야 한다.

• 에이전트별 최소 권한 부여
• 사용자와 에이전트의 신원 확인
• 중요한 작업에 대한 사람의 승인
• 도구 호출과 에이전트 통신 기록
• 외부 에이전트의 신뢰 수준 검증
• 입력 데이터와 응답에 대한 보안 검사

결국 MCP와 A2A는 연결을 위한 기술 표준이지, 보안과 거버넌스를 자동으로 보장하는 기술은 아니다.

마치며

기업의 생성형 AI는 문서를 검색하는 RAG에서 실제 업무를 수행하는 AI 에이전트로 발전하고 있다. 앞으로는 하나의 강력한 모델보다 여러 시스템과 에이전트를 안전하게 연결하고 조정하는 능력이 더욱 중요해질 것이다.

RAG가 기업 지식을 AI와 연결했다면 MCP는 AI와 업무 도구를 연결하고, A2A는 AI와 AI를 연결한다. 이 세 가지 기술의 결합이 지식 기반 업무자동화의 다음 단계를 만들고 있다.

RAG에서 지식 기반 업무자동화로의 발전

• 핵심 내용:
  • RAG(Retrieval-Augmented Generation)는 사용자의 질문과 관련된 사내 문서나 데이터 조각을 검색해 LLM에 제공하고, 그 근거를 바탕으로 답변을 생성하는 구조다. 모델을 다시 학습시키지 않고도 최신 내부지식을 활용하고 환각을 줄일 수 있다.
  • 초기 RAG는 질문 → 한 번 검색 → 답변하는 지식검색·챗봇 중심이었다. 최근의 Agentic RAG·Agentic Retrieval은 복잡한 질문을 여러 하위 질문으로 나누고, 다양한 지식원을 반복 검색하며, 부족한 정보를 다시 찾고, 결과를 교차검증한다.
  • 다음 단계인 지식 기반 업무자동화는 검색 결과를 답변으로 끝내지 않는다. 업무 규정과 사례를 근거로 신청서 검토, 데이터 대조, 보고서 초안, 담당자 배정, 보완요청 생성, 승인 요청과 시스템 입력까지 연결한다.
  • 발전 단계는 문서검색 → 근거 있는 질의응답 → 여러 출처의 종합·분석 → 업무 판단 보조 → 승인 기반 실행 → 결과 기록과 학습으로 볼 수 있다.
  • 핵심은 LLM 단독 성능이 아니라 데이터 수집·OCR·청킹·메타데이터·검색·재순위화·권한필터·도구연결·평가·감사까지 포함한 전체 시스템 품질이다.
• 주목받는 이유:
  • 기업은 생성형 AI의 시범 챗봇을 넘어 실제 처리시간 단축과 업무성과를 요구하고 있다. 단순 답변보다 사내 지식과 업무시스템을 연결한 자동화의 가치가 크다.
  • 규정과 매뉴얼이 자주 바뀌는 공공·금융·의료 분야에서는 모델이 학습한 과거 지식보다 현재 시행 중인 원문을 검색해 근거와 기준일을 제시하는 방식이 필요하다.
  • 긴 문서를 모두 프롬프트에 넣으면 비용이 증가하고 중요한 내용을 놓치는 ‘컨텍스트 부패’가 발생할 수 있다. 필요한 순간에 관련 정보만 가져오는 검색과 컨텍스트 엔지니어링이 중요해졌다.
  • 2026년 Azure 등 주요 플랫폼은 기본 RAG보다 복잡한 질문을 분해하고 반복 검색하는 Agentic Retrieval을 현대적인 RAG 방식으로 권장하고 있다.
• 관련 기술·용어:
  • Embedding·Vector Database: 문서와 질문의 의미를 벡터로 표현하고 유사한 정보를 검색
  • Hybrid Search: 키워드 검색과 벡터 검색을 결합해 정확한 용어와 의미 유사성을 함께 반영
  • Semantic Reranking: 1차 검색 결과를 질문과의 관련성에 따라 다시 정렬
  • Chunking: 긴 문서를 검색하기 좋은 단위로 분할하는 과정
  • Metadata Filtering: 기관, 부서, 문서종류, 시행일, 보안등급 등으로 검색범위를 제한
  • Agentic Retrieval: 질문분해, 다중 검색, 후속질문, 결과통합을 에이전트가 반복 수행
  • Knowledge Graph: 개체와 관계를 그래프로 표현해 규정·조직·업무 간 연결을 탐색
  • Context Engineering: 시스템 지시, 검색자료, 도구, 메모리, 대화이력 중 현재 작업에 필요한 정보를 선별·관리
  • Tool Use·Function Calling: LLM이 검색뿐 아니라 API와 업무시스템 기능을 호출
  • Grounding·Citation: 답변을 검색된 근거에 연결하고 출처를 표시
  • RAG Evaluation: 검색 적중률, 답변 충실성, 근거 일치도, 업무완료율 등을 평가
• 기업·산업에 미치는 영향:
  • 사내 문서검색이 개인의 노하우에 의존하던 방식에서, 기관 전체의 규정·사례·업무이력을 활용하는 지식 플랫폼으로 변화한다.
  • 신입직원의 업무 숙련시간을 줄이고 담당자마다 다른 답변을 표준화할 수 있다.
  • 단순·반복적인 자료조회와 초안 작성을 자동화해 직원은 예외판단, 민원 설득, 정책개선과 같은 고부가가치 업무에 집중할 수 있다.
  • 문서가 AI의 업무 근거가 되므로 문서 소유자, 시행일·폐기일, 버전, 보안등급과 품질을 관리하는 지식 거버넌스의 중요성이 커진다.
  • 기존 ERP·그룹웨어·전자결재·민원·CRM 시스템이 API와 MCP 같은 표준 인터페이스를 통해 AI 에이전트의 도구로 연결된다.
• 실제 활용 사례:
  • 규정 질의응답: 현행 규정과 FAQ를 검색해 답변하고 조항, 문서명, 시행일과 원문 링크를 함께 제시한다.
  • 민원처리 자동화: 민원을 분류하고 관련 규정·과거 사례를 검색해 답변 초안을 작성한 뒤 담당자에게 배정한다. 승인 후 발송하고 처리결과를 기록한다.
  • 한국장학재단: 국가장학금 신청정보와 학적·소득 자료를 대조하고 현행 지침을 검색해 누락서류와 보완요청 초안을 생성할 수 있다.
  • 국민건강보험공단: 자격·보험료 문의에 적용되는 법령과 지침을 검색하고 가입자의 상황에 맞는 처리절차를 제시하되 개인정보 조회와 처분은 권한검사·승인을 거친다.
  • 건강보험심사평가원: 청구명세와 심사기준·고시·과거 사례를 연결해 검토 근거를 제시하고, 전문가가 최종 판단하도록 지원할 수 있다.
  • IT 운영: 장애 로그, 변경이력, 운영매뉴얼과 과거 장애보고서를 검색해 원인 후보와 복구절차를 제안하고 작업계획을 결재로 연결한다.
• 한계 및 위험 요소:
  • 잘못된 검색: 가장 관련 있는 문서를 찾지 못하면 모델이 검색 결과에 충실해도 답변은 틀릴 수 있다.
  • 낡은 문서: 폐기된 규정이나 중복 문서가 검색되면 잘못된 업무처리로 이어진다.
  • 권한 누출: 검색 단계에서 사용자에게 권한이 없는 문서가 프롬프트나 답변에 포함될 수 있다.
  • 프롬프트 인젝션: 검색 문서에 숨겨진 악성 지시가 에이전트의 도구 호출과 데이터 유출을 유도할 수 있다.
  • 출처의 형식적 표시: 인용 링크가 존재해도 실제 주장과 근거가 일치하지 않을 수 있다.
  • 자동화 오류의 확대: 잘못된 답변 한 건이 아니라 잘못된 시스템 입력·대량 발송·처분으로 피해가 커질 수 있다.
  • 비용과 지연: 다단계 검색·재순위화·모델 호출은 품질을 높이지만 응답시간과 비용을 증가시킨다.
  • 대응 방향: 현행 문서 우선순위, 권한 기반 검색, 문서 버전관리, 검색·답변의 분리평가, 인용 검증, 고위험 실행 승인, 전체 작업로그와 롤백을 적용해야 한다.
• 내 생각:
  • RAG의 경쟁력은 벡터DB를 도입했는지가 아니라 올바른 문서를 올바른 권한과 시점에 찾아 실제 업무를 얼마나 정확하게 완료하는지에 달려 있다고 생각한다.
  • 업무자동화를 서두르기보다 먼저 기관의 문서체계와 데이터 품질을 정비해야 한다. AI는 혼란스러운 지식관리 체계를 자동으로 해결하기보다 그 혼란을 더 빠르게 확산시킬 수 있기 때문이다.
  • 공공기관에서는 완전자동화보다 “AI가 근거와 처리안을 제시하고 사람이 예외와 최종 처분을 판단하는 구조”가 현실적이다. 반복업무는 줄이면서 적법절차와 책임성을 유지할 수 있다.
• 출처 및 확인 날짜:
  • Microsoft Azure AI Search, Agentic Retrieval Overview
  • Microsoft Azure Cosmos DB, Agentic Retrieval Toolkit
  • Google Cloud, RAG Infrastructure Reference Architecture
  • Google Cloud, RAG Engine Overview
  • Anthropic, Effective Context Engineering for AI Agents
  • 확인 날짜: 2026-07-26