뿡야의 IT 기록

기존 챗봇이 잘못된 답변을 생성하면 사용자는 답변을 무시하고 다시 질문할 수 있었다. 그러나 AI 에이전트가 이메일을 보내고, 주문을 취소하고, 데이터베이스를 수정한다면 잘못된 판단이 실제 업무의 오류로 이어진다.

이때 필요한 것이 AI 에이전트 옵저버빌리티(Agent Observability)다. 에이전트가 어떤 판단 과정을 거쳐 무엇을 실행했는지 관찰하고 추적하는 체계다.

모니터링과 옵저버빌리티는 무엇이 다른가

전통적인 모니터링은 미리 정한 지표를 확인한다. 서버의 CPU 사용률, 응답시간, 오류율이 대표적이다. 문제가 무엇인지 이미 어느 정도 알고 있을 때 효과적이다.

옵저버빌리티는 로그, 메트릭, 트레이스 등 시스템이 남긴 정보를 바탕으로 예상하지 못한 문제의 원인을 파악하는 데 초점을 둔다.

AI 에이전트는 같은 요청에도 검색 결과, 모델 응답, 사용 가능한 도구와 이전 대화에 따라 다른 경로를 선택할 수 있다. 최종 응답만 저장해서는 왜 그런 결과가 나왔는지 알기 어렵다.

에이전트 트레이스란 무엇인가

에이전트 트레이스는 하나의 요청이 완료될 때까지 수행된 전체 과정을 연결한 기록이다.

고객 환불 업무라면 다음 내용이 포함될 수 있다.

1. 사용자가 입력한 요청
2. 에이전트가 세운 작업 계획
3. 검색한 환불 규정과 문서 버전
4. 주문 시스템에 전달한 조회 조건
5. 다른 에이전트에 위임한 작업
6. 각 단계에서 사용한 모델과 프롬프트
7. 사람에게 승인을 요청한 시점
8. 실제 환불 API 호출과 결과

이 기록이 연결돼야 “잘못된 문서를 검색했는지”, “규칙은 맞았지만 도구가 실패했는지”, “사용자 승인 범위를 넘었는지”를 구분할 수 있다.

일반 애플리케이션보다 관찰하기 어려운 이유

전통적인 프로그램은 정해진 조건에 따라 비교적 예측 가능한 경로로 동작한다. 반면 AI 에이전트는 자연어를 해석하고 다음 행동을 동적으로 선택한다.

오류의 원인도 다양하다.

• 사용자의 지시가 모호함
• 검색 문서가 오래되거나 잘못됨
• 모델이 도구의 용도를 잘못 이해함
• 다른 에이전트의 응답이 부정확함
• API는 성공했지만 업무 결과는 잘못됨
• 지나치게 많은 반복 호출로 비용 증가
• 중간 단계에서 오류가 발생했지만 작업은 계속 진행됨

HTTP 응답이 200이라는 사실만으로 업무가 정상적으로 완료됐다고 판단할 수 없는 이유다.

무엇을 측정해야 하는가

에이전트의 성능은 단순한 답변 정확도만으로 평가하기 어렵다. 실제 운영에서는 다음과 같은 지표가 필요하다.

업무 품질

• 목표 완료율
• 올바른 도구 선택 비율
• 잘못된 실행과 실행 취소 비율
• 사람의 수정 없이 완료된 비율
• 정책과 업무 규칙 위반 건수

운영 효율

• 업무당 모델 호출 횟수
• 평균 토큰과 비용
• 완료까지 걸린 시간
• 같은 작업을 반복한 횟수
• 외부 도구와 API의 실패율

인간 개입

• 승인 요청 비율
• 담당자가 결정을 변경한 비율
• 에이전트에서 사람에게 이관된 비율
• 사람이 개입하기까지 걸린 시간

지표는 업무의 위험 수준에 따라 달라져야 한다. 회의록 작성 에이전트와 결제 에이전트에 동일한 성공 기준을 적용할 수는 없다.

관찰에서 자동 대응으로

옵저버빌리티의 목적은 보고서를 만드는 데 그치지 않는다. 위험한 행동을 발견하면 실행을 중단하거나 사람에게 전달할 수 있어야 한다.

예를 들어 다음과 같은 정책을 적용할 수 있다.

• 동일 API를 일정 횟수 이상 호출하면 작업 중지
• 승인 한도를 넘는 결제는 담당자에게 이관
• 신뢰도가 낮은 문서만 검색되면 답변 생성 중단
• 개인정보가 포함된 입력은 외부 모델로 전송 금지
• 평소와 다른 도구 호출 순서가 나타나면 경고
• 에이전트 간 반복 위임이 발생하면 루프 차단

이 구조는 관찰, 판단, 통제가 하나의 운영 체계로 연결돼야 효과가 있다.

모든 내용을 기록하면 안전할까

상세한 로그는 문제 분석에 도움이 되지만 새로운 보안 위험을 만들 수도 있다. 프롬프트와 도구의 응답에는 개인정보, 계약정보, 인증 토큰과 사내 기밀이 포함될 수 있기 때문이다.

따라서 기록 단계에서도 다음 원칙이 필요하다.

• 민감정보 마스킹과 비식별화
• 로그 접근 권한 최소화
• 업무별 보관 기간 설정
• 원문과 요약 기록의 분리
• 위변조 방지와 감사 이력 관리
• 외부 관측 도구로 전송할 데이터 제한

많이 저장하는 것이 항상 좋은 옵저버빌리티는 아니다. 문제를 재현할 수 있을 만큼 기록하되 불필요한 민감정보는 남기지 않아야 한다.

기업이 도입할 때 확인할 사항

1. 사용자 요청부터 최종 실행까지 하나의 트레이스로 연결되는가?
2. 모델, 프롬프트, 검색 문서의 버전을 확인할 수 있는가?
3. 에이전트 간 위임과 도구 호출을 함께 추적할 수 있는가?
4. 기술적 성공과 업무적 성공을 구분하는가?
5. 이상 행동이 발생하면 자동으로 중단할 수 있는가?
6. 사고 발생 후 동일 조건을 재현할 수 있는가?
7. 기록에 포함된 개인정보와 기밀을 보호하는가?

Gartner는 AI를 배포한 조직 중 40%가 2028년까지 모델 성능을 관리하기 위해 AI 옵저버빌리티를 사용할 것으로 전망했다. 동시에 에이전틱 AI가 분석에서 실제 조치로 이어지려면 기술뿐 아니라 사람, 프로세스와 거버넌스의 변화가 필요하다고 설명했다.

참고: Gartner, AI Infrastructure and Observability Trends

마치며

AI 에이전트 운영에서 중요한 것은 최종 답변만 확인하는 것이 아니다. 어떤 정보를 참고했고, 어떤 판단을 내렸으며, 무엇을 실행했는지 전체 흐름을 볼 수 있어야 한다.

에이전트 옵저버빌리티는 단순한 로그 수집 기술이 아니다. AI의 행동을 설명하고, 비용을 관리하며, 사고를 중단하고, 책임 소재를 확인하기 위한 운영 기반이다.

AI 에이전트에 더 많은 자율성을 부여할수록 조직은 그 행동을 더 투명하게 관찰할 수 있어야 한다.