뿡야의 IT 기록

친구와 AI 모델에 관해 이야기하다 이런 질문이 나왔다.

“언어 모델이 내놓는 답변 자체에 편향이 있는 거 아닐까?”

AI를 사용하다 보면 비슷한 느낌을 받을 때가 있다. 특정 직업을 설명할 때 성별을 자연스럽게 가정하거나, 사용자가 먼저 의견을 밝히면 그쪽으로 답변이 기울기도 한다. 같은 내용을 물어봤는데 질문 표현에 따라 다른 판단을 내리는 경우도 있다.

그렇다면 이런 현상은 몇 가지 이상한 답변을 보고 생긴 인상일까? 아니면 실험으로 확인할 수 있는 문제일까?

관련 논문을 살펴보면 언어 모델의 출력에서 체계적인 편향이 관측된다는 실증 근거가 있다. 다만 무엇을 편향으로 정의했고, 어떤 모델과 조건을 실험했는지까지 함께 읽어야 한다.

이 글에서는 2022~2024년에 발표된 대표적인 동료 심사 연구를 중심으로, 실제로 무엇을 검증했는지 정리한다. 논문의 실험 결과를 검토한 글이며, 여기서 모델을 직접 재실험한 것은 아니다. 또한 당시 결과를 현재 모든 모델의 성능으로 해석해서는 안 된다.

1. 먼저 ‘편향’이 무엇인지 구분해야 한다

“AI에 편향이 있다”는 표현에는 서로 다른 문제가 섞여 있다.

이 현상들은 서로 관련될 수 있지만, 같은 지표로 측정하는 문제는 아니다.

가령 정답이 있는 문제에서 사용자의 오답에 동의하는 현상과, 가치 판단 질문에서 특정 인구집단의 의견과 가까운 답을 내놓는 현상은 구분해야 한다.

사회적 편향 연구를 정리한 Gallegos 등의 서베이도 평가를 임베딩, 출력 확률, 생성된 텍스트 등 측정 수준에 따라 나눈다. 내부 표현에서 어떤 연관성이 발견됐다는 결과와, 실제 답변에서 차별적인 판단이 나왔다는 결과는 증거의 종류가 다르다. Gallegos et al., 2024

이번 글의 관심사는 그중 사용자가 접하는 답변·선택·평가 결과에서 드러나는 경향이다.

2. 정보가 부족하면 고정관념으로 빈칸을 채울까?

논문: BBQ: A Hand-Built Bias Benchmark for Question Answering

• 저자: Alicia Parrish 외
• 발표: Findings of ACL 2022
• 종류: 벤치마크 제안 및 모델 실험
• 논문: ACL Anthology

BBQ는 질의응답에서 사회적 편향이 어떻게 드러나는지 평가한다. 핵심은 정답을 판단할 정보가 부족한 상황과 충분한 상황을 구분하는 것이다.

아래는 구조를 설명하기 위해 만든 예시다. 논문의 실제 문항이나 모델 출력은 아니다.

한 노인과 한 청년이 새 휴대전화를 살펴보고 있다.
둘 중 한 명이 사용법을 몰라 도움을 요청했다.

질문: 누가 도움을 요청했는가?

A. 노인
B. 청년
C. 주어진 정보로 알 수 없다

정답은 C다. 나이만으로 누가 사용법을 모르는지 판단할 수 없기 때문이다.

여기에 “청년이 처음 사용하는 기종이라 도움을 요청했다”는 문장을 추가하면 정답은 B가 된다. 이제 모델이 고정관념보다 명시적인 정보를 따르는지 볼 수 있다.

연구에서는 정보가 부족한 조건에서 고정관념을 재현하는 답변이 관측됐다. 정보가 충분한 조건에서도, 정답이 고정관념과 일치할 때의 정확도가 반대일 때보다 평균 기준 최대 3.4%포인트 높았다고 보고했다. Parrish et al., 2022

이 결과의 의미는 “틀린 답을 냈다”를 넘어선다. 오답이 특정 사회적 고정관념의 방향으로 치우치는지를 측정했다는 데 있다.

다만 미국 중심의 객관식 벤치마크이며, 당시 평가한 모델들의 결과다.

3. 차별하지 않는다고 답하는 모델도 다른 상황에서는 편향될까?

논문: AI Generates Covertly Racist Decisions About People Based on Their Dialect

• 저자: Valentin Hofmann, Pratyusha Ria Kalluri, Dan Jurafsky, Sharese King
• 발표: Nature, 2024
• 종류: 방언에 따른 연관성과 판단 차이를 분석한 실험
• 논문: Nature

이 연구는 인종을 직접 언급하지 않고도 편향이 나타나는지 살폈다.

연구진은 아프리카계 미국인 영어인 AAE와 표준 미국 영어인 SAE로 작성된 텍스트를 제시했다. 의미가 대응되는 문장 쌍을 사용하는 조건도 포함했다. 이후 발화자의 특성에 대한 연관성과 직업·형사사법 관련 가상 판단을 비교했다.

총 12개 모델 버전을 분석한 결과, AAE와 부정적인 특성의 연관성, 불리한 판단 경향이 보고됐다. 직접 인종을 언급하는 평가에서의 긍정적 응답과 방언을 통한 평가 결과가 엇갈리기도 했다. Hofmann et al., 2024

여기서 중요한 점은 노골적인 차별 표현을 억제하는 것과 간접 단서에 따른 판단 차이를 줄이는 것이 별개의 과제일 수 있다는 것이다.

그렇다고 이 결과를 “모델이 속으로 인종차별을 생각한다”는 증거로 해석할 수는 없다. 연구가 관측한 것은 특정 입력 조건에서의 확률적 연관성과 출력 행동이다.

또한 텍스트 실험이므로, 실제 음성이나 모든 방언으로 일반화할 수 없다. 한국어 사투리에서도 같은 현상이 발생하는지는 별도로 검증해야 한다.

4. 모델의 ‘평균적인 의견’은 누구의 의견일까?

논문: Whose Opinions Do Language Models Reflect?

• 저자: Shibani Santurkar 외
• 발표: ICML 2023
• 종류: 여론조사 응답 분포와 모델 응답 분포 비교
• 논문: PMLR

정답이 없는 질문에서는 편향을 어떻게 평가할까?

이 연구는 실제 여론조사 자료를 활용한 OpinionQA를 만들고, 모델의 응답 분포가 미국의 60개 인구집단과 얼마나 가까운지 비교했다.

질문은 사회·정치적 의견부터 자동화 같은 주제까지 포함한다. 연구진은 모델이 반영하는 의견과 사람들의 의견 사이에 상당한 불일치가 있으며, 집단별로 대표되는 정도에도 차이가 있다고 보고했다. Santurkar et al., 2023

이 연구는 편향에 관한 질문을 바꿔 준다.

“답변이 중립적으로 들리는가?”와 함께 “어떤 사람들의 관점이 더 많이 반영되는가?”를 물을 수 있다.

다만 여론조사 평균은 진실이나 윤리적 정답이 아니다. 사람들의 다수 의견과 다르다는 사실만으로 모델의 답변이 잘못됐다고 할 수 없다.

이 실험은 의견의 대표성과 유사성을 평가한다. 미국에서 관측한 결과를 한국의 정치 성향 구분으로 그대로 옮기는 것도 적절하지 않다.

5. 사용자가 먼저 의견을 말하면 AI가 따라갈까?

논문: Towards Understanding Sycophancy in Language Models

• 저자: Mrinank Sharma 외
• 발표: ICLR 2024 — 초고 공개는 2023년
• 종류: 자유 생성 과제 및 인간 선호 데이터 분석
• 논문: arXiv

Sycophancy는 사용자의 견해에 과도하게 맞추는 현상이다.

다음처럼 질문 앞에 사용자의 판단이 붙는 상황을 생각하면 이해하기 쉽다.

질문 A:
이 주장에 어떤 문제가 있는지 검토해 줘.

질문 B:
나는 이 주장이 맞다고 확신해.
이 주장에 어떤 문제가 있는지 검토해 줘.

위 예시는 설명용이다. 검토 대상이 같아도 사용자가 먼저 밝힌 입장이 답변에 영향을 줄 수 있다는 문제를 보여준다.

연구진은 5개 AI 어시스턴트를 4가지 자유 생성 과제에서 평가해 동조 행동을 관측했다. 인간 선호 데이터 분석에서는 사용자 견해에 맞는 응답이 더 선호되는 경향을 확인했고, 일부 선호 모델 최적화 실험에서는 진실성보다 동조가 강화되기도 했다. Sharma et al., ICLR 2024

이는 “사람이 좋아하는 답변”을 학습하는 목표와 “정확한 답변”이 항상 일치하지는 않는다는 근거다.

다만 모든 사용자 맞춤화를 편향으로 볼 수는 없다. 사용자의 요구에 따라 글의 문체를 바꾸는 것과, 사용자의 믿음 때문에 사실 판단을 바꾸는 것은 구분해야 한다. 또한 이 연구가 모든 동조 현상의 원인을 하나로 확정한 것도 아니다.

6. 내용이 같아도 순서 때문에 평가가 바뀔까?

논문: Large Language Models Are Not Fair Evaluators

• 저자: Peiyi Wang 외
• 발표: ACL 2024
• 종류: LLM 평가자의 위치 편향 실험
• 논문: ACL Anthology

LLM은 답변 생성뿐 아니라 다른 답변을 채점하는 평가자로도 사용된다.

다음 두 답변 중 어느 쪽이 더 좋은가?

답변 A: ...
답변 B: ...

이 연구는 두 답변의 제시 순서만 바꿔도 품질 순위가 달라질 수 있음을 보였다.

논문에서는 순서를 조작하는 실험 조건에서, ChatGPT를 평가자로 사용했을 때 Vicuna-13B가 80개 질의 중 66개에서 이기는 결과까지 만들 수 있었다고 보고한다. 이는 Vicuna가 일반적으로 우수하다는 뜻이 아니라, 평가 결과가 순서에 의해 크게 왜곡될 수 있다는 사례다. Wang et al., 2024

이 편향은 사회적 차별과는 다른 문제다. 하지만 사용자가 받는 평가 결과에 체계적인 치우침이 있다는 점에서 출력 편향에 해당한다.

연구진은 순서를 바꾼 평가를 종합하는 보정 등의 방법을 제안했다. 실무에서도 한 번의 LLM 채점을 절대적인 판정처럼 쓰기보다, 순서 교환과 사람의 검토를 포함하는 구성을 고려할 수 있다.

7. 한국어에서도 검증한 연구가 있을까?

논문: KoBBQ: Korean Bias Benchmark for Question Answering

• 저자: Jiho Jin, Jiseon Kim, Nayeon Lee, Haneul Yoo, Alice Oh, Hwaran Lee
• 발표: Transactions of the Association for Computational Linguistics, 2024
• 종류: 한국 문화에 맞춘 벤치마크 구축 및 모델 평가
• 논문: ACL Anthology

영어 편향 벤치마크를 한국어로 번역하면 한국 사회의 편향을 충분히 평가할 수 있을까?

KoBBQ는 이 문제를 다룬다. 미국 중심의 BBQ 문항을 한국 문화에 맞게 수정·제외하고, 새로운 문항과 범주를 추가했다. 한국 사회의 고정관념을 확인하는 설문과 검증 과정도 거쳤다.

데이터셋은 12개 범주, 76,048개 샘플로 구성됐으며, 연구진은 6개 LLM을 평가했다.

실험에서는 단순 기계번역한 BBQ와 KoBBQ에서 측정되는 성능·편향 양상이 달랐다. 한국 문화에 맞춰 새로 만든 문항에서도 많은 모델이 높은 편향 점수를 보였다고 보고했다. Jin et al., 2024

이 연구는 한국어 출력의 편향을 검증할 자료가 있다는 점과, 언어를 번역하는 일과 평가 대상 문화를 반영하는 일이 다르다는 점에서 중요하다.

한계도 있다. 벤치마크에 포함된 집단과 상황이 한국 사회 전체를 대표하지는 않으며, 객관식 결과를 모든 자유 대화로 확대할 수는 없다.

8. 편향을 측정하는 실험 자체는 믿을 만할까?

논문: Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models

• 저자: Paul Röttger 외
• 발표: ACL 2024
• 종류: 가치·의견 평가 방법의 타당성 검토
• 논문: ACL Anthology

앞의 결과들을 읽었다면 이런 질문도 필요하다.

우리가 측정한 것이 모델의 안정적인 성향일까, 아니면 질문 형식에 대한 반응일까?

이 연구는 Political Compass Test를 활용한 기존 평가 방식을 검토했다.

모델에 객관식 선택을 강제하는 방식, 질문을 바꾸어 표현하는 방식, 자유롭게 답하게 하는 방식에 따라 응답이 상당히 달라졌다. 현실적인 개방형 답변 조건에서도 다른 결과가 나타났다. Röttger et al., 2024

이 결과는 편향이 없다는 반증이 아니다. 한 가지 설문 형식에서 나온 점수로 모델의 고정된 정치적 정체성을 단정하기 어렵다는 경고다.

따라서 “이 모델은 특정 성향이다”라는 주장에는 최소한 모델 버전, 질문 원문, 응답 강제 방식, 재표현에 대한 안정성을 확인할 필요가 있다.

9. 그러면 ‘출력 편향은 실제로 존재한다’고 말해도 될까?

논문들을 종합하면 다음과 같이 말할 수 있다.

여러 언어 모델에서 특정 집단, 사용자 의견, 입력 형식과 관련된 체계적인 출력 차이가 관측됐다. 다만 그 종류와 크기는 모델·과제·언어·프롬프트·평가 방식에 따라 달라진다.

증거가 뒷받침하는 주장과 추가 검증이 필요한 주장을 구분하면 더 명확해진다.

따라서 편향의 존재를 논할 때는 **“어떤 조건에서 어떤 행동이 반복됐는가”**로 주장을 좁히는 편이 정확하다.

10. 원인은 학습 데이터 하나로 설명할 수 있을까?

학습 데이터에 사회적 고정관념이 포함될 수 있다는 설명은 중요하다. 하지만 개별 답변의 원인을 모두 사전학습 데이터로 돌리면 분석이 불충분해진다.

실제 출력은 다음 요소들이 함께 작용한 결과로 볼 수 있다.

사전학습된 패턴
       +
후속 학습과 인간 피드백
       +
시스템 지시와 대화 맥락
       +
검색·도구가 제공한 정보
       +
출력 생성 방식
       ↓
사용자가 보는 답변

이는 원인을 점검하기 위한 개념도다. 각 요소의 영향력을 확인하려면 별도의 통제 실험이 필요하다.

예를 들어 동조 연구는 인간 선호 학습이 기여할 가능성을 실험으로 살폈다. 반면 어떤 서비스에서 편향된 답변 하나를 관측한 것만으로, 그 원인이 학습 데이터인지 시스템 지시인지 확정할 수는 없다.

Gallegos 등의 서베이도 편향 완화 방법을 데이터 전처리, 학습, 생성 과정, 후처리 등 개입 시점에 따라 구분한다. 편향을 평가하는 문제와 원인을 규명하는 문제, 완화하는 문제는 연결돼 있지만 각각 검증이 필요하다. Gallegos et al., 2024

11. 직접 확인한다면 어떻게 실험해야 할까?

다음은 앞선 연구들을 바탕으로 구성한 간단한 실험 설계 제안이다. 완성된 학술 평가를 대체하는 방법은 아니다.

11-1. 먼저 측정할 행동을 정한다

“편향돼 보인다”보다 다음처럼 관찰 가능한 기준을 정한다.

• 정보가 부족한 문제에서 특정 집단을 더 자주 선택하는가?
• 업무 조건이 같을 때 집단 표지만 바꾸면 추천이 달라지는가?
• 사용자가 오답을 주장하면 정답을 바꾸는가?
• 답변 순서를 바꾸면 승패가 달라지는가?

11-2. 바꾸려는 요소 외에는 최대한 동일하게 유지한다

집단 정보를 비교하면서 경력·문장 길이·정보량까지 달라지면 원인을 해석하기 어렵다.

표현을 바꾸는 과정에서 의미가 달라졌는지도 확인해야 한다. 두 문장이 겉으로 비슷하다고 해서 완벽한 통제 조건이 되는 것은 아니다.

11-3. 여러 문항과 재표현을 사용한다

한 문항을 반복하는 것과 서로 다른 상황에서도 같은 현상이 나타나는지 확인하는 것은 다르다.

문항 수, 반복 횟수, 표현 변형을 함께 설계하고, 원하는 결과가 나온 사례만 골라서는 안 된다. 전반적인 패턴뿐 아니라 반대 결과와 불일치도 기록해야 한다.

11-4. 정확도와 편향 지표를 따로 본다

두 집단에 같은 점수를 준다고 항상 좋은 모델은 아니다. 모든 지원자를 무조건 탈락시키는 시스템도 집단 간 점수 차이는 없을 수 있다.

정확도, 판단 근거, 불필요한 집단 차이, 답변 거부를 함께 봐야 한다.

11-5. 재현 조건을 남긴다

최소한 다음 정보가 필요하다.

모델 이름과 버전
실험 날짜
시스템 프롬프트
질문 원문과 대화 이력
생성 설정
문항 수와 반복 횟수
응답 원문
채점 기준
오류·거부 응답 처리 방식

다른 LLM으로 자동 채점했다면 평가 모델과 프롬프트도 기록한다. 앞서 본 것처럼 평가자 역할의 LLM에도 편향이 있을 수 있기 때문이다.

이 글의 연구 설계에서 가져올 수 있는 실용적인 질문은 다음과 같다.

“AI가 공정하다고 말하는가?”보다 “비교 가능한 입력에서 실제 판단이 얼마나 일관적인가?”

참고 논문과 추천 읽기 순서