연구진, LLM이 지역을 지정하지 않은 문화 질문에서 일본·미국 등 일부 국가를 반복 선택하는 편향 발견

카디프대학교와 바스크대학교 연구진이 지역을 지정하지 않은 문화 관련 질문에 대규모 언어 모델이 어떤 국가를 선택하는지 분석한 논문을 arXiv에 공개.

연구진은 11개 문화 영역과 66개 세부 주제로 구성된 문화 관련 개방형 질문 데이터셋 CROQ를 제작하고, 1,320개 질문을 24개 언어로 번역한 총 3만 1,680개 질문을 여러 상용·오픈소스 LLM에 제시. 그 결과 모델들은 질문에 사용된 언어가 공용어인 국가를 우선적으로 선택했으며, 해당 국가들을 제외하면 일본과 미국 등 소수 국가를 문화적 사례로 반복 선택하는 경향을 확인.

특히 일본은 예술·음식·신념 등 여러 문화 영역에서 대표 사례로 자주 등장했으며, 영어를 비롯한 고자원 언어에서는 비교적 다양한 국가가 언급된 반면 일부 저자원 언어에서는 소수 국가로 선택이 더욱 집중되는 현상 관찰.

기반 모델과 지도 미세조정·지시 조정 모델을 비교한 실험에서는 국가 선택의 집중 현상이 사전학습 단계보다 지도 미세조정 이후 크게 강화된 것으로 나타남. 연구진은 LLM의 정렬 과정이 문화적 편향을 제거하기보다 널리 알려지고 설명하기 쉬운 일부 국가를 문화적 기본값으로 굳힐 가능성을 제기.