중국 AI, 학습 데이터 고갈 위기? 중국어 웹 콘텐츠 1.3%에 불과

중국 인공지능(AI) 기업들이 대규모 언어 모델(LLM) 개발에 필요한 고품질 학습 데이터 확보에 비상이 걸렸다. 전 세계 웹 콘텐츠에서 중국어가 차지하는 비중이 1.3%에 불과해 영어 기반 모델에 비해 데이터가 턱없이 부족하다는 지적이다. ZDNet Korea가 사우스차이나모닝포스트(SCMP)를 인용한 보도에 따르면, 이는 중국 AI 기술 발전에 심각한 병목 현상을 초래할 수 있다.

언어의 장벽, 데이터의 장벽

W3테크스(W3Techs) 자료에 따르면 현재 전 세계 웹 콘텐츠의 절반 가까이(49%)가 영어다. 반면 중국어는 1.3%에 불과하다. 스페인어(6%), 독일어(6%), 일본어(5%)와 비교해도 현저히 낮은 수치다. 이는 중국 AI 기업들이 자국어 기반 LLM을 학습시킬 때 양질의 데이터를 구하기 어렵다는 의미다. 이렇다 보니 중국 기업들은 고품질 데이터 확보를 위해 막대한 비용을 지불하거나, 부족한 데이터를 보충하기 위해 다른 언어 데이터를 번역하는 등 편법까지 동원하는 실정이다.

데이터 부족은 단순히 양의 문제가 아니라 질의 문제로 이어진다. 웹에 공개된 데이터 중 상당수는 저품질이거나 편향된 내용을 담고 있어, 이를 그대로 학습시키면 AI 모델의 성능 저하와 환각(hallucination) 현상을 유발할 수 있다. 특히 중국어는 지역별 방언과 다양한 문어체, 구어체가 공존해 데이터 정제 작업이 더욱 복잡하다. 이는 모델의 정확성과 신뢰성에 직접적인 영향을 미친다.

LLM 경쟁력의 핵심, 데이터

AI 업계에서는 LLM의 성능을 결정하는 핵심 요소로 ‘데이터’를 꼽는다. 충분하고 양질의 데이터 없이는 아무리 좋은 아키텍처나 컴퓨팅 자원을 투입해도 한계가 명확하다는 것이다. 중국 정부는 AI 발전을 국가 핵심 전략으로 삼고 막대한 투자를 아끼지 않고 있지만, 기본적인 학습 데이터 인프라가 취약하다는 점은 치명적인 약점으로 작용할 수 있다.

데이터 고갈 위기는 비단 중국만의 문제는 아니다. 전 세계적으로 고품질 텍스트 데이터가 포화 상태에 이르면서, AI 기업들은 합성 데이터를 만들거나 비전, 오디오 등 멀티모달 데이터로 눈을 돌리고 있다. 하지만 중국의 경우 자국어 기반 데이터의 절대적인 양 자체가 부족해 더욱 심각한 상황이다. 결국 이 문제는 중국 AI가 글로벌 시장에서 경쟁력을 확보하는 데 큰 걸림돌이 될 것이 분명하다.