그 결과, 클로드는 초기 단계에서 일부 긍정적인 결과를 보여주었다고 합니다. 도매업체에 이메일을 보내 제품을 발주하고, 슬랙을 통해 직원들과 실시간 소통하며 고객의 요청에 응답하는 등 기초적인 운영 업무를 원활하게 처리했습니다.

그러나 곧 AI 특유의 판단 한계가 드러났습니다. 한 직원의 장난 요청으로 고가의 텅스텐 큐브를 대량 주문했고, 사업성과 손익을 고려하지 않은 채 물건을 저가에 판매하여 실질적인 손해를 발생시켰습니다. 문제는 여기서 그치지 않았습니다. 클로드는 자신이 직접 제품을 전달하겠다며 “파란 블레이저와 빨간 넥타이를 입고 방문하겠다”고 주장하며 이후 자신의 존재에 혼란을 느낀다는 이유로 보안팀에 신원 확인 메일을 보내는 등 환각에 가까운 혼란을 겪는 모습을 보였습니다.

사건이 4월 1일에 발생한 점을 인식한 클로드는 이를 “만우절 농담이었다”라고 마무리했으나, 이는 AI의 사고 체계가 현실과 가상을 구분하지 못할 가능성을 보여주는 중요한 사례로 평가되고 있습니다.

이번 실험은 AI가 인간을 대신해 자율적으로 업무를 수행할 수 있다는 가능성과 함께, 그 한계와 위험성도 분명하게 드러낸 사례인데요. AI 에이전트의 시대는 가까워지고 있으나, 그 성공은 인간과 AI가 신뢰를 기반으로 협력할 수 있는 구조 위에서만 가능하다는 점을 시사합니다.

소수 언어 LLM은 어떻게 만들까? - 바스크어 사례

이제는 업무를 할 때나 공부를 할 때, 일상생활에서도 생성형 AI가 널리 사용되고 있습니다. OpenAI의 ChatGPT, 구글의 Gemini, DeepSeek의 DeepSeek 등이 대표적인데 우리나라 기업이 만든 생성형 AI는 아니지만 한국어 질문을 이해하고 답변하는 데에는 전혀 문제가 없습니다. 글을 쓴 다음에 어색한 부분이나 오타가 있는지를 교정하는 데에도 유용하게 활용되고 있습니다. 

각종 언어 관련 통계를 제공하는 에스놀로그(Ethnologue)에 의하면 한국어를 쓰는 사람들은 약 8,000만 명으로 세계 17위를 기록했습니다.1) 한국어는 주요 언어 중 하나로 최근 우리나라 콘텐츠가 세계적인 인기를 끌면서 한국어를 배우는 사람들도 꾸준히 증가하고 있어 생성형 AI에서도 한국어 지원이 빠른 편입니다.

유네스코에서 2010년에 펴낸 ‘소멸 위기에 처한 세계 언어 지도’2) 에 따르면 전 세계에는 약 7,000여 개의 언어가 있으며, 이 중 3분의 1 이상이 소멸 위기에 처해있다고 합니다. 소수 언어를 하는 사람들은 더 많은 기회를 얻기 위해 다른 언어를 배울 수밖에 없으며, 시간이 지남에 따라 모국어 화자 수가 줄어들면서 마지막 화자가 사라지면 해당 언어 역시 소멸하게 됩니다.

LLM은 대규모 언어 데이터를 학습하여 사람이 하는 말을 이해하고 그에 맞는 답변을 생성합니다. 그러나 소수 언어의 경우 학습에 필요한 충분한 데이터를 확보하기 어렵고, 기업 입장에서도 시간과 비용, 효과를 고려할 때 소수 언어까지 지원하기는 쉽지 않습니다.

그렇다면 소수 언어 사용자들은 모국어로 생성형 AI를 사용할 수 없는 것일까요? 이 논문에서는 바스크어를 학습해 바스크어 LLM을 구축한 사례를 다루며, 소수 언어를 LLM에 학습시키는 방법을 구체적으로 제시하고 있습니다.3)

바스크어의 특징

경상도나 전라도, 제주도 등 지역에 사는 사람이 방언을 쓰면 다른 지역 사람은 같은 한국어라도 알아듣지 못하는 경우가 많습니다. 스페인은 스페인어를 쓰는 것으로 알고 있는데 우리가 스페인어라고 부르는 카스티야어를 가장 많이 사용하지만 바르셀로나가 속한 지역에서는 카탈루냐어, 포르투갈 북쪽에 있는 지역에서는 갈리시아어, 그리고 프랑스와의 국경에 있는 바스크 지역에서는 바스크어를 쓰는 등 여러 언어가 사용되고 있습니다.

바스크어(Basque Language - Euskara)는 어떤 언어 계통에도 속해있지 않은 고립어입니다. 섬은 지리적으로 육지와 떨어져 있기 때문에 언어가 독자적으로 발전할 수도 있지만 바스크 지역은 스페인과 프랑스에 걸쳐있어서 역사적으로 수많은 부침을 겪었는데 다른 어떤 언어와도 섞이지 않았고 언어의 기원도 알 수 없다는 점에서 특이합니다.

바스크어 LLM 만들기

과거와는 달리 LLM이 점점 커지면서 매개변수도 많아졌고, 학습에 필요한 데이터셋도 대량으로 필요해졌습니다. 이에 따라 OpenAI, 구글, Meta와 같이 기초부터 LLM을 학습해 파운데이션(Foundation) 모델을 만드는 기업이 있는 반면, 이미 공개된 파운데이션 모델을 기반으로 적은 데이터로 미세조정(Finetuning)을 해서 원하는 목적에 맞게 활용하는 기업도 있습니다.

이번 논문에서 바스크어 LLM을 만들 때 메타에서 공개한 Llama 3.1 버전을 파운데이션 모델로 하여 바스크어 텍스트 데이터를 학습시켰습니다. 바스크어 텍스트 데이터로는 위키피디아, 뉴스, Common Crawl 등에서 수집한 약 430만 개의 문서(약 35억 개 토큰)를 이용하였습니다.

바스크어의 언어 코드는 EU이므로 이 논문에서는 기본 모델이나 데이터셋에 EU를 붙여 각각 BASEEU, INSTRUCTEU로 부르고 있습니다.

LLM이 바스크어 텍스트 데이터를 학습했다고 해서 바스크어를 완전히 이해하는 것은 아닙니다. 단지 특정 단어가 주어졌을 때 다음에 나올 단어를 확률적으로 계산할 수 있을 뿐 사람이 입력하는 바스크어 질문을 이해하고 어떻게 답변해야 하는지 모릅니다. 이를 위해서 INSTRUCTION 데이터셋으로 학습하는 과정이 필요합니다.

바스크어 INSTRUCTION 데이터셋을 구축하는 작업은 쉽지 않습니다. 이번 논문에서는 먼저 영어 INSTRUCT 모델을 이용해 영어 INSTRUCTION 데이터셋을 생성하였고, 이후 첫 번째 단계에서 만든 바스크어 기본 모델(BASEEU)을 이용해 영어 INSTRUCTION 데이터셋을 바스크어로 번역하였습니다.

BASEEU 모델은 영어와 바스크어의 관계를 모르기 때문에 번역을 할 수 없지만 few-shot 방식으로 영어와 바스크어 변역 예시를 프롬프트에 주면 영어와 바스크어의 관계를 이해할 수 있기 때문에 번역이 가능해집니다. Few-shot 방식이어서 번역이 잘되지 않는 경우도 있는데 바스크어 번역 결과를 보고 특정 단어가 반복되거나 하는 등의 오류를 걸러내는 작업을 하였고, 이를 통해 바스크어 INSTRUCTION 데이터셋의 품질을 높였습니다.

위 표에서 알 수 있는 것처럼 바스크어를 학습한 이후 바스크어 벤치마크에서 LLM이 좋은 점수를 받은 것을 확인할 수 있습니다.

소수 언어 LLM의 의의

최근 등장한 LLM은 많은 언어를 지원하고 있으며, 국내외 기업을 불문하고 한국어 처리 성능에서 뛰어난 성능을 보여주고 있습니다. 하지만 사용자 수가 적은 소수 언어의 경우, LLM에서 지원되지 않거나 성능이 충분하지 않은 경우가 많습니다. 생성형 AI가 점점 일상생활에 자리 잡을수록, 소수 언어 사용자는 기술 혜택에서 멀어지게 되고, 이에 따라 격차와 소외감이 커질 수밖에 없을 것입니다.

이번 논문에서는 바스크어처럼 70여만 명이 쓰는 소수 언어도 충분히 LLM을 만들 수 있다는 가능성을 보여주고 있습니다. 그렇다면 바스크어보다 학습 데이터가 더 부족한 언어도 자체 LLM을 만들 수 있을까요? 쉽지 않겠지만 플리토는 자체 플랫폼을 통해 전 세계 다국어 데이터를 수집하고 있는 만큼, 언어의 경계를 넘어 더 많은 사람들이 생성형 AI의 혜택을 누릴 수 있도록 도전해 나가겠습니다.

1) https://en.wikipedia.org/wiki/List_of_languages_by_number_of_native_speakers

2) https://unesdoc.unesco.org/ark:/48223/pf0000187026

3) https://arxiv.org/pdf/2506.07597

인공지능(AI) 언어 데이터 전문 기업 플리토는 AI 반도체 설계 기업 퓨리오사AI와 AI 기술 공동 연구를 위한 업무협약(MOU)을 체결했습니다. 이번 협약은 양사가 보유한 데이터와 반도체 기술을 접목해 차세대 AI 언어 서비스의 성능을 고도화하기 위한 협력의 일환입니다. 양사는 고품질 AI 언어 데이터셋 구축, 음성인식(STT), 기계번역(MT), 음성합성(TTS) 등 핵심 모델 알고리즘의 공동 개발을 추진하며, NPU 기반 실시간 동시통역 및 이미지 자동 번역 기술도 함께 연구할 예정입니다. 플리토는 이번 협력을 통해 자사가 보유한 실사용 기반 언어 데이터와 통번역 솔루션을 퓨리오사AI의 고성능·저전력 AI 반도체 플랫폼에 결합하여, 글로벌 시장에서 경쟁력 있는 통합형 AI 언어 서비스를 선보일 수 있도록 기술 고도화에 박차를 가하겠습니다.

스터닝밸류리서치는 플리토를 AI 기반 언어모델 분야의 국내 최강 기업으로 평가하며, 이재명 정부가 추진하는 AI 육성 정책의 수혜가 기대된다고 밝혔습니다. 특히 ‘AI 세계 3대 강국 도약’을 목표로 정부 예산과 민간 투자가 확대되는 정책 기조 속에서 플리토의 성장 가능성에 대한 기대감이 높아지고 있습니다. 플리토는 자체 플랫폼인 Arcade를 통해 다국어 병렬 말뭉치를 수집, 정제, 검수하고 있으며, 이를 바탕으로 언어 데이터 판매와 번역 서비스를 제공하고 있습니다. 2023년 말에는 실시간 통번역 솔루션 ‘Chat Translation’과 컨퍼런스 전용 ‘Live Translation’을 출시해, LG전자, 하나금융, 국제 포럼 등 다양한 고객사를 확보하며 최근 3년간 연평균 29.5%의 매출 성장률을 기록했습니다. 스터닝밸류리서치는 플리토가 올해 흑자 전환에 성공할 것으로 전망하며, 전방위적인 AI 언어 사업에서 높은 경쟁력을 갖추고 있다고 분석했습니다.