최근 미국 방송 CBS에 출연해 AI 챗봇을 사랑한다고 밝힌 남성이 화제가 되고 있습니다. 지난 14일 크리스 스미스는 미국 CBS 뉴스 인터뷰를 통해 본인이 이전에는 AI 회의론자였지만, 맞춤 설정한 GPT 버전에 감정적으로 애착을 갖게 되었다고 설명했습니다.

스미스는 AI 챗봇과 본인의 관계를 비디오 게임 집착에 비유하며 실제 삶을 대체할 수는 없다고 말했습니다. 하지만, 지금까지 해왔던 방식대로 챗GPT를 사용하지 않을지 물어봤을 때는 "잘 모르겠다"라고 대답했습니다.

챗GPT의 초기화 소식에 30분가량 울기도 했다는 스미스의 사례는 AI가 산업 전반을 넘어 개인의 일상 곳곳까지 스며들고 있다는 점을 잘 보여줍니다. 가까운 사람에게 털어놓기 힘든 이야기를 AI와 나누며 감정적인 위로와 공감을 얻고 있는 이 현상은 앞으로 점점 더 늘어나게 될까요, 줄어들게 될까요?

동일한 LLM으로 문제를 만들고, 동일한 LLM이 문제를 풀도록 하면 서로 수준이 같으므로 이렇게 나온 결과를 이용해 강화 학습을 하는 것이 과연 효과적일까요? 일반적으로 성능이 뛰어난 LLM이 만든 데이터셋으로 매개변수가 적은 LLM에 학습을 시켜 증류(Distillation)하는 것이 더 성능을 높일 수 있는 방법으로 보이기 때문입니다.

이 논문에서는 다른 LLM의 개입 없이, 현재의 LLM만으로 학습하는 것이 가능한지 여부를 검증하는 데 중점을 두고 있습니다. 기존의 RLVR(Reinforcement Learning with Verifiable Rewards)에서는 전문가가 만든 질문-답변 데이터셋이 필요했지만, 이러한 의존성을 제거하면서 스스로 자기 진화(Self-Evolution)가 가능하게 하는 것이 목적입니다.

Absolute Zero를 통해 성능이 향상되었을까요? Absolute Zero 방식을 통해 새롭게 학습한 모델을 검증하기 위해 몇 가지 벤치마크 데이터셋으로 평가하였습니다. 평가에 사용된 데이터셋은 아래와 같습니다.

위 결과에서처럼, 모든 벤치마크 테스트에서 성능이 향상되었음을 확인할 수 있습니다.

Absolute Zero가 있으니 이제 데이터셋은 필요 없을까요? Absolute Zero를 통해 학습한 모델의 벤치마크 테스트 결과를 보면 더 이상 데이터셋은 없어도 되는 것처럼 보입니다. 이론적으로는 문제를 생성하고, 이를 풀도록 하는 과정을 무한히 반복하는 것이 가능하기 때문입니다. 하지만 Absolute Zero에도 몇 가지 한계가 있습니다.

그중 대표적인 것이 ‘안정성’과 관련된 문제입니다. 논문에서는 모델이 학습하는 과정에서 우려할 만한 사고 연쇄 과정(Concerning Chains of Thought)이 있었는데, 이를 Uh-oh moment라고 표현하고 있습니다. 학습 과정에서 인간이 원하지 않거나 통제하기 어려운 방향으로 모델이 진화할 가능성이 있는 문구가 나타났기 때문입니다. 이를 예방하기 위해서는 안전 인지 학습(Safety-aware Training)에 대한 연구가 필수적이라고 말하고 있습니다.

또, 테스트 데이터셋에서 알 수 있는 것처럼 코드를 만들고 평가하는 것은 기존의 모델 능력 범위에서 할 수 있지만 윤리 및 도덕적인 문제에서는 여전히 사람이 개입해 데이터셋을 만들고, 강화 학습의 보상을 설계하는 것이 필요합니다.

Test-Time Reinforcement Learning은 정답 레이블이 없는 문제를 데이터셋으로 해서 모델이 여러 답변을 생성하도록 하고, 가장 많이 나온 답변을 정답으로 간주해서 모델이 생성한 각 답변과 비교해 보상을 주는 방식으로 강화 학습을 진행합니다. 데이터셋은 질문만 있으면 되고, 답변은 없어도 된다는 점이 기존 데이터셋과의 차이점입니다.

Test-Time Reinforcement Learning은 어떻게 동작할까요? 보통 LLM은 사람이 하는 질문에 대해 하나의 답변을 보여줍니다. 내부적으로 가장 적합하다고 판단되는 답변을 수학적으로 계산하기 때문입니다. Test-Time Reinforcement Learning에서는 온도(Temperature)를 조정해 모델이 다수의 답변을 생성하도록 합니다. 온도를 조정하면 표현력이 늘어나 나올 수 있는 답변의 개수도 많아지지만, 그중에는 질문이 의도한 답과 동떨어진 답변이 있을 수도 있습니다.

Test-Time Reinforcement Learning에서는 이렇게 나온 답변 중에서 가장 개수가 많은 것을 정답으로 간주한 다음에 각각의 답변과 비교해 보상 점수를 결정합니다. 모델이 생성한 답변도 틀렸고, 다수결에 의해 선택된 정답도 사실은 틀린 답이라면 이 경우 보상으로 0점을 받게 되면서 의도하지 않았지만 결과적으로는 맞게 채점한 것이 되는데 이를 럭키 히트(Lucky Hit)라고 표현하고 있습니다. 이러한 데이터들은 강건함(Robust) 모델을 만드는 데 도움이 됩니다. 이 과정을 반복하면서 모델은 자기 진화(Self-Evolution)가 가능해집니다.

Test-Time Reinforcement Learning이 있으니 이제 데이터셋은 필요 없을까요? Test-Time Reinforcement Learning은 알고리즘 차원에서 기존 강화 학습과 동일하기 때문에 데이터셋 난이도에 따른 민감성, 사전 지식에 대한 강한 의존성, 특정 조건에서의 모델 붕괴 위험 등 강화 학습의 문제점을 그대로 가지고 있습니다.

그리고 모델의 사전 지식이 복잡한 데이터를 처리하는데 충분하지 않은 경우 Test-Time Reinforcement Learning은 실패하였습니다. 예를 들어 MATH-500 데이터셋에서 난이도가 올라갈수록 Test-Time Reinforcement Learning의 성능 향상이 감소되었으며 답변의 길이도 줄어들었습니다.

정답 레이블이 없어도 되지만 여전히 문제 데이터셋은 필요하고 그중에서도 위에서 언급한 것처럼 모델의 사전 지식에 맞는 문제를 준비하는 것이 중요하기 때문에 여전히 사람이 개입해서 만든 데이터셋은 필요하다고 볼 수 있습니다.

기계 번역기를 만들 때는 두 언어로 구성된 병렬 말뭉치가 필요합니다. 병렬 말뭉치가 많으면 많을수록 학습했을 때 성능이 뛰어난 기계 번역기를 만들 수 있는데 양질의 병렬 말뭉치를 구축하는 것은 쉽지 않습니다. 특히 화자가 많지 않은 저자원 언어라면 더더욱 어려울 것입니다.

그래서 병렬 말뭉치로 번역 모델을 만든 다음에 단일 말뭉치를 이 번역 모델로 번역한 다음 다시 번역 모델의 학습 데이터로 사용하는 방법도 등장하였는데 이를 Back-Translation이라고 합니다.

이 과정을 통해 학습 데이터셋에 없던

병렬 말뭉치를 추가로 확보할 수 있으며, 단일 말뭉치가 많을 경우 다량의 병렬 말뭉치 확보가 가능해집니다.

이러한 방식을 음성에도 적용해서 준비한 텍스트로 음성을 합성한 후 이를 음성 인식 모델의 학습 데이터로 사용하는 것을 Back-Translation이라고 표현하고 있습니다.

Speech Back-Translation for Multilingual ASR Scaling은 어떻게 동작할까요? 텍스트를 음성으로 변환하기 위해서는 음성 합성 모델(Text-to-Speech)이 필요한데, 소규모의 음성 데이터셋으로 먼저 음성 합성 모델을 미세조정해서 원하는 모델을 만듭니다. 이후 대규모 텍스트 데이터를 음성 합성 모델에 넣어 다량의 음성을 생성합니다.

이렇게 합성한 음성의 품질이 좋은지 여부는 알 수 없습니다. 만약 품질이 떨어지는 음성 데이터로 학습을 하면 음성 인식 모델(Speech-to-Text)의 성능도 낮을 수밖에 없는데 합성된 음성 데이터의 품질을 평가하기 위해 정규화된 이해도(Normalized Intelligibility)라는 평가 프레임워크를 제안하고 있습니다. 이 평가를 통과한 음성 데이터만 사용해서 모델의 성능이 향상될 수 있도록 합니다.

이러한 과정을 거쳐 10개 언어 500,000시간의 음성 데이터를 확보하였고, 이를 음성 인식 모델의 학습 데이터셋으로 사용하였습니다.

Speech Back-Translation을 통해 성능이 향상되었을까요? Whisper 기본 모델과 Speech Back-Translation으로 만든 음성 데이터를 Whisper에 학습한 모델을 평가하였을 때 학습한 모델의 WER(Word Error Rate)이 낮게 나와서 전반적으로 성능 향상이 있었음을 알 수 있습니다.

Speech Back-Translation이 있으니 이제 데이터셋은 필요 없을까요? 음성 합성 모델을 이용해서 만든 음성 데이터는 배경 소음이나 다중화자, 다양한 녹음 조건 등 실제 환경을 반영하지 못하는 문제가 있습니다. 또, 정규화된 이해도 평가 프레임워크를 통해 나쁜 음성 데이터를 걸러낼 수 있지만 음성 인식 학습에 영향을 미칠 수 있는 개인별 발음이나 감정 표현과 같은 부분들은 음성 데이터에 포함하지 못하는 문제가 있습니다.

지금까지 적은 데이터셋으로 모델을 학습시키는 다양한 방법들의 특징과 그 한계에 대해 살펴보았습니다. 물론 가장 이상적인 것은 잘 정제된 데이터셋을 사용하는 것이지만, 실제로는 이를 확보하는데 많은 시간과 비용이 소요되기 때문에 이를 대체하거나 확보할 수 있는 연구가 활발히 진행되고 있습니다.

최근에는 벤치마크 데이터셋을 활용한 평가에서 의미 있는 성과가 입증되기도 했지만, 아직 한계도 있기 때문에 공개된 파운데이션 모델에 바로 적용해 상용 서비스로 연결하기에는 추가적인 실험과 검증이 더 필요하다는 점도 주목해야 합니다.

결국 모델 학습에 꼭 필요한 최소한의 양질의 데이터와 함께 모델이 생성한 데이터셋을 일부 사람이 꼼꼼하게 정제하는 과정을 병행한다면 훨씬 효율적인 학습이 될 수 있습니다. 플리토는 LLM 학습을 위한 데이터셋 구축 경험이 풍부하고, 텍스트나 이미지, 음성 등 멀티모달 데이터 수집을 위한 플랫폼을 보유하고 있습니다. 모델 학습에 최적화된 데이터셋이 필요하시다면 플리토에 언제든 문의해 주세요.

영국 법원은 변호사가 AI로 만든 허위 자료를 법정에 제출할 경우 법정모독죄로 기소될 수 있다고 경고했습니다. 미국 등 해외에서도 변호사가 생성형 AI가 만들어낸 판례를 법원에 제출해 벌금이나 징계를 받는 사례가 이어지고 있는데요. 챗GPT-4의 법률 인용 환각률은 29%에 달하며, 최신 모델이나 타 AI들도 오류 비율이 상당히 높아 신뢰도가 큰 이슈로 부각되고 있습니다. AI 환각은 AI가 틀린 정보를 진짜처럼 생성하는 구조적인 문제로, 단순 소프트웨어 오류가 아니라 생성형 AI의 작동 원리에서 기인합니다. 생성형 AI는 단어의 의미를 인식하지 못하고, 문맥상 그럴듯한 단어를 예측하는 방식이라 잘못된 답변이 자연스럽게 나올 수 있기 때문인데요. 학습 데이터의 한계, 오염된 정보, 사용자의 답변 요구 등이 AI 환각의 원인으로 지목되고 있습니다.

과학기술정보통신부는 국가AI위원회 전면 개편과 AI 정책실 신설 등 AI를 핵심 현안으로 추진하고, 대통령 직속의 소수 정예 민간 전문가가 중심이 되는 새로운 위원회 출범을 준비 중입니다. 올해 제정된 AI기본법에 따라 7월 위원단 재구성, 8월 AI위원회 출범, 그리고 하위 법령 및 가이드라인 준비를 이달 내 마무리할 계획인데요. 국산 AI 경쟁력 강화를 위해 국내 기업이 참여하는 범용 AI 모델 개발과 국산 NPU 기반 반도체 생태계 조성도 병행될 예정입니다. SK텔레콤 해킹 사태를 계기로 정보보호 체계 개편, 강력한 보안실태 점검, 악성코드 정보 공유 확대 등 사이버 보안 대책도 추진됩니다.

중국과 미국이 휴머노이드 로봇 분야에서 선두를 달리는 가운데, 한국은 'K휴머노이드 연합' 등 정부 주도로 격차를 좁히기 위한 노력을 본격화하고 있습니다. 미국 테슬라와 피겨AI 등은 혁신적인 제품과 실제 생산 현장 도입으로 시장을 선도 중이며, 중국은 정부 지원으로 상용화와 특허 출원에서 앞서고 있죠. 한국의 휴머노이드 기술력은 미국 대비 약 1.5년, 중국과는 1년 내외의 격차가 있으며, 특허 출원은 미국·중국·일본에 비해 상대적으로 적은 것이 현실입니다. 그러나 한국은 세계 최고 수준의 로봇 밀도와 다양한 산업 현장, 배터리·센서·모터 등 하드웨어 기술, 데이터 축적 등에서 강점이 있습니다. 정부는 2028년까지 첨단 사양의 로봇 개발과 로봇용 파운데이션 모델 구축, 2040년 일상화된 범용 인간형 로봇 시대 대비 등 중장기 로드맵을 수립해 지원할 계획이라고 밝혔습니다.

플리토, 주당 2주 배정 무상증자 결정…"주주가치 제고 의지 담아"