월트디즈니가 오픈AI와 10억 달러 규모 지분 투자를 하고 자사 캐릭터를 오픈AI의 동영상 플랫폼 '소라'에 제공할 것이라고 밝혔습니다. 이번 협약을 통해 디즈니는 겨울왕국, 주토피아, 스타워즈, 마블 시리즈 등 자사 캐릭터를 오픈AI의 소라에 제공함으로써 이용자들은 디즈니 캐릭터를 활용해 직접 단편 영상을 제작할 수 있습니다.

디즈니는 이와 동시에 명확한 제한선도 제시했습니다. 배우의 얼굴과 목소리 사용은 금지되며, 디즈니 IP를 AI 학습 데이터로 활용하는 것도 허용되지 않은 건데요. 이러한 제한은 캐릭터 중심의 영상 제작은 허용하되 초상권과 음성 권리를 보호하기 위한 조치로서, 생성형 AI 확산 속에서 권리 침해와 노동 이슈를 최소화하려는 의도인 것으로 파악됩니다.

기존의 벤치마크가 문법이나 문장 구조에 초점을 맞췄다면, IndQA는 문화적 유창성을 테스트합니다. 12개 인도 언어와 10개 산업 도메인(법률, 역사, 시사 등)을 아우르며, AI 모델이 언어를 넘어 얼마나 문화적 추론을 할 수 있는지를 평가하는 새로운 벤치마크죠. 이번 시간에는 IBM Think 채널의 'Can your AI reason across the Indic language spectrum?' 글을 통해 IndQA에 대해 자세히 소개해 드리겠습니다.

IndQA는 앞서 말했듯이 10개 도메인과 12개 언어를 포괄하여, AI 시스템이 현실의 인도를 이해하도록 이끌고 있습니다. 따라서, '타밀어 속담을 해석할 수 있을까?', '힌디어 문학적 상황을 논리적으로 풀어낼 수 있을까?', '벵골어 뉴스 기사 속 미묘한 뉘앙스를 이해할 수 있을까?'와 같은 질문을 던지며 AI가 인도를 복합적으로 받아들이는 평가 기준을 제시합니다.

인도에서 AI 솔루션을 구축하는 개발자와 기술 리더에게 IndQA는 단순 번역을 넘어 현지화로의 전환을 의미합니다. 단지 인도 언어를 말하게 만드는 것이 아닌, 그 언어로 생각하게 만드는 것이 목표인 겁니다. 인도 산업 전반에서 AI 도입이 가속화되는 가운데, 특히 지역적 맥락에서 실전 적합성을 측정하는 도구의 중요성은 더욱 커지고 있는데요.

IBM 방갈로어 이노베이션 엔게이지먼트 엑셀러레이션 리더 재스비르 카우르(Jasbir Kaur)는 인도에서 비즈니스를 운영하는 기업에게 "언어적 정확성은 있으면 좋은 것(nice-to-have)이 아니라 반드시 필요한(mission-critical) 요소며, 이러한 벤치마크는 AI 솔루션이 단순히 기능적으로 작동하는 수준을 넘어, 문화적, 맥락적으로도 지능적으로 작동한다는 신뢰를 제공한다"고 설명했습니다.

기계 번역의 역사는 매우 오래되었습니다. 1950년대 미국에서 규칙 기반 영어–러시아어 기계 번역기가 개발된 이후, 기계 번역 기술은 지속적으로 발전해 왔습니다. 이러한 기술 발전과 함께 기계 번역 성능을 정량적으로 평가하기 위한 지표도 등장했으며, 그중 대표적인 지표가 BLEU1)입니다.

BLEU는 기계 번역 결과와 사람이 번역한 정답 문장 사이에서 일치하는 단어의 비율을 기준으로 점수를 산출하는 방식입니다. 이로 인해 의미는 동일하지만 표현 방식이 다른 경우에는 점수가 낮게 산출되는 구조적 한계를 지니고 있습니다. 텍스트 요약의 품질을 평가할 때는 ROGUE2) 지표가 널리 사용되고 있습니다. 그러나 ROUGE 역시 BLEU와 마찬가지로 단어 단위로 일치 여부를 판단하기 때문에 요약문의 의미적 충실도나 전반적인 품질을 측정하는 데에는 한계가 있습니다.

최근에는 대규모 언어 모델(LLM)의 성능이 크게 향상되면서 번역이나 요약뿐만 아니라 다양한 자연어 처리 과제를 평가할 때도 LLM이 활용되고 있습니다. 이른바 LLM-as-a-Judge 방식은 다수의 연구에서 모델 성능을 평가하는 주요 방법 중 하나로 자리 잡았습니다. 다만 이러한 방식은 LLM이 어떤 기준이나 특징에 근거해 평가 판단을 내렸는지에 대한 설명 가능성이 제한적이라는 점에서, 평가 결과의 해석과 신뢰성 측면에서 여전히 해결해야 할 과제를 안고 있습니다.

요약 평가 기준 찾아보기
Exploring the features used for summary evaluation by Human and GPT3)에서는 사람과 GPT가 텍스트 요약의 품질을 평가할때 실제로 어떤 기준이나 특징이 작용하는지 살펴보고 있습니다. 이를 위해 AI가 요약을 얼마나 잘 하였는지를 평가하기 위해 구축된 데이터셋인 SummEval4)을 벤치마크로 활용하였습니다.

SummEval은 원본 텍스트를 바탕으로 AI가 생성한 요약 결과(machine summary)를 네 가지 평가 기준에 따라 사람이 직접 품질을 평가한 데이터셋입니다. 단일 평가자의 판단에는 오류나 편향이 발생할 수 있기 때문에 동일한 가이드라인을 기반으로 여러 평가자가 요약을 평가하도록 하였으며 그 결과를 평균해서 최종 점수를 산출하였습니다.

항목별 평가 결과와 상관관계 파악하기
GPT와 같은 대규모 언어 모델에게 요약 결과에 대한 평가를 요청하는 경우, 단순한 점수뿐만 아니라 평가에 대한 상세한 설명까지 함께 확인할 수 있습니다. 그러나 생성형 AI의 기본 구조인 트랜스포머(Transformer)의 특성상 이러한 응답은 사람처럼 의미를 이해해서 답변했다기 보다는 확률에 기반해 단어를 선택하고 문장을 생성하였기 때문에 그 설명이 어떤 근거와 판단 기준에 기반하고 있는지를 명확히 파악하기에는 한계가 존재합니다.

본 논문에서는 SummEval 벤치마크 데이터셋을 기반으로 원문과 요약문에 대해 사람이 부여한 평가 점수와 LLM이 평가한 결과를 다양한 평가 지표를 활용해 수치화하였습니다. 이후 각 평가 지표의 값과 사람 평가 점수 사이의 상관관계를 분석함으로써, 요약 품질 평가에 영향을 미치는 핵심 요인이 무엇인지를 체계적으로 규명하였습니다.

분석에 활용된 지표로는 조건부 퍼플렉시티(Conditional Perplexity), 엔트로피 요약(Entropy Summary), 퍼플렉시티 요약(Perplexity Summary), 지니 요약(Gini Summary) 등 정보 이론에 기반한 지표들이 포함되었습니다. 여기에 더해 어려운 단어 수, 음절 수, 문장 길이 등 텍스트의 구조적 복잡도를 측정하기 위한 Flesch Reading Ease, ARI, SMOG 등과 같은 가독성 지표가 함께 사용되었습니다.

플리토가 과학기술정보통신부와 한국데이터산업진흥원이 주관한 '2025 데이터 품질대상'에서 '한국데이터산업진흥원장상'을 수상했습니다. 이번 수상은 플리토가 구축한 한국어 논리추론(CoT) 데이터셋이 우수한 품질 관리 체계와 운영 모델로 인정받은 결과인데요. 플리토의 CoT 데이터는 한국어 언어 구조와 사고 전개 특성에 최적화되어 영어권 중심 CoT 데이터의 한계를 보완했다는 점에서 높은 평가를 받았습니다. 또한 플리토는 업스테이지 컨소시엄의 독자 AI 파운데이션 모델 프로젝트에서 한국어 추론 데이터 품질과 구조를 총괄하는 핵심 파트너로 참여 중입니다. 김진구 플리토 CDO는 "이번 수상이 자사의 데이터 기술력과 관리 체계가 공인된 사례"라며, 한국형 데이터 품질 기준 확산과 글로벌 AI 생태계 기여를 약속했습니다.

플리토가 과학기술정보통신부가 주관하는 'AI·디지털 비즈니스 파트너십 특화 프로그램(AIIA)'을 통해 미국 동부 시장 진출 기반을 강화했습니다. 플리토는 뉴욕대(NYU) 스턴 비즈니스 스쿨의 액셀러레이터 프로그램과 연계해 미국 내 글로벌 파트너십 발굴 및 세일즈 전략 고도화에 주력했는데요. 그 결과, 통번역 솔루션 사업의 글로벌 고객 수가 전년 대비 400%, 수출 매출이 245% 증가하며 가시적 성과를 거뒀습니다. 플리토는 현지 시장 인사이트를 반영해 B2C 실시간 통번역 솔루션 챗 트랜스레이션도 새롭게 출시했습니다. 또한 스턴 시그니처 프로젝트를 공동 수행하며 미국 언어 서비스 시장 분석 및 전략 설계를 위한 연구를 진행 중입니다. 플리토는 이번 성과를 바탕으로 미국뿐 아니라 언어 취약 지역으로 PoC와 파트너십을 확장해 글로벌 시장에서 입지를 공고히 할 계획입니다.