์ง๋ 10์ 24์ผ๋ถํฐ 29์ผ๊น์ง ํ๊ฐ๋ฆฌ ๋ถ๋คํ์คํธ์์ ์์ฐ์ด ์ฒ๋ฆฌ ๋ถ์ผ์ ๋ํ์ ์ธ ํํ์ธ EMNLP 2026์ด ์ด๋ ธ์ต๋๋ค. ์ฌํด๋ 17,000์ฌ ํธ์ด ๋๋ ๋
ผ๋ฌธ์ด ์ ์ถ๋์์ ์ ๋๋ก ๊ท๋ชจ๊ฐ ์ปค์ก๋๋ฐ, ๊ทธ์ค์์๋ ๋์ ๋๋ ๊ฒ์ ๋ฒค์น๋งํฌ์ ๊ด๋ จ๋ ๋
ผ๋ฌธ๋ค์
๋๋ค. ์๋ก์ด ๋ฒค์น๋งํฌ๊ฐ ์๋ ๋ง์ด ๋ฑ์ฅํ๋ค ๋ณด๋ "์ฌ๋ฌ ๋ฒค์น๋งํฌ๊ฐ ์ฌ์ค์ ๊ฐ์ ๋ฅ๋ ฅ์ ์ธก์ ํ๊ณ ์๋ ๊ฒ์ ์๋๊น"
1)๋ผ๋ ๋
ผ๋ฌธ์ด ์ฐ์ ๋
ผ๋ฌธ์์ ๋ฐ์์ ์ ๋์
๋๋ค. ์ด๋ฒ์๋ ์์์ ์ค์์ ๋ฐ์ดํฐ ๊ด์ ์์ ์ฃผ๋ชฉํ ๋งํ ๋ฒค์น๋งํฌ ์ธ ๊ฐ์ง๋ฅผ ์ ๋ฆฌํด ๋ณด์์ต๋๋ค.
์ต์์ ๋ฐ๋ผ ์ ์๊ฐ ๋ฌ๋ผ์ง๊น - The Cost of Sounding Different2)์ต๊ทผ์๋ ์ธ์ด ๋ชจ๋ธ์ด ์ฑ์ฉ ๋ฉด์ , ๋งํ๊ธฐ ์ํ, ์์ด ๋ฅ๋ ฅ ํ๊ฐ์ฒ๋ผ ๊ฒฐ๊ณผ๊ฐ ์ค์ํ ๊ณณ์์๋ ์ฐ์ด๊ณ ์์ต๋๋ค. ์ฐ์ ๋
ผ๋ฌธ์์ ๋ฐ์ ์ด ๋
ผ๋ฌธ์ ๋งํ๋ ์ฌ๋์ ์ต์์ ๋ฐ๋ผ AI์ ํ๊ฐ๊ฐ ๋ฌ๋ผ์ง๋์ง๋ฅผ ๊ฒ์ฆํ์์ต๋๋ค. ์ฐ๊ตฌ์ง์ ๋ฏธ๊ตญ, ์๊ตญ, ์ค๊ตญ, ์ธ๋, ๋์ด์ง๋ฆฌ์ 5๊ฐ ์ต์ ๊ทธ๋ฃน์ ์์ด ์์ฑ์ผ๋ก ๋ฉด์ , ํํ ๋ฐํ, ์์ด ๋งํ๊ธฐ ์ํ ์ํฉ์ ๊ตฌ์ฑํ๊ณ 6๊ฐ ์ค๋์ค ์ธ์ด ๋ชจ๋ธ๋ก ๋น๊ตํ์์ต๋๋ค.
- ํ๊ฐ ๊ฒฐ๊ณผ : ๋ฏธ๊ตญ, ์๊ตญ ์ต์์ด ๊ฐ์ฅ ๋๊ณ ์ธ๋ ์ต์์ด ์ค๊ฐ์ด๋ฉฐ ์ค๊ตญ, ๋์ด์ง๋ฆฌ์ ์ต์์ด ๊ฐ์ฅ ๋ฎ์
์ฌ๋ฌ ๋ชจ๋ธ์ด ๋ต๋ณ ๋ด์ฉ์ ์์ค๊ณผ ์๊ด์์ด ์ค๊ตญ, ๋์ด์ง๋ฆฌ์ ์ต์ ํ์์ ์ ๋ฌ๋ ฅ ์ ์๋ฅผ ๋ฎ๊ฒ ์ฃผ์๊ณ , ์ต์์ด ๋ฏธ๊ตญ ์์ด์ ์ํฅ์ ์ผ๋ก ๋ฉ์๋ก ์ ์๊ฐ ๋ฎ์์ง๋ ๊ฒฝํฅ๋ ํ์ธ๋์์ต๋๋ค. ํน์ดํ ๊ฒ์ ๋ชจ๋ธ๋ค์ด ์ด ํ์๋ค์ ๋ง์ ์ ํํ๊ฒ ์์๋ค์ผ๋ฉด์๋ ๋ฎ์ ์ ์๋ฅผ ์ฃผ์๋ค๋ ๊ฒ์
๋๋ค. ์์ฑ ์ธ์ ์ ํ๋๋ง์ผ๋ก๋ ๋๋ฌ๋์ง ์๋ ํธํฅ์ ์ธก์ ํ๋ ค๋ฉด ๋ค์ํ ์ต์์ ํ์๊ฐ ๊ณ ๋ฅด๊ฒ ๋ด๊ธด ํ๊ฐ ๋ฐ์ดํฐ์
์ด ํ์ํ๋ค๋ ๊ฒ์ ๋ณด์ฌ์ฃผ๊ณ ์์ต๋๋ค.
๋ฒ์ญํ ๋ฒค์น๋งํฌ๋ก ์ถฉ๋ถํ ๊น - Gold vs. Translation3)์์ด ์ด์ธ์ ์ธ์ด๋ก LLM์ ํ๊ฐํ ๋๋ MMLU์ฒ๋ผ ์ฒ์์ ์์ด๋ก ๋ง๋ ๋ฒค์น๋งํฌ๋ฅผ ๋ฒ์ญํด์ ์ฐ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ํ์ง๋ง ๋ฒ์ญํ ๋ฒค์น๋งํฌ๊ฐ ์ฒ์๋ถํฐ ๊ทธ ๋๋ผ ์ธ์ด๋ก ๋ง๋ ๋ฒค์น๋งํฌ์ ๋์ผํ๊ฒ ํ๊ฐ๊ฐ ๊ฐ๋ฅํ์ง๋ ๋ช
ํํ์ง ์์ต๋๋ค. SAC ํ์ด๋ผ์ดํธ ์์ ๋ฐ์ ์ด ๋
ผ๋ฌธ์ ๋ถ์ ๋ฝ, ๋ฐํธ ์ง์ญ 5๊ฐ ์ธ์ด๋ฅผ ๋์์ผ๋ก ๊ธฐ๊ณ๋ฒ์ญ๊ธฐ๋ฅผ ์ด์ฉํด ๋ฒ์ญํ MMLU์ ๊ฐ ๋๋ผ์ ์์ด๋ก ๋ง๋ ์ํ ๋ฌธ์ ๋ก ๋ฒค์น๋งํฌ๋ฅผ ๋น๊ตํ๊ณ 29๊ฐ ๋ชจ๋ธ์ ์ ์๋ฅผ ๋ถ์ํ์์ต๋๋ค. ๋, ๊ฐ ๋ฌธํญ์ด ๊ทธ ์ง์ญ์ ๋ฌธํ๋ ์ง๋ฆฌ ์ง์์ ํ์๋ก ํ๋์ง ์ธ์ด๋ณ ์์ด๋ฏผ ์ ๋ฌธ๊ฐ 3๋ช
์ด ์ง์ ๋ผ๋ฒจ๋งํ ๋ฐ์ดํฐ๋ ํจ๊ป ๊ณต๊ฐํ์์ต๋๋ค.
๊ฒฐ๊ณผ๋ ๋๋ ทํ ๊ฒฝํฅ์ ๋ณด์์ต๋๋ค. ์ค์จ๋ด์ ๋ํ ์
ํ์ํ์ด๋ ์ ๋ฌธ์ง ๋ฉดํ ์ํ์ฒ๋ผ MMLU์ ๋ค๋ฃจ๋ ์ง์์ด ๊ฒน์น๋ ๋ฒค์น๋งํฌ๋ ๋ฒ์ญ MMLU๋ง์ผ๋ก๋ ๋ชจ๋ธ ์์๋ฅผ ๊ฑฐ์ ๋น์ทํ๊ฒ ์์ธกํ ์ ์์์ต๋๋ค. ๋ฐ๋ฉด ์ค์จ๋ด์ ์ธ๋ฌผ๊ณผ ์ฌ๊ฑด์ ๊ดํ ์ฌ์ค ์ง์์ ๋ฌป๋ ๋ฒค์น๋งํฌ์์๋ ๋ฒ์ญ MMLU ์ ์๊ฐ ์์ธก์ ๊ฑฐ์ ๋์์ด ๋์ง ์์์ต๋๋ค. ๋ณดํธ์ ์ธ ์ง์์ ๋ฒ์ญํ ๋ฒค์น๋งํฌ๋ก๋ ํ๊ฐํ ์ ์์ง๋ง ๊ทธ ์ง์ญ์์๋ง ํตํ๋ ์ง์์ ํ์ง ์ธ์ด๋ก ์ง์ ๋ง๋ ๋ฐ์ดํฐ๊ฐ ํ์ํ๋ค๋ ๊ฒ์ ์๋ฏธํฉ๋๋ค. ์ด๋ ํ๊ตญ์ด LLM์ ํ๊ฐํ ๋๋ ๊ทธ๋๋ก ์ ์ฉ๋ ๊ฒ์
๋๋ค.
์ค์ ๊ณผํ ์์
์ ํด๋ผ ์ ์์๊น - D3-Gym4)AI ์์ด์ ํธ๋ฅผ ํ์ตํ๊ณ ํ๊ฐํ๋ ค๋ฉด ๊ฒฐ๊ณผ๊ฐ ๋ง๋์ง ๊ฒ์ฆํ ์ ์๋ ํ๊ฒฝ์ด ํ์ํฉ๋๋ค. ์ฝ๋ฉ ๋ถ์ผ๋ ์ ์ฅ์์ ์๋ ๋จ์ ํ
์คํธ ๋ฑ์ ์ฌ์ฉํ ์ ์์ง๋ง ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํด์ ๊ณผํ์ ์ธ ๊ฒฐ๋ก ์ ๋ด๋ ์์
์๋ ์ด๋ฐ ๊ฒ์ฆ ์ฅ์น๊ฐ ๊ฑฐ์ ์์์ต๋๋ค. ์ฐ์ ๋
ผ๋ฌธ์์ ๋ฐ์ D3-Gym์ ์ค์ ๊ณผํ ์ฐ๊ตฌ ์ ์ฅ์ 239๊ฐ์์ 565๊ฐ์ ์์
์ ์ถ์ถํ๊ณ , ์คํ ํ๊ฒฝ๊ณผ ๋ฐ์ดํฐ, ์ ๋ต ์ฝ๋, ํ๊ฐ ์คํฌ๋ฆฝํธ๋ฅผ ๋ฌถ์ด์ ์ ๊ณตํฉ๋๋ค. ๋์ ๋ถ์ผ๋ ์๋ฌผ์ ๋ณดํ, ๊ณ์ฐํํ, ์ง๋ฆฌ์ ๋ณด๊ณผํ, ์ธ์ง์ ๊ฒฝ๊ณผํ์
๋๋ค.
์๋์ผ๋ก ๋ง๋ ํ๊ฐ ์คํฌ๋ฆฝํธ๋ ์ฌ๋์ด ๋ง๋ ์ ๋ต ๊ธฐ์ค๊ณผ 87.5% ์ผ์นํ๊ณ , D3-Gym์ผ๋ก ํ์ตํ ๋ชจ๋ธ์ ๊ณผํ ์์ด์ ํธ ๋ฒค์น๋งํฌ์ธ ScienceAgentBench์ ์ ์๊ฐ ํฅ์๋์์ต๋๋ค. ๋ฒค์น๋งํฌ๊ฐ ์ ์๋ฅผ ๋งค๊ธฐ๋ ์ํ์ง์ ๋จธ๋ฌผ์ง ์๊ณ ์์ด์ ํธ๋ฅผ ํ๋ จ์ํค๋ ํ๊ฒฝ(RL Environment)์ผ๋ก ํ์ฅ๋๊ณ ์์์ ๋ณด์ฌ์ฃผ๋ ์ฌ๋ก์
๋๋ค.
์ ๋ฆฌ
์ด๋ฒ EMNLP 2026์ ๊ณต๊ฐ๋ ๋
ผ๋ฌธ์ ๋ฒค์น๋งํฌ๋ค์์ ์ฃผ๋ชฉํ ๋งํ ์ ์ ์ฌ๋ฌ ์ต์์ ์์ฑ, ๊ฐ ๋๋ผ์ ์ํ ๋ฌธ์ , ์ค์ ์ฐ๊ตฌ ์ ์ฅ์์ฒ๋ผ ํ์ค์์ ๊ฐ์ ธ์จ ๋ฐ์ดํฐ๋ฅผ ๋ฐํ์ผ๋ก ๋ง๋ค์ด์ก๋ค๋ ์ ์
๋๋ค.
ํ๋ฆฌํ ๋ ์ด๋ฒ EMNLP 2026์ ๋ค๋ฅธ ๊ธฐ๊ด๊ณผ ๊ณต๋์ผ๋ก ์์
ํ ํ๊ตญ ๊ธ์ต ์ธ์ด ์ดํด ๋ฒค์น๋งํฌ KFinEval
5)์ ๋ฐํํ์์ต๋๋ค. ์์ผ๋ก๋ ๋ฒ์ญ์ด ์๋ ํ์ง ์ธ์ด๋ก ์ง์ ๊ตฌ์ถํ ํ๊ฐ ๋ฐ์ดํฐ, ๋ค์ํ ํ์์ ์ต์์ ๊ณ ๋ฅด๊ฒ ๋ด์ ์์ฑ ๋ฐ์ดํฐ, ๊ธ์ต, ์๋ฃ, ๋ฒ๋ฅ ๋ถ์ผ์ ์์ด์ ํธ ํ๊ฐ ํ๊ฒฝ ๋ฑ์ ํตํด AI๊ฐ ์ค์ ํ๊ฒฝ์์ ์ผ๋ง๋ ๋์์ด ๋๋์ง ์ธก์ ํ ์ ์๋๋ก ๊ธฐ์ฌํ๊ฒ ์ต๋๋ค.