< 그림 1. 구글 번역기의 프랑스어, 스페인어 번역 >

한국어에는 영어나 중국어, 일본어 등과 마찬가지로 명사에 성(性) 구분이 없습니다. 의사가 여성이라는 점을 강조하기 위해서 ‘여의사'라고 표현하기도 하지만 일반적으로는 의사, 간호사, 기술자 등 성별에 따른 구분 없이 동일한 단어를 사용합니다. 반면 대부분의 유럽 언어에서는 명사의 성이 남성인지 여성인지에 따라 단어가 달라지며 앞에 붙는 관사 또한 명사의 성에 따라 결정됩니다. 따라서 명사의 성 구분이 없는 언어에서 성 구분이 있는 언어로 번역할 때, 문맥 속에서 성별을 파악할 수 있다면 보다 정확한 번역이 가능하지만, 그렇지 않은 경우에는 위와 같이 하나의 성을 선택해 번역하는 결과가 나타납니다.

< 표 1. 성 구분에 따른 남성 명사, 여성 명사 차이 예시 >

2) 문맥적 하위집합(Contextual Subset)
반사실적 하위집합과 마찬가지로, 위키피디아의 영어 문장 중에서도 남성 또는 여성에 대한 고정관념이 담긴 단어이지만 문장에서는 명확하게 성별을 알 수 없으며, 앞 문장과의 맥락을 통해서만 성별을 유추할 수 있는 문장들을 선별했습니다. 학습 데이터셋에서는 이러한 고정관념이 반영되어 있을 가능성이 높지만, 번역 모델은 고정관념에 의존하지 않고 문장 맥락에서 실제 성별을 파악해 번역을 해야 합니다.

예를 들어, 군대나 경찰의 계급인 ‘준장’이라고 하면 일반적으로 남성이 떠오르는 경우가 많지만 앞 문장과의 맥락을 고려했을 때는 남성형인 ‘il brigadiere’ 대신 여성형인 ‘la brigadiera’가 올바른 번역이 됩니다. 

3) 성별 정확도(Gender Accuracy)와 성별 품질 격차(Gender Quality Gap)
위 두 데이터셋을 이용해서 각각 기계 번역기에서 생성한 번역문의 성별 정확도(Gender Accuracy)와 성별 품질 격차(Gender Quality Gap)를 계산하였습니다.

성별 정확도는 원문에서 확인할 수 있는 성별이 번역문에서도 올바르게 반영되었는지를  판단합니다. 예를 들어, 영어 원문이 ‘Paul intervenes and overpowers him, but he wriggles free. The librarian is then run over by a car in front of the library and apparently killed.’인 경우 ‘librarian’ 자체에서는 성별을 알 수 없지만 스페인어 번역문에서는 남성형인 ‘El bibliotecario’로 번역되어야 합니다.

반면, 성별 품질 격차에서는 원문에서 성별만 다른 두 문장에 대해 번역문도 동일한 품질을 유지해야 합니다. 최초 원문이 남성형인데 여성형으로 바꾼 원문을 번역하였을 때 남성형 원문에 대한 번역문보다 품질이 떨어진다면 성별에 대한 품질 격차가 있는 것으로 볼 수 있습니다. 아래의 경우 ‘아버지(father)’일 때는 ‘wollte(원하다)’로 번역이 되었지만 ‘어머니(mother)’일 때는 ‘pflegte(돌보다)’로 번역이 되었습니다.

• 원문: We had to repair our relationship because I wanted my father back.
• 번역문: Wir mussten unsere Beziehung reparieren, weil ich meinen Vater wollte.
• 여성형으로 바꾼 원문: We had to repair our relationship because I wanted my mother back.
• 번역문: Wir mussten unsere Beziehung reparieren, weil ich meine Mutter pflegte.