AI가 "이거 해도 될까?"를 한국어로 판단하려면 — 작은 판단 모델을 한국어로 가르치는 이유
AI가 "이거 해도 될까?"를 한국어로 판단하려면 — 작은 판단 모델을 한국어로 가르치는 이유 문서 작성일: 2026년 10월 22일 서론 요즘 AI는 대답만 하지 않습니다. 파일을 정리하고, 명령을 실행하고, 다른 프로그램을 움직이며 사람 대신 일을 합니다. 일을 맡기는 순간 AI에게...
AI가 "이거 해도 될까?"를 한국어로 판단하려면 — 작은 판단 모델을 한국어로 가르치는 이유
문서 작성일: 2026년 10월 22일
서론
요즘 AI는 대답만 하지 않습니다. 파일을 정리하고, 명령을 실행하고, 다른 프로그램을 움직이며 사람 대신 일을 합니다. 일을 맡기는 순간 AI에게는 새로운 질문이 생깁니다.
"이 작업, 그냥 해도 될까? 아니면 사람에게 먼저 물어봐야 할까?"
이번 글에서는 이 판단을 맡는 작은 AI 모델 이야기를 합니다. 그리고 그 모델에게 왜 한국어를 따로 가르쳐야 하는지 설명합니다.
1. AI 비서에게는 "눈치"가 필요합니다
사람 비서를 떠올려 보세요. 일 잘하는 비서는 모든 일을 일일이 묻지 않습니다. 회의실 예약처럼 사소한 일은 알아서 처리합니다. 큰돈이 나가거나 되돌릴 수 없는 일은 반드시 먼저 확인합니다. 이 구분이 바로 "눈치"입니다.
AI 비서도 같습니다. 모든 작업마다 사람에게 확인을 받으면 사람이 지쳐서 결국 아무 생각 없이 "확인"을 누르게 됩니다. 반대로 확인 없이 다 해 버리면 위험합니다. 그래서 무엇은 자동으로 하고, 무엇은 물어볼지 가려내는 장치가 꼭 필요합니다.
2. 규칙만으로는 끝이 없습니다
가장 쉬운 방법은 규칙을 만드는 것입니다. "삭제가 들어간 명령은 묻는다", "읽기만 하는 명령은 허용한다" 같은 식입니다.
그런데 현실의 명령과 문장은 규칙보다 훨씬 다양합니다. 이름에 '삭제'가 들어갔을 뿐 아무것도 지우지 않는 명령도 있습니다. 평범해 보이지만 실제로는 중요한 설정을 바꾸는 명령도 있습니다. 예외를 고칠 때마다 규칙이 하나씩 늘어나고, 규칙이 늘수록 관리가 어려워집니다.
그래서 문장의 뜻을 읽고 판단할 수 있는 AI 모델이 필요합니다.
3. 큰 AI 대신, 판단만 하는 작은 AI
판단할 때마다 ChatGPT 같은 큰 AI에게 물어보면 어떨까요? 정확할 수는 있지만 느리고, 비용이 들고, 매번 외부로 데이터를 보내야 합니다. 1초에도 여러 번 내려야 하는 판단에는 맞지 않습니다.
그래서 저희가 주목한 것이 Laya라는 공개 모델입니다(Apache-2.0 라이선스).
글을 쓰지 않습니다. 질문과 선택지를 받으면 각 선택지에 점수만 매깁니다. 예를 들어 "이 문장은 사람의 답을 기다리는가? 예/아니오"처럼 묻는 방식입니다.
빠르고 작습니다. 약 3억 개 파라미터로, 큰 AI의 수백분의 일 크기입니다. 공개된 측정값으로는 판단 한 번에 수십 밀리초 정도 걸립니다.
확신 정도를 숫자로 줍니다. "예일 확률 85%"처럼 답하기 때문에, 확신이 낮으면 사람에게 넘기는 식으로 쓸 수 있습니다.
4. 그런데 한국어는?
Laya에는 100개가 넘는 언어를 읽는 다국어 버전이 있습니다. 그런데 직접 살펴보니 한국어에는 아쉬운 점이 있었습니다.
한국어 비중이 작습니다. 이 모델의 바탕이 된 다국어 모델이 공부한 글 가운데 한국어는 1.4% 남짓입니다.
한국어 판단 성능이 공개된 적이 없습니다. 영어 결과는 많지만, 한국어로 판단을 얼마나 잘하는지는 아무도 측정해 두지 않았습니다.
가르치지 않으면 찍기와 비슷합니다. 개발사도 기본 모델은 "바로 쓰는 판단기가 아니라, 내 데이터로 가르쳐 쓰는 출발점"이라고 밝힙니다. 실제로 학습 없이 쓴 판단 정확도는 무작위로 고르는 수준과 큰 차이가 없었습니다.
저희가 직접 시험해 본 사례도 있습니다. "다음 단계로 진행하려면 복구 암호를 준비했는지 알려주세요"라는 문장을 주고 "이 글은 사람의 답을 기다리는가?"라고 물었습니다. 사람이라면 바로 "예"라고 답할 문장인데, 모델은 "예"일 확률을 31%로 봤습니다. 시험한 문장은 하나뿐이지만, 한국어 판단을 그대로 믿기 어렵다는 신호로는 충분했습니다.
한국어는 판단하기 까다로운 언어이기도 합니다. 존댓말과 돌려 말하기가 많고, 주어가 자주 빠지고, "~해 주시겠어요?"가 부탁인지 질문인지 맥락으로 읽어야 합니다. 영어로 잘 배운 눈치가 한국어에 그대로 옮겨 오지는 않습니다.
5. 어떻게 가르치나: 정답이 있는 한국어 연습 문제
모델에게 한국어 판단을 가르치려면 정답이 붙은 한국어 문제가 많이 필요합니다. 다행히 한국에는 공개된 좋은 자료가 있습니다.
KLUE: 한국어 이해 능력을 재는 대표적인 공개 벤치마크입니다. 뉴스 제목의 주제 고르기, 두 문장 사이의 논리 관계 판단, 두 문장의 의미가 얼마나 같은지 점수 매기기 같은 문제가 있습니다.
AI Hub 데이터: 과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 운영하는 AI 학습 데이터 플랫폼입니다. 이번에는 두 가지를 씁니다.
"초거대 언어모델 신뢰성 벤치마크": AI의 답변이 안전한지, 도움이 되는지, 정확한지 사람이 판정해 둔 데이터
"텍스트 윤리검증 데이터": 대화 속 문장이 비난·혐오·차별 같은 비윤리 발화인지 표시한 데이터
이 문제들은 모두 글을 쓰는 문제가 아니라 고르는 문제입니다. 그래서 판단 전용인 Laya에 잘 맞습니다. 말을 잘할 필요는 없고, 정확하게 골라내기만 하면 됩니다.
6. 두 가지 공부법을 비교합니다
모델을 가르치는 방법은 크게 두 가지입니다.
정답 보고 배우기(일반 학습): 문제를 풀고 정답과 비교해 틀린 만큼 고칩니다. 교과서로 공부하는 것과 비슷합니다.
여러 번 답해 보고 점수 받기(보상 학습): 같은 문제에 여러 답을 내 보고, 정답에 가까운 답일수록 높은 점수를 줘서 그쪽으로 기울게 합니다. 최근 AI 업계에서 많이 쓰는 GRPO라는 방법과 같은 계열입니다.
보상 학습이 늘 더 낫지는 않습니다. 개발사의 실험에서도 단순한 일반 학습이 조금 더 좋게 나온 경우가 있었습니다. 그래서 저희는 두 방법을 같은 조건에서 여러 번 반복해 보고, 숫자로 비교해서 고르기로 했습니다.
정확도만 보지도 않습니다. "확신한 만큼 맞는가"도 봅니다. 모델이 "70% 확신"이라고 했을 때 실제로 열 번 중 일곱 번쯤 맞아야 그 숫자를 믿고 "확신이 낮으면 사람에게 묻기" 같은 규칙을 세울 수 있기 때문입니다.
7. 공부할 때 조심해야 할 함정
데이터를 살펴보다가 재미있는 함정을 하나 발견했습니다.
어떤 데이터는 답변 후보 다섯 개 가운데 좋은 답이 항상 4번과 5번 자리에 놓여 있었습니다. 이걸 그대로 가르치면 모델은 답의 내용을 읽는 대신 "4번, 5번이 정답"이라는 위치만 외워 버립니다. 시험 문제의 정답 번호를 외운 학생과 같습니다.
그래서 후보를 한 줄로 늘어놓지 않고, 답변 하나하나에 "이 답변이 적절한가?"를 따로 묻는 방식으로 바꿨습니다. 위치라는 힌트가 아예 사라지니 모델은 내용을 보고 판단할 수밖에 없습니다.
또 하나의 원칙은 시험 문제로 공부하지 않기입니다. 연습용 데이터와 평가용 데이터를 처음부터 나눠 두고, 평가에는 모델이 한 번도 본 적 없는 문제만 씁니다. 따로 마련한 외부 독해 시험 같은 자료로도 실력이 정말 늘었는지 확인합니다.
8. 그래도 중요한 결정은 사람에게
판단 모델이 아무리 똑똑해져도 비밀번호나 인증 정보를 다루는 일, 되돌릴 수 없는 일처럼 중요한 결정은 사람이 확인하는 것이 원칙입니다. 판단 모델이 하는 일은 사람이 정말 확인해야 할 일에 집중할 수 있도록 돕는 것입니다.
9. 앞으로
이번 주에는 한국어 데이터로 첫 학습과 평가를 합니다. 어떤 공부법이 나았는지, 한국어 판단이 얼마나 좋아졌는지, 확신도는 믿을 만한지 결과가 나오면 다음 글에서 숫자로 공유하겠습니다.
AI가 사람 대신 일하는 시간이 늘수록 "언제 물어볼지 아는 AI"가 중요해집니다. 그 눈치를 한국어로도 갖추게 하는 것이 이번 작업의 목표입니다.
참고 자료
이 글에서 소개한 학습에는 과학기술정보통신부·한국지능정보사회진흥원(NIA)의 AI Hub 데이터를 활용합니다(한국지능정보사회진흥원 AI 허브 사업 결과물). KLUE 벤치마크는 CC BY-SA 4.0 라이선스로 공개되어 있습니다.
참고
Laya 모델: https://huggingface.co/convaiinnovations/laya
KLUE: https://github.com/KLUE-benchmark/KLUE
AI Hub: https://aihub.or.kr