대규모 언어 모델이란 무엇입니까?

한 번에 한 조각씩

텍스트는 토큰으로 잘립니다. 토큰은 단어 전체일 수도, 단어의 일부나 문장 부호일 수도 있습니다. 모델은 지금까지의 토큰을 읽고, 다음에 올 수 있는 모든 토큰에 확률을 매깁니다. 그중 하나가 골라져 텍스트에 덧붙고, 이 과정이 되풀이됩니다. 긴 답 하나는 이런 작은 단계 수백 개로 이루어집니다.

이 확률은 학습에서 나옵니다. 모델은 엄청난 양의 텍스트를 보면서 다음 토큰을 예측하고, 그 추측을 실제로 이어진 토큰과 비교한 뒤, 파라미터라고 부르는 내부의 숫자들을 조금 더 잘 맞히는 쪽으로 살짝 조정합니다. 방대한 텍스트에서 이를 되풀이하면 모델은 문법, 사실, 문체, 추론 패턴을 한꺼번에 익히게 되는데, 그 모두에 빈틈이 있습니다.

트랜스포머

오늘날의 모델은 대부분 트랜스포머를 바탕으로 합니다. 트랜스포머는 2017년 “Attention is all you need”라는 제목의 논문에서 제안되었습니다. 핵심 요소인 어텐션(attention)은 각 토큰이 텍스트 속 다른 모든 토큰에 얼마나 무게를 둘지 따지게 해 줍니다. 그래서 문장 속의 ‘그것’이 여러 단어 앞에 나온 올바른 명사와 이어질 수 있습니다. 저자들은 또한 더 많은 작업이 병렬로 실행되기 때문에 트랜스포머가 이전 구조보다 학습이 빠르다는 것을 확인했습니다.

더 크게, 그리고 더 쓸모 있게

2020년, 파라미터가 1,750억 개인 모델 GPT-3를 만든 팀은 언어 모델을 훨씬 크게 만들면, 다시 학습시키지 않고도 프롬프트에 적은 몇 가지 예시만으로 과제를 해내는 능력이 크게 좋아진다는 것을 보여 주었습니다. 하지만 크기만으로는 모델이 사람들이 원하는 것을 따르게 되지 않았습니다. 2022년, 연구진은 사람의 피드백으로 GPT-3를 미세 조정했습니다. 사람들이 모범 답안을 쓰고, 모델이 내놓은 결과에 순위를 매겼습니다. 연구진의 프롬프트 모음에서, 사람들은 이렇게 학습한 파라미터 13억 개짜리 모델의 답을 파라미터가 100배 넘게 많은 1,750억 개짜리 원래 모델의 답보다 더 좋아했습니다. 이런 학습을 거쳐 텍스트 예측기가 요청을 따르는 비서가 됩니다.

자신 있게 틀릴 수 있는 이유

언어 모델은 찾아본 사실이 아니라 가장 그럴듯한 다음 내용을 만들어 냅니다. 사실을 모를 때는 그럴듯한 것과 참인 것이 서로 갈라지지만, 글은 여전히 똑같이 유창합니다. 연구자들은 이를 환각(할루시네이션)이라고 부릅니다. 2023년의 한 리뷰 논문은 이런 방식으로 생성된 텍스트가 환각에 빠지기 쉽다고 설명하고, 이를 측정하고 줄이는 방법들을 검토합니다. 실제로 비서들은 출처를 검색하고 인용하는 방법(검색 증강 생성, RAG), 계산이나 날짜 같은 일에 도구를 쓰는 방법, 행동하기 전에 사용자에게 묻는 방법으로 환각을 줄입니다.

모델에서 비서로, 비서에서 에이전트로

챗봇은 대화하는 언어 모델입니다. 비서는 여기에 기억과, 캘린더 같은 사용자 자신의 정보를 더합니다. 에이전트는 실행까지 할 수 있습니다. 보내고, 예약하고, 구매합니다. 단계마다 쓸모도 위험도 커집니다. 더 읽을거리: AI 에이전트와 챗봇의 차이, AI 에이전트에 대한 쉬운 안내, 그리고 모델이 읽는 글에 지시를 숨기는 공격인 프롬프트 인젝션.

Lychnos Ring이 언어 모델을 쓰는 방식

Lychnos Ring은 저희가 고르고 테스트한 최신 언어 모델로 작동하며, 웹과 메일, 캘린더를 다루는 도구는 저희 클라우드에 있습니다. 다른 제공업체를 원하시면 직접 보유하신 API 키를 연결하실 수도 있습니다. 모델은 제안하고, 무엇에 사용자의 ‘예’가 필요한지는 테스트를 거친 코드가 결정합니다. 보내기, 옮기기, 결제, 삭제에 해당하는 모든 일은 링을 한 번 누를 때까지 기다립니다. Lychnos Ring은 개발 중입니다. 자세한 내용은 말로 대화하는 AI 링에 있습니다.

출처(2026년 11월 4일 확인): Vaswani 외, attention is all you need, 2017; Brown 외, language models are few-shot learners, 2020; Ouyang 외, training language models to follow instructions with human feedback, 2022(모두 arXiv); Ji 외, survey of hallucination in natural language generation, ACM Computing Surveys, 2023.