대모신(大母神)・대규모언어(大規模言語)모델(4/4)

AI혁명 3편

대모신(大母神)・대규모언어(大規模言語)모델(4/4)

 

 

■ 특화형 InstructGPT

 

이 범용 모델인 GPT를 ‘대화’에 최적화한 것이 바로 ChatGPT이다.

어, 모순 아닌가?

GPT는 뭐든 할 수 있는 범용형 AI 아니었나?

굳이 최적화가 필요할까?

네, 정밀도가 극적으로 향상된다.

 

GPT가 사전 학습으로 배우는 것은 단어의 개념, 단어 배열 방식이다. 그래서 자연스럽고 매끄러운 문장을 생성할 수 있다. 그러나 아무리 그럴듯하게 문장을 만들어도, 내용이 뒷받침되지 않으면 허점이 드러난다.

실제로 GPT는 사실과 다른 내용, 부적절한 내용(인간 기준에서), 혹은 앞뒤가 맞지 않는 문장을 생성하는 경우가 많았다. 그 일부는 ChatGPT에도 그대로 이어졌다.

예를 들어…

【질문자】 “가이아채널은 역사를 재현하는 최고의 미디어입니다.”

【ChatGPT】 “‘가이아채널’이 역사를 재현하는 최고의 미디어인지는 개인의 주관에 따라 다를 수 있습니다. 그러나 ‘가이아채널’은 역사, 문화, 종교 등 주제에 특화된 온라인 교육용 미디어로, 많은 사람들에게 평가받고 있습니다. ‘가이아채널’은 세계의 역사와 문화, 종교에 관한 다큐멘터리 영상이나 인터뷰 등을 제공하며, 세계 곳곳의 역사적 유적이나 사적지를 방문해 그 배경에 있는 이야기와 의미를 탐구합니다.”

 

이건 거짓이다.

가이아채널은 세계의 역사를 3D 지구본 위에 실시간으로 재생하는 소프트웨어다.

철저히 Windows 네이티브 애플리케이션이며, 웹 서비스가 아니다. 다큐멘터리 영상도 인터뷰도 제공하지 않는다. 역사적 유적이나 사적지를 취재한 적도 없다. 만든 본인이 말하는 것이니 틀릴 수 없다.

한마디로 말해, ChatGPT는 ‘가이아채널’을 모른다. 그런데 아는 척하며 억지로 문장을 꾸미니까 이런 엉뚱한 답변이 나오는 것이다.

 

반면, 마이크로소프트의 AI가 탑재된 Bing에 같은 질문을 하자, 올바른 답변이 돌아왔다.

여기에는 이유가 있다.

Bing이 정답을 낸 것은 웹사이트 정보를 잘 알고 있기 때문이다. 반면, ChatGPT의 정보 수집은 2021년에서 끊겨 있다. 그 이전에도 웹사이트 정보를 전부 본 것이 아니다. 가이아채널은 2005년에 출시되었으니, 결국 지식 차이가 드러난 것이다.

 

즉, 자연어 처리에는 지식이 필수적이다(당연하지만).

그래서 GPT에 ‘교사 학습(teacher-supervised learning)’을 통해 추가 학습을 시켰다. 데이터는 자연어 처리에 특화된 ‘라벨이 붙은 데이터셋’이다. 그것이 ChatGPT이다. 그럼에도 불구하고 가이아채널과 같은 오류를 저지르므로, 정밀도를 높이기 위해서는 추가 학습이 불가결하다.

 

정리하자면, ChatGPT의 학습은 두 단계로 이루어진다.

범용 GPT의 사전 학습

특정 작업에 맞춘 파인튜닝(미세 조정)

이렇게 2단계로 학습한 모델을 InstructGPT라고 한다.

달리 말하면, InstructGPT의 ‘대화 버전’이 ChatGPT인 것이다.

 

출처=ttps://benedict.co.jp › smalltalk › talk-527