제네레티비Generative AI/생성AI）」의 마법(4/5)

AI혁명 2편

제네레티비Generative AI/생성AI）」의 마법(4/5)

 

 

대규모 언어 모델

 

그렇다 해도, 생성형 AI는 특화형 AI이다.

즉, 하나의 일만 할 수 있다. ChatGPT는 텍스트, DALL·E2는 이미지, Jukebox는 사운드라는 식이다.

한편, 생성형 AI는 단 하나의 ‘어머니(마더) 모델’에서 파생한다. 그것이 바로 대규모 언어 모델이다.

다시 말해, 대규모 언어 모델이야말로 2023년 AI 혁명의 핵심인 것이다.

 

이번 AI 혁명을 조망해 보자.

 

우선, 범용형 대규모 언어 모델이 있고, 거기에서 특화형 생성형 AI가 파생한다. 대규모 언어 모델은 방대한 텍스트 데이터를 이용해 학습한 거대한 AI다. 기본 구조는 딥러닝과 마찬가지로, 인간의 뇌를 모방한 신경망 모델이다.

그런데, 대규모 언어 모델은 범용 AI라고 하면서도 텍스트 데이터만 학습했다. 그런데 어떻게 이미지나 사운드를 처리할 수 있을까?

 

그 비결은 바로 **전이 학습(transfer learning)**이다.

먼저, 단어를 수치화한다. 구체적으로는, 하나의 단어에 수백 개의 파라미터를 부여하고, 문장의 의미를 단어 파라미터들 간의 통계적 관계성으로 치환한다. 그리고 그 관계성을 기계학습하는 것이다. 중요한 점은, 이 학습 성과가 텍스트 이외의 데이터에도 응용될 수 있다는 것이다. 왜냐하면 이미지, 사운드, 수치 데이터 또한 텍스트와 마찬가지로 통계적 관계성으로 치환할 수 있기 때문이다.

 

이처럼, 특정 도메인에서 얻은 학습 결과(여기서는 텍스트)를 다른 도메인의 학습(여기서는 이미지, 사운드)에 적용하는 것을 전이 학습이라고 부른다. 마치 악기 연주에서 리코더를 마스터하면 플루트 실력이 빨리 느는 것과 같은 이치다.

현재, 대규모 언어 모델을 개발·운용할 수 있는 곳은 비영리 단체인 OpenAI와 Google이다. 다만, Microsoft는 OpenAI의 실질적 소유주이므로 OpenAI의 AI를 자유롭게 활용할 수 있다.

참고로, OpenAI의 대규모 언어 모델은 GPT라고 불린다.

그 GPT 가운데 대화에 특화된 것이 ChatGPT, 그림 생성에 특화된 것이 DALL·E2, 음악 생성에 특화된 것이 Jukebox이다.

 

*출처= https://benedict.co.jp › smalltalk › talk-527