데이터 분석 소개(4)

Gen AI란?(1)

 인공지능은 인간이 하는 일을 대신해주는 시스템을 만드는 컴퓨터 과학을 말한다(인공지능 ⊂ 머신러닝  ⊂ 딥러닝). 딥러닝은 복잡한 데이터 처리에 강점이 있다. 학습된 콘텐츠를 바탕으로 새로운 콘텐츠를 만드는 딥러닝 기술이 Gen AI이다(딥러닝 ⊂ Gen AI ⊂ Large Laguage Model). 딥러닝의 모델타입에는 Discriminative와 Generative가 있다.

• Discriminative
  • 분류/예측 하는 것으로 레이블이 존재하는 데이터에 적용
  • 피처(feature)들과 레이블(lable)들 간의 관계를 학습
  • 개 혹은 고양이 분류
• Generative
  • 훈련된 데이터와 비슷하지만 새로운 데이터를 생성
  • 훈련된 데이터의 통계적 특성 이해
  • 비지도 학습
  • 개 이미지 생성

 y = f(x)에서 x는 입력값, y는 출력값, f는 모델이라 하면 ML모델에서는 y는 숫자, 카테고리, 확률 등이며 Gen AI에서의 y는 자연어 문장, 이미지, 오디오 등이다. 파운데이션 모델이란 광범위한 데이터 세트에 대해 학습된 대규모 머신러닝 모델의 한 유형이다. 파운데이션 모델은 이미 일반적인 지식은 학습되어 있고 Unsupervised Learnig(혹은 Self Supervised Learnig)이다. 그리고 대용량 데이터로 학습하기에는 엄청난 시간과 돈, 인력이 필요하고 트랜스포머 모델 아키텍처를 사용한다. Gen AI의 파운데이션 모델은 특별한 학습 없이 다양한 작업에 적용 가능하다(GPT-3, GPT-4, BERT, T5, DALL-E,,,). 또한 파운데이션 모델을 Fine-Tuning의 형태로 특정 지식을 학습시키기도 한다(GPT → ChatGPT).

 

 Gen AI 모델에는 훈련 데이터로 제공된 문장들로부터 언어 패턴을 학습한 모델로 문장의 일부를 입력받으면 다음 단어를 예측하는 Generative Language Models가 있고 Diffusion과 같은 기술을 사용해서 새로운 이미지를 만드는 모델로 프롬트를 입력받아 이미지를 생성하거나 이미지를 입력으로 받아서 특정 노이즈를 추가하여 이미지를 변환하는 Generative Image Models가 있다. 훈련 데이터가 불충분하거나 품질이 떨어지고 최신성이 부족하다면 Gen AI 모델이 부정확, 무의미하거나 완전히 조작된 정보를 생성하는 경우가 있어 사실 확인이 항상 필요하다.  그리고 모델에게 충분한 콘텍스트가 주어지지 않았을 수 있기 때문에 프롬프트 디자인이 중요해진다. 

 

Gen AI란?(2)

 입력에 따라 Gen AI 모델은 다양한 출력을 할 수 있다.

• Input: Image
  • Output: Image(Super Resolution, Image Completion)
  • Output: Text(Image Captioning, Visual QA, Image Search)
  • Output: Video(Animation)
• Input: Text
  • Output: Image(Image Generation, Video Generation)
  • Output: Text(Translation, Summarization, Question Answering, Grammar Correction)
  • Output: Audio(Text Speech, Music Generation)
  • Output: Video, 3D
  • Output: Task(Coding Assistant, Virtual Assitant, Automation)

 멀티모달 파운데이션 모델(Multi-Modal Foudation Model)은 다양한 데이터 형태(Text, Image, Video, Audio,,,)를 가지고 훈련을 하여 파운데이션 모델을 통해 파인튜닝으로 다양한 일(QA, Translation, Object Recognition, Image Captioning,,,)을 가능하게 한다. 

 

 Gen AI 사용시 해야 할 일과 하지 말아야 할 일이 있다. 

• 해야 할 일
  • 블로그, 웹사이트를 위한 독창적 콘텐츠 생성
  • 예술 작품을 위한 영감 창출
  • 빠른 프로토타입 및 목업 만들기
  • 파일 변환 및 이미지 업스케일링과 같은 단순 작업 수행
  • 코딩, 마케팅 등 업무 어시스턴트 사용
• 하지 말아야 할 일
  • 시험이나 숙제 부정행위
  • AI가 말하는 것을 그대로 받아들이기
  • 다른 아티스트 작품 표절

 기술이 너무 빠르게 발전함에 따라 Gen AI의 여러 문제점이 생기고 있다. 라이선스 코드를 무단으로 재사용한 혐의로 코드 생성 AI인 Copilot에 대해 집단 소송을 직면하기도 하고 Midjourney는 웹 스크랩한 이미지로 모델을 학습시켜서 아티스트의 권리를 침해 혐의로 소송 중이다. Getty Image는 Stability AI가 자사 이미지를 무단 사용하여 모델을 훈련시켰다고 소송을 제기하기도 하였다. 기술의 발전에 비해 관련된 법제화가 느리고 나라마다 입장도 서로 다르다. 또한 사칭을 통해 사기나 가짜 뉴스 생성하는 일도 많아졌고 노동시장에 주는 잠재적인 악영향이 생겼다.

 

ChatGPT 발전 살펴보기

 GPT(Generative Pre-trained Transformer)는 Open AI에서 만든 초거대 언어모델이며 Word Completion와 Code Completion 두 가지 모델을 제공한다. GPT 3에서 GPT 4로 발전하여 Context Window는 4배, 워드펙터는 3배 가량 증가했으며 2023년 11월에 GPT 4 Turbo가 발표되면서 GPT 4 대비 Context Window는 10배이상 확장되었으며 API 기능 개선, RAG 기능 제공, 정보 업데이트가 되었다. 초거대 언어모델 뿐만 아니라 경량 언어 모델도 개발되고 있다. 예를 들어 메타의 llama, 스탠포드의 Alpaca, 데이터브릭스의 Dolly 등이 있다. 

 

 ChatGPT는 2022년 11월 30일에 발표되어 GPT를 챗봇 형태로 Fine-Tuning한 프로그램이다. 파인 튜닝(Fine Tuning)이란 이미 만들어진 모델 위에 새로운 레이어를 얹히고 다른 용도의 데이터로 훈련하는 것이다. ChatGPT는 사람 피드백 기반으로 인공지능 모델 학습하는 방법(RLHF)으로 훈련되었다. ChatGPT에게 좋은 프롬프트를 주기 위해서는 우선 역할을 부여하고 해야하는 일을 구체적으로 알려준 뒤 제한해야 하는 부분이나 결과물의 톤(Tone)을 알려줘야 한다. ChatCPT 4.0으로 진화하면서 플러그인 기능이 추가되었고 특정 목적에 맞는 ChatGPT의 맞춤형 버전인 GPTs라는 커스텀 챗봇이 개발되었다. Assistant API라는 업무 효율성을 위한 기능도 만들어졌다.

 

Gen AI 적용 케이스

•  Case Study: Quizlet
  • ChatGPT로 구축된 Q-Chat이라는 AI 개인 튜터
  • 다양한 토픽에 대해 일대일 채팅을 통한 학습 가능
• Case Study: Duolingo
  • 듀오링고는 GPT 4로 아래 두 가지 기능 구현
  • Roleplay: AI 대화 파트너
  • Explain My answer: 실수한 문법 규칙을 세분화하여 설명
• Case Study: Morgan Stanley
  • 자산 관리와 방대한 내부 데이터 검색용 챗봇 개발
• Viable
  • CS 티켓과 같은 자연 언어 데이터 분석 수행
  • OpenAI의 LLM을 파인튜닝하여 비정형 데이터 분석용 모델 생성
• Buzzfeed
  • 즉석에서 퀴즈 컨텐츠 생성을 위해 ChatGPT 사용
  • 음식 브랜드인 Tasty의 레시피를 추천해주는 챗봇 개발

 공부하며 어려웠던 내용

기초 컴퓨터 지식(프롬프트, API, RAG, 플러그인 등)이 없어서 이해가 쉽지 않았다. CS를 따로 공부해야 겠다고 느꼈다. 이력서 관련 특강도 들었는데 이력서도 이번 코스동안 생각해보고 작성 해봐야 겠다.