OpenAI 공동창업자가 LLM을 활용하는 방법

(유튜브 자막판)

이 내용은 OpenAI를 공동창업한 Andrej Karpathy가 일반인을 위한 AI 강의중
"How I use LLMs"의 내용을 요약한 것입니다.


LLM은 여러 종류가 있음
  • OpenAI의 ChatGPT
  • 구글의 Gemini
  • Meta의 Meta AI
  • MS의 Copilot
  • Anthropic의 Claude
  • xAI의 Grok
  • Perplexity
  • 중국의 DeepSeek
  • 프랑스 Mistral의 Le Chat
ChatGPT는 어떻게 동작하는가

LLM은 인터넷 문서 전체를 1TB로 손실 압축한 zip 파일과 유사
이 안에 수조 개 파라미터가 있는 인공신경망이 있고, 그게 '다음 글자'를 확률적으로 뱉어냄
 
이 압축파일은 크게 두 종류의 학습을 해서 만듦
 
- 사전 학습: 수천만 달러 + 3개월 이상 듦. 비용 많이 들어서 자주 못하고, 그래서 knowldge cutoff가 생김
- 사후 학습: 훨씬 저비용으로 파인튜닝. 단순히 인터넷 문서를 뱉어주는 게 아니라 사용자의 질문에 답하는 Assistant로서 처럼 동작하게 만듦
  • 모범답안을 알려주는 지도학습(Supervised Fine-Tuning)
  • 생성된 답안에 대한 인간의 선호를 토대로 한 강화학습(Reinforcement Learning from Human Feedback)
  • 인간의 질문에 대한 Assistant의 이상적 답변을 토대로 한 강화학습(Reinforcement Learning on Conversation)
ChatGPT에서 새 세션을 만들어 유저가 메시지를 입력하면 그게 토큰화되어 모델의 인풋으로 들어가고, 그걸 통해 LLM이 다음 토큰을 만듦. 그리고 이 대화(유저의 입력, ChatGPT의 출력)는 모두 Context Window 안에 저장됨. 
Context Window는 인간의 작업기억(Working Memory)와 유사하며, 인간과 마찬가지로 한계가 있음. Context Window가 길어질수록 부정확한 정보를 줄 가능성이 조금 더 높아지고, 다음 답변 생성도 조금 더 비싸짐(= 느려짐) 
따라서 꼭 필요하지 않다면 한 세션을 오래 유지하는 게 그리 좋은 선택은 아님
 
언제 'Thinking' 모델을 써야 할까

기존의 사전/사후 학습을 거친 LLM에, 복잡한 STEM(과학, 기술, 공학, 수학) 문제에 대한 답을 긴 사고 과정을 통해 답변할 수 있도록 추가로 강화학습한 모델
 
여러 토큰을 뱉어내면서 '생각'을 하기 때문에 비용도 시간도 많이 걸리는 대신 복잡한 문제에 대한 답변 정확도가 급격히 올라감
 
'생각'을 하는 모델이 문제를 꼭 정확히 푸는 것도 아니고, 반대로 '생각'이 없는 모델도 문제를 정확히 풀 수 있음에 주의(카파시가 준 복잡한 디버깅 문제를 모든 생각 모델은 성공했고 ChatGPT-4o는 실패했지만, Sonnet 3.5, Gemini 2.0 Pro, Grok 3는 Thinking 없이도 성공)
 
카파시는 일단 답변이 빨리 돌아오는 non-thinking 모델로 테스트해보고, 답변이 의심스러우면 Thinking을 써보는 식으로 사용한다고 함
 
LLM을 돕는 도구들

인터넷 검색
인터넷 검색이 가능한 모델이 있고 아닌 모델이 있음. (꼭 검색이 아니더라도) 우린 항상 이 모델이 뭘 할 수 있는지 알고 써야 함
 
검색은 가장 기본적으로는 Knowledge Cutoff 때문에 최신 데이터에 대한 답변을 할 수 없기 때문에 필요. 초기 ChatGPT에서 이게 안됐던 걸 Perplexity가 뚫어내서 많은 사용자를 모았음
 
유저 쿼리에 따라 '이건 검색을 해야 한다'는 판단을 해서, 인터넷 검색한 결과를 토큰화해서 Context Window에 집어넣은 상태로 답변하는 것. (어떨 때는 명시적으로 검색해서 알려달라고 해야 할 수도 있음)
 
카파시는 요즘 구글링 대신 Perplexity에 묻는 일이 많음. '이런 정보는 Perplexity에 물어봐야지' 하는 습관이 생김
 
구글링해서 최상위 링크 몇 개 클릭해서 알 수 있을 것 같다 (오늘 주식시장 열리냐, 화이트 로투스 시즌 3 언제 촬영했냐 등)
정보가 계속 바뀌는데 최신화된 정보가 필요하다 (Vercel이 Postgresql 지원하냐, 솔로지옥 시즌 4 출연 배우들 지금은 뭐하냐 등)

딥 리서치
간단히 얘기하면 인터넷 검색 + Thinking임. 길면 몇십분간 검색하고, 그렇게 얻은 정보를 Thinking을 통해 정리해서 리포트를 만들어줌.
 
ChatGPT 딥리서치의 특징은 더 좋은 리포트를 만들기 위해, 질문자의 의도는 뭐고 어디에 집중할지 물어본 다음 시작한다는 것.
유사 기능으로 Perplexity에도 딥 리서치가 있고, Grok3에도 '딥 서치'가 있음. 각각의 속도와 품질이 다 다름.
인터넷 검색과 마찬가지로 여기서도 답변이 정확하지 않을 수 있음에 주의. 출처를 직접 확인해볼 필요가 있으나, '굉장히 유용한 초안'이긴 함
카파시는 20여개 정도 딥리서치 해봤는데 ChatGPT 답변이 가장 (유의미한 정보로) 길어서 가장 좋았음.

코드 인터프리터
LLM이 코드를 작성해서 실행한 다음, 코드의 결과물을 컨텍스트에 넣어서 답변해주는 것.
파이썬도 있고 자바스크립트도 있음.
잘 쓰면 아주 강력함. 똘똘한 주니어 하나 마련했다고 보면 됨 
  • ChatGPT 4o로 데이터 분석하기
  • Claude로 책 내용 요약한 플래시카드 앱 만들기
  • Claude로 책 내용 시각화하는 Mermaid 다이어그램 만들기
  • Cursor로 틱택토 게임 만들고 채팅만으로 승자 효과 추가하는 개선하기

모달리티
LLM과 텍스트만 주고받는 게 아니라 오디오, 이미지, 비디오도 가능
 
오디오 입출력
오디오 입력은 카파시는 SuperWhisper, WisprFlow, MacWhisper 등 맥 받아쓰기 앱 활용. 예전같았으면 타이핑했을 것의 대략 절반은 말로 한다고 함.
 
오디오 출력은 대개 앱 내에서 기능 제공. 화면 받아쓰기 해도 됨
 
근데 이것들은 여전히 근본적으로는 텍스트로 주고받는 것. Speech-to-Text 후 다시 Text-to-Speech 해야 하니까 느림.
 
진짜로 오디오만으로 LLM과 주고받는 것도 가능. 오디오 정보를 토큰화하는 것. 이걸 카파시는 True Audio라고 부르고, ChatGPT에서는 Advanced Voice Mode라고 부름.
 
다양한 억양과 속도로 얘기해보게 하고, 동물 소리 흉내도 시키는 대화 시연 영상
Grok3도 모바일 앱에서 Advanced Voice Mode를 제공함. 섹시 모드, 욕설 모드 등 노빠꾸 모델이 많아서 어떤 면에서는 더 재밌고 흥미롭기도 함
 
카파시의 Grok3 대화 시연 영상
NotebookLM은 파일을 업로드해서 분석하고, 그 내용을 기반으로 여러 진행자가 자연스러운 음성으로 팟캐스트를 진행하게 하는 것도 가능. 사이에 내가 개입해서 질문도 자유롭게 할 수 있음(Interactive Mode).
 
카파시는 본인의 전문성이 강하지 않지만 호기심은 있는 분야들에 팟캐스트 만들어 듣는 걸 자주 했음. 자기가 그렇게 만든 팟캐스트를 Histories of Mysteris라는 이름으로 스포티파이에도 올려둠

이미지 입출력
카파시는 OCR할 때 항상 정확히 읽었는지 확인하고 나서 내용 물어보는 습관이 있음. 언제나 잘못 읽었을 가능성이 있기 때문.
 
실제 용례: 건강기능식품 영양 성분 확인, 채혈 검과 해석, 수식의 Latex 버전 얻기, 밈 해석하기 등
 
이미지 출력은 DALLE, IdeoGram 등으로 함. 이미지 생성은 LLM에 내장된 기능은 아니고 별도의 모델에 프롬프트를 넣어서, 출력된 이미지를 다시 가져오는 역할.
 
비디오 입출력
오디오처럼, Advanced Voice + Video를 입력으로 써서 대답하게 할 수 있음. 모바일 앱에서 가능. LLM이 진짜로 영상을 인풋으로 가져가는 대신 영상을 일정 프레임 별로 가져가서 이미지 입력으로 변환하는 식일 것
 
카파시 본인은 자주 쓰진 않으나 부모님 세대처럼 기술적 배경이 부족한 사람들도 바로 질문 답변할 수 있으니 좋음
 
시연 영상
비디오 출력은 Sora를 비롯한 여러 모델이 있음. 카파시는 현재는 Google Veo 2가 가장 현실적이라고 느낌
 

추가 기능들

메모리
사용자와 문답하다가 '이건 기억해두면 더 좋은 답변을 하겠다' 싶은 것, 또는 사용자가 명시적으로 기억해달라고 한 건 Memory Updated 라는 문구와 함께 저장됨
= 이것들은 새 채팅 만들 때마다 Context Window에 들어간다고 보면 됨. 전체 목록 보고 관리하는 것도 가능

Customize
사용자를 뭐라고 부르고, 어떤 일 하고, 어떻게 답변하길 원하고... 등을 담아두면 이것 또한 컨텍스트 윈도우에 들어간 채로 답변함
한국어를 배우고 있기 때문에 관련 내용을 넣어두는 실험을 해보고 있음

Custom GPTs
한국어 공부를 위한 GPTs를 여러 개 만들어서 활용하고 있음. 간단한 프롬프트에 Few-Shot 사용.
Korean Vocabulary Extractor: 한글 문장을 쪼개서 용어들을 추출해줌
Korean Detailed Translator: 위와 유사한데 단어 바이 단어로 매칭해서 번역해줌
KoreanCap: 이미지 캡처해서 주면 OCR 후 번역하고, 발음까지 포함해서 단어별로 쪼개줌

##


Comments

Post a Comment

Popular posts from this blog

🧑‍🏫[칼럼] 미래 인재상, T자형 하이브리드로 설계하라

미래 인재상, T자형 하이브리드로 설계하라 – AI 시대, '내 역할'을 새롭게 정의하는 사람만이 살아남는다.  –   1. AI가 바꾸는 일터의 풍경 요즘 일터 곳곳에서 AI 기술이 빠르게 도입되고 있다. 반복적이고 단순한 일은 자동화되고, 정해진 답이 있는 문제는 AI가 더 빠르고 정확하게 처리한다. 이런 변화 속에서 많은 이들이 불안해한다. "그럼 나는 어떻게 살아남아야 할까?" 이 질문에 대한 답은 점점 분명해지고 있다. 이제는 정답을 아는 것만으로는 부족하다. AI 시대에 중요한 것은 정답이 없는 문제에 대응하는 능력, 그리고 여러 분야를 연결하고 해석하는 융합적 사고력이다. 이 새로운 시대가 요구하는 인재상은 바로 'T자형 하이브리드 인재'이다.   2. 왜 융합형 사고가 중요해질까? 많은 기업들이 AI를 통해 일하는 방식을 근본적으로 바꾸고 있다. 스타벅스, JP모건, 존디어 같은 글로벌 기업들은 직원들의 전문 지식을 AI 시스템에 학습시켜 조직 전체에 활용하려는 전략을 펼치고 있다. 이로 인해 단순히 '경험 많은 전문가'라는 타이틀만으로는 경쟁력을 유지하기 어려워졌다. 하지만 여전히 사람만이 잘할 수 있는 영역이 존재한다. 불확실한 상황에서의 판단, 서로 다른 입장의 조율, 고객과의 감정적 연결, 조직 내 신뢰 형성 등은 AI가 대체하기 어려운 일이다. 이러한 복잡하고 정형화되지 않은 문제를 해결하는 능력은 T자형 인재의 핵심적인 역량이다.   3. T자형 인재란 무엇인가? T자형 인재는 한 분야에 깊은 전문성을 갖추는 동시에, 여러 분야를 연결하고 협업할 수 있는 융합적 역량을 지닌 사람을 말한다. T자의 세로 줄은 마케팅, 법률, 공학, 디자인 등 특정 분야에서의 깊이 있는 전문성을 의미한다. 가로 줄은 디지털 이해력, 데이터 분석 능력, 커뮤니케이션, 협업 능력처럼 다양한 분야를 아우르며 융합적으로 사고할 수 있는 능력이다. 특히 중요한 것은 기술과 기술, 사람과 기술 사이를 연결...
Read more

[인사이트] "연구용 AI"의 등장과 연구 패러다임의 변화

Image
(과학 연구를 보조하거나 수행하는 연구용 AI) 연구용 AI의 등장과 연구 패러다임의 변화 최근 오픈AI, 구글 등 빅테크 기업들이 잇달아 연구용 AI를 출시하면서 과학 연구 분야에 큰 영향을 미치고 된다. 1. "연구용 AI"의 개념 연구용 AI란, 과학 연구를 보조하거나 수행하는 인공지능(AI) 시스템을 의미한다. 일반적인 AI가 텍스트 생성, 이미지 분석, 언어 모델링 등 다양한 작업을 수행하는 것과 달리, 연구용 AI는 과학적 탐구와 연구 과정에서 실질적인 역할을 하는 AI를 말한다. 2. 연구용 AI의 주요 기능  1) 가설 생성 및 검증 AI가 과학적 가설을 스스로 생성하고 검토하여 연구 방향을 제안한다. 구글의 "공동 과학자(co-scientist)"는 연구자의 피드백을 반영해 최적의 실험 전략을 도출한다.    2) 데이터 분석 및 요약 논문, 실험 데이터, 기존 연구 자료를 분석하여 중요한 패턴과 인사이트를 도출한다. 연구자들이 수년에 걸쳐 연구한 내용을 며칠 내로 정리할 수 있다.   3) 실험 설계 및 최적화 AI가 실험 조건을 최적화하여 연구의 효율성을 높인다. 신약 개발 과정에서 약물 후보 물질을 탐색하는 데 활용된다.    4) 논문 작성 및 연구 보고서 자동 생성 연구자가 작성한 초안을 AI가 보완하거나, 연구 결과를 정리하여 논문 형식으로 출력할 수 있다. 일부 연구자들은 AI를 활용해 논문을 완성하고 학술지에 제출하기도 했다. 3. 연구용 AI의 성과   1) 오픈AI ‘딥리서치’(Deep Research) AI가 연구 과정을 지원하는 기술로, 연구 논문 리서치를 수행하며, 기존 연구 방식보다 높은 창의성과 정확도를 기록했다. 박사급 연구원이 몇 주간 수행해야 할 연구를 8분 만에 끝낸 사례가 있다. ‘인류 최후의 시험’(HLE) 벤치마크에서 26.6%의 정답률을 기록하며, 기존보다 두 배 이상 향상된 성과를 보였다.   2) 구글 ‘공동 과학...
Read more

AI의 기반 : 데이터부터 시작하라

Image
* 이 내용은 " 단기 성과와 장기 성장 사이 ··· AI 투자의 딜레마" (CIO, 2025.2.19) 칼럼을 기초로 주로 데이터 부문의 내용을 중심으로 작성한 것입니다. 실질적인 AI 전략을 수립하기 위해 가장 먼저 투자해야 할 요소는 데이터 품질이다 . 데이터 품질이 확보되지 않으면 데이터에 대한 신뢰도도 확보될 수 없다 . ML , Gen   AI, 에이전틱 AI 의 신뢰성을 확보하기 위한 기본 전제는 바로 고품질의 데이터이다 . AI 가 데이터를 통해 가치를 창출할 수 있다. 하지만 데이터가 부실하면 그 결과 역시 신뢰할 수 없을 것이다 .   오라일리 (O’Reilly) 의 조사 에 따르면 , 48% 의 기업이 데이터 정확성을 유지하기 위해 머신러닝 , 데이터 분석 , AI 도구를 활용하고 있다 . 이는 AI 이니셔티브를 위해 탄탄한 데이터 기반이 필수 적임을 보여준다 . 클릭 (Qlik) 의 조사 에서는 21% 의 기업이 신뢰할 수 있는 데이터를 확보하지 못해 AI 도입에 어려움을 겪고 있다고 한다 . 이는 안정적인 데이터 플랫폼 구축의 필요성 을 강조하는 결과이다 . ‘ 데이터의 중력 (Data Gravity) ’ 개념에서 데이터가 한 곳에 모이면 그곳이 중심지가 되지만 그 데이터의 품질을 깊이 검증하지 않고 신뢰하는 경향이 있다고 한다. 실제로 중복성과 일관성이 부족해  신뢰할 수 없는 데이터가 저장소에 생성되는 것이다. 그래서  데이터 단절과 부정확성으로 인해 비즈니스 의사결정의 질이 떨어질 수밖에 없다 . 데이터 과학과 머신러닝에 투자하기 전에  데이터를 먼저 정제하고 통합하는 과정이 우선이다. 그냥 진행하면 오히려 데이터 품질과 신뢰 문제를 더욱 악화시킬 수 있다 . 데이터의 의미적 모델을 추상화하고 , 분석 도구에서 활용할 수 있는 비즈니스 준비된 데이터 계층을 구성해야 한다 . 데이터 품질과 신뢰도가 확보되지 않은 상태에서 머신러닝 알고리즘과 모델 개발을 위해 데이터 과학 자원에 투자하는 것은...
Read more