오늘은 그동안 이야기하지 못했던 나만의 AI 언어 모델 만들기와 관련해서 왜 굳이 한국어 전용 모델을 만들고자 하는지 간략하게 설명하도록 하겠습니다. 챗GPT 한국어 성능의 한계와 한국어 언어 모델2025년, 현재 우리는 생성형 AI가 이미 익숙한 세상에 살고 있죠. 제 기억이 맞다면 22년에 처음 챗GPT가 등장하여 이제 불과 3년 째인데, 우리는 이미 익숙해져 버렸습니다. 그 이유는 굳이 설명할 필요도 없이 너무나 익숙하고 자연스러운 언어 즉, 대화가 가능했기 때문일 겁니다.그런데, 그럼에도 한국어를 사용하는 우리에게 GPT는 조금 어색하게 느껴질때가 있습니다. 특히 장문의 글을 작성하도록 하면 더 그런 현상이 뚜렷하게 나타나죠. 이런 현상은 극복되지 않는 것일까요? 챗GPT를 월 정액으로 사용하면 ..

오늘은 Gemini API에 대해 간략하게 정리해 볼게요. 이미 블로그에 정리한 적이 있다고 생각했는데, 실제 API 작성 예시는 정리한적이 없었더군요. 최신 변경된 정보 중심으로 간단하게 정리해 두겠습니다. Gemini API 사용법과 OpenAI API 호환 설정 2025년 현재, Gemini API 무엇이 달라졌나(중요 포인트만)OpenAI 라이브러리 호환 정식 지원openai 클라이언트로 base_url만 교체하면 Gemini 호출 가능. 모델명만 Gemini로 바꾸면 된다. (Chat Completions/Embeddings 지원)권장 모델 세대 업데이트1.5 계열 일부는 퇴역(deprecated/retired) → gemini-2.0-flash 또는 gemini-2.5-flash 같은 최신 ..

오늘은 이미지 생성 도구에 대해 정리해 보겠습니다. Stable Diffusion, Midjourney, DALL-E, Imagen, Aurora 등, 아주 많은 이미지 생성 AI들이 서비스를 하고 있는데요, 무엇이 다르고 나에게 어떤 것들이 적합한지 생각할 수 있도록 간단하게 이들을 정리해 보도록 하죠.AI 이미지 생성 도구들의 특징과 선택 기준 Stable Diffusion(스테이블 디퓨전)Stable Diffusion은 Stability AI에서 개발한 오픈소스 기반 텍스트-투-이미지(Text-to-Image) 생성 모델입니다. 2022년 8월 공개된 이후, 누구나 자유롭게 사용할 수 있는 점에서 가장 폭넓은 생태계를 형성하고 있습니다. 아마도 완전 오픈형 이미지 생성 모델로 계속 사용되는 도구로..

오늘은 AI 학습 방법 중 "전이학습"에 대해 정리해 보겠습니다. 여러분은 새로운 여행지에 갔을 때, 길을 어떻게 찾나요? 당연하게도 스마트폰을 먼저 열어보겠죠. 만일 구글맵 등이 잘 안 맞는 경우나 지도에 나올 수 없는 아주 구체적인 위치라면 주변 사람에게 길을 물어볼 거예요. 이미 알고 있는 지식이나 다른 사람의 경험을 활용하면 훨씬 쉽고 빠르게 목적지에 도착할 수 있죠. 인공지능(AI)도 마찬가지예요. AI를 학습시키는 것은 방대한 데이터를 학습시켜 새로운 것을 이해하고 판단하게 만드는 과정인데, 이 과정은 시간과 비용이 많이 들어요. 그런데 만약 AI가 이미 다른 분야에서 배운 지식을 활용해서 새로운 문제를 해결할 수 있다면 어떨까요? 바로 이것이 전이학습(Transfer Learning)의 핵심..

지난 글에서 나만의 생성형 AI 만들기를 하기 위해 기초모델을 선정했었죠. GPT-2 medium으로 말이죠. 이 모델에 치명적인 문제로 어쩔 수 없이 모델 변경이 필요하게 되었는데요, 오늘은 그 이유가 되었던 토크나이저(tokenizer)에 대해 기초적인 이론을 간략하게 정리해 보려 합니다. GPT-2 한국어 모델의 한계, 토크나이저 문제GPT-2 모델의 토크나이저는 BPE (Byte-Pair Encoding)기반 알고리즘을 사용한다고 해요. 이 BPE 알고리즘은 한국어처럼 교착어와는 맞지 않다고 해요. 이유는 아래에 좀 더 자세하게 설명해 볼게요. 때문에 GPT-2는 영어 전용 모델로, 한국어 학습을 하려면 상당히 시간과 데이터량이 필요해 보였습니다. 물론, 처음 이 문제와 맞닿았을 때는 넘사벽처럼 ..

GPT나 Gemini 등을 보면 우리나라에도 이런 대형 언어 모델들이 있을까 하는 생각을 하게 되죠. 몇몇 기업이나 대학에서 만든 모델들은 있다고 하지만, 개인이 혼자 이런 대형 언어 모델을 만들 수는 없을 거예요. 아예 불가능하죠. 엄청난 리소스와 비용이 개인이 할 수 있는 수준이 아니니까요. 그러면 한국어에 특화된 멀티모달 생성형 AI 모델은 어떻게 만들 수 있을까요? 이 물음에서 나만의 대형 언어 모델 만들기가 시작됩니다.뭐를 해야 할지, 이게 개인 환경에서 가능한지도 아직은 완전하게 알 수 없습니다만, 일단은 가장 기본적인 것부터 시작해 봅니다. GPT-2 모델에 custom Tokenizer 결합하기GPT2 모델은 생성형 AI 서비스 초기(아마도 우리나라에서는...) OpenAI가 완전 공개한 ..

이번에는 개인이 소규모 AI 모델(예: Qwen3 0.6B)을 직접 파인튜닝한 후, 성능이 원본 모델과 비교해 얼마나 개선되었는지 정확하게 파인튜닝 평가 (fine-tuning evaluation)하는 방법에 대해 정리해 보겠습니다. 객관적인 평가는 매우 중요하죠. 내가 만들 모델이 정말 성능 향상이 되었는지 객관적으로 확인하는 방법이니까 말이죠. 파인튜닝 평가 (fine-tuning evaluation) 성능 평가의 필요성과 접근 방법 모델을 파인튜닝하면 실제 성능 향상이 있는지 확인하는 과정이 필수적입니다. 특히 작은 규모(3B 미만)의 AI 모델에서는 효율적인 평가 방법을 통해 빠르게 성능을 확인할 수 있어야 합니다.성능 평가는 다음과 같은 방법으로 이루어질 수 있습니다.정량적 평가: BLEU,..

지난 글에서는 생성형 AI의 전체적인 구조와 기술 분류를 통해 큰 그림을 그려보았습니다. 트랜스포머, 확산 모델과 같은 다양한 아키텍처와 그 성능을 끌어올리는 여러 학습 전략들을 살펴보았죠. 오늘은 그중에서도 생성형 AI의 '학습' 과정 중 사전 학습(Pre-training)과 파인튜닝(Fine-tuning)에 대해 좀 더 깊이 있게 살펴보고자 합니다. Llama 3로 배우는 사전 학습과 파인튜닝 (SFT, PEFT, LoRA) 사전 학습 (Pre-training)사전 학습은 말 그대로, 모델을 본격적으로 사용하기 전에 미리(Pre) 시키는 학습입니다.초등학교부터 대학교까지 배우는 지식은 당장 특정 업무에 쓰이지 않을 수 있지만, 세상을 이해하고 논리적으로 사고하며 새로운 것을 배울 수 있는 '기초 체..

지금까지 생성형 AI와 관련하여 여러 주제를 다뤄왔어요. 오늘은 이러한 것을 한번 정리해 보는 관점에서 생성형 AI의 전체적인 구조와 분류에 대해 정리해 보려 합니다. 생성형 AI 모델의 기초 구조와 이 모델들의 성능 향상을 위한 학습과 튜닝 방법 그리고 이와 관련한 기술들을 분류하여 정리해 보겠습니다. 생성형 AI 모델 구조와 생성 기술인공지능 모델을 생성하는 기술은 매우 다양하며 빠르게 발전하고 있습니다. 특히 LLM (Large Language Model)을 시작으로 텍스트, 이미지, 음성, 비디오 등 다양한 형태의 데이터를 생성하는 모델들이 상용화되면서 관련 기술에 대한 관심이 더욱 높아지고 있죠. 기초 모델 아키텍처 (Foundation Model Architectures) 데이터를 학습하..

오늘은 챗GPT를 이용한 블로그 글쓰기와 같은 생성형 AI를 이용한 글쓰기에 대해 이야기해 보려 합니다. 가끔 유튜브를 보다 보면 '챗GPT를 이용한 블로그 글쓰기 자동화' 같은 제목의 영상이 보이고는 하는데요, 과연 정말 챗GPT 같은 생성형 AI들이 실제 사람이 작성한 것처럼 글을 작성해 줄 수 있는지 22년부터 챗GPT는 물론 다양한 생성형 AI를 사용한 경험으로 이에 대한 생각을 정리해 보겠습니다. 챗GPT를 이용한 블로그 글쓰기글쓰기는 사실, 그것이 블로그 글이든 어딘가에 게재되는 칼럼이든 아니면 자신이 집필하는 서적이나 논문이 든 간에 어느 하나 쉬운 것이 없죠. 막막한 백지 앞에서 아이디어를 떠올리거나, 방대한 자료를 조사하고 정리하는 과정은 때로는 지루하고 고단한 작업이 되기도 합니다. 글..