Llama 3.2 모델 파인 튜닝으로 한국어 능력 향상을 위한 파이썬 코드 구성 방법 #5

오늘은 지금까지 살펴보고 정리한 모든 내용을 가지고 실제로 파인 튜닝을 실행하기 위해 파이썬 코드를 구성해 보도록 하겠습니다.  Llama 3.2 1b 모델 파인 튜닝파인 튜닝도 역시 시스템의 성능이 중요합니다. 가지고 있는 PC가 워낙 오래된 저사양 PC라서 실제로 문제없이 잘 진행될지도 의문이지만 한번 해 보도록 하겠습니다.프로세서: AMD Ryzen 3 3300X 4-Core Processor 3.79 GHzRAM : 16.0GB그래픽: NVIDIA GeForce GTX 1650 Llama 모델 중에서도 llama 3.2 1B를 선택한 이유가 처음에는 3B 모델을 튜닝해 보고 싶었으나 사전 테스트해 보니 실제로 워낙 낮은 사양이라 3B 모델은 시작도 안되던 경험을 했습니다.    파인 튜닝 모델 준..

이번 글과 향후 몇 번에 걸쳐 최근 가장 핫한 이슈가 되고 있는 Deepseek (딥씨크)에 대해 다뤄보도록 하겠습니다. 기존 생성형 인공지능과 비교할만한 성능을 가졌는지, 기술적으로 어떤 차이점이 있는 것인지 등에 대해 정리해 보겠습니다.오늘은 deepseek 홈페이지에서 공개한 논문을 기반으로 하여 무엇이 deepseek의 가장 큰 특징인지 살펴보도록 하겠습니다.  DeepSeek-R1 vs 기존 생성형 인공지능 AI  DeepSeek-R1의 핵심Deepseek 홈페이지에서는 deepseek r1과 관련한 코드 소스와 문건을 Github를 통해 공개하고 있습니다. 이곳에 공개된 DeepSeek_R1.pdf 문건의 내용을 살펴보면, DeepSeek-R1 연구에서는 강화학습만으로도 추론 능력을 발전시킬 ..

오늘은 모바일 프레임워크 중 대표로 알려진 플러터(Flutter)와 리액트 네이티브(React Native)에 대해 알아보겠습니다. 기술 및 시장 관점에서 비교해 보고 향후 어떻게 진행될지 생각해 보겠습니다. 플러터(Flutter)와 리액트 네이티브(React Native)과거에는 모바일을 대표하는 안드로이드와 iOS, 이들의 플랫폼용 코드를 각각 작성하거나, 웹 앱을 하이브리드 형태로 감싸는 방법을 많이 택했습니다. 그러나 각각의 OS마다 별도 코드를 작성하는 일은 인력과 비용 측면에서 비효율적이었고, 하이브리드 앱은 성능이나 사용자 경험 면에서 기대에 못 미치기 일쑤였습니다.이러한 상황에서 하나의 코드로 여러 플랫폼을 모두 지원할 수 있는 크로스플랫폼 기술이 부상하게 되었습니다. 이들 중 플러터(Fl..

오늘은 앞선 글에서 살펴본 Flask 프레임워크에 이어, 비교적 가벼운 코드로도 세련된 웹 애플리케이션을 만들 수 있게 해주는 Streamlit 라이브러리를 살펴보겠습니다. Streamlit을 이용해 간단한 데이터 시각화부터 사용자와 실시간으로 소통하는 애플리케이션까지 단계적으로 구현해 보겠습니다.  Python Streamlit   Flask와 무엇이 다른가?Flask나 Django처럼 “웹 프레임워크”라는 용어를 쓰기는 어렵지만, Streamlit은 주로 데이터 애플리케이션에 특화된 파이썬 라이브러리입니다. 기본 목표는 웹 프로그래밍에 익숙하지 않은 데이터 분석가나 파이썬 개발자가 손쉽게 웹 페이지 상에서 분석 결과를 시각적으로 공유하고, 사용자 입력을 받아볼 수 있도록 하는 데에 있습니다.   Fl..

오늘은 파이썬 Flask 패키지를 설치하고, 이를 이용하여 간단한 웹 애플리케이션을 구현하는 방법에 대해 정리해 보겠습니다. 파이썬의 UI 구현에 대해 궁금하셨던 분들이라면 Flask에 대해 관심을 가질만할 거예요.  파이썬 Flask 프레임워크Flask는 파이썬으로 만든 '마이크로 웹 프레임워크'예요. 꼭 필요한 기능만 담고 있어서 배우기 쉽고, 원하는 대로 확장할 수 있어요. Flask를 사용하면 복잡한 설정 없이도 금방 웹 애플리케이션을 만들 수 있어요.     Hello, Flask! Flask로 첫 웹 애플리케이션을 만들어볼까요? 먼저, Flask를 설치해야 해요.명령 프롬프트나 터미널에서 이렇게 입력하세요.pip install flask 자, 이제 첫 번째 Flask 앱을 만들어 볼게요. 메모..

오늘은 파이썬의 웹앱 툴인 Flask Blueprint 기능에 대해 살펴보겠습니다. Flask 역시 파이썬에서 편리한 웹앱 개발 모듈이기는 하나 확장성이나 대규모 프로젝트에서는 뭔가 제한적인 상황이 있기도 한데요, 이를 극복하는 방법 중하나인 Blueprint에 대해 다뤄보겠습니다.  Flask Blueprint 사용 방법파이썬의 Flask는 작은 규모의 애플리케이션을 간단하고 빠르게 개발할 수 있는 것이 가장 큰 장점입니다. 사실 streamlit이라는 더 강력한 웹앱 툴이 있기는 하나 이는 너무 제약이 많은 반면 상당히 자유롭게 HTML이나 javascript까지 구성할 수 있는 Flask는 상당히 수준 높은 파이썬의 웹앱 도구라 할 수 있을 거예요. 그러나 프로젝트 규모가 커지거나, 여러 기능이 뒤..

가상현실(VR), 증강현실(AR), 혼합현실(MR)을 아우르는 확장현실(XR) 기술이 우리 일상에 점점 더 깊숙이 들어오고 있습니다. 애플의 비전 프로나 메타의 오라이언 등 상당히 많은 제품들이 상용화되어 있죠. 하지만 현재의 XR 기술은 주로 시각과 청각에 초점을 맞추고 있습니다. 영화관에서 3D 안경을 쓰고 영화를 보는 것처럼 말이에요.  가상현실(VR)의 한계와 다감각 XR 기술그런데 우리가 현실에서 경험하는 것은 단순히 보고 듣는 것에 그치지 않습니다. 촉각, 후각, 미각까지 모든 감각이 어우러져 우리의 경험을 만들어내죠. 그렇다면 XR 기술은 언제쯤 이런 모든 감각을 아우를 수 있을까요? 지금부터 그 가능성과 도전과제들을 살펴보겠습니다.    촉각 기술의 발전 XR 기술에서 촉각의 구현은 시각과..

오늘은 "파이썬 멀티스레딩과 GIL의 한계 그리고 대안"과 관련한 두 번째 이야기로 멀티프로세싱에 대해 정리해 보려 합니다. 지난 글에서도 GIL의 한계로 파이썬에도 멀티스레드가 불가하면 그 대안으로 멀티프로세싱과 비동기 프로그래밍을 언급한 바 있습니다. 오늘은 이제 두 가지 대안 중 하나인 멀티프로세싱에 대해 알아보겠습니다.  파이썬 멀티프로세싱멀티프로세싱은 간단히 말해 여러 프로세스를 동시에 실행하여 병렬 처리를 수행하는 방식입니다.멀티스레딩이 ‘하나의 프로세스 안에서 여러 실행 흐름(스레드)을 두는 것’이라면멀티프로세싱은 ‘프로세스 자체를 여러 개 띄우는 것’이라고 이해할 수 있습니다.프로세스마다 독립된 메모리 공간을 가지기 때문에, 하나의 프로세스가 다른 프로세스의 메모리에 직접 접근하기는 어렵지..

파이썬 프로그래밍을 하다 보면 멀티스레딩을 할 수 없어서 당황스러운 때가 있어요. 파이썬의 주요 특징이자 멀티스레드의 걸림돌인 GIL(Global Interpreter Lock)의 개념, 탄생 배경, 작동 원리, 성능 영향, 장단점 등을 살펴보고, 이러한 상황에서 멀티스레드의 대안은 무엇이 있는지까지 정리를 해 보도록 하겠습니다.  파이썬 멀티스레딩과 GIL의 한계  GIL이란 무엇인가?파이썬을 사용하다 보면 멀티코어 CPU 환경에서 멀티스레딩을 활용해도 기대만큼 성능이 오르지 않아 당황스러울 때가 있습니다. 그 이유 중 하나가 바로 GIL(Global Interpreter Lock)입니다. GIL은 파이썬 인터프리터가 한 번에 하나의 스레드만 파이썬 바이트코드를 실행할 수 있도록 제한하는 메커니즘입니다..

오늘은 ollama 플랫폼으로 생성한 모델의 한국어 능력 상태를 확인해 보고 한글 파인 튜닝을 위한 준비 작업의 세 번째 이야기로 데이터셋 확보 방법을 정리해 보려 합니다.한국어 파인 튜닝을 위한 준비 작업 먼저, 지난 글("파인 튜닝을 위한 준비 작업 #2 - GGUF 파일을 Ollama에 이식하기")에서 ollama 플랫폼으로 생성한 모델명은 "llama3.2-1b_gguf2ollama:latest" 이었습니다. 위 모델과 편리한 대화를 위해서 UI 화면은 Docker를 이용해 보겠습니다. Docker 설치 및 ollama와의 연동 방법에 대해서는 이전 글 ("Meta AI의 Llama3.1 다운로드 및 설치 방법 그리고 WebUI 2of2")에서 자세하게 설명했습니다.   한국어 능력 확인이제부터 ..