본문 바로가기
개발 로그

[ AI ] 개인 GPT? ollama exaone설치

by OhEasy 2025. 6. 25.
728x90
SMALL

약 1달 전 ChatGPT 구독을 해지하고 Cursor로 갈아탔다. 이유는 GPT가 멍청해져서?

 

"믿었던 챗GPT가 환각률 48%라니...", 챗GPT 어쩌나

테크크런치 오픈AI 사내 벤치마크서 나온 환각율 보도챗GPT o3, 환각률 33%챗GPT o4미니는 48% 환각률 보여오픈AI " 더 많은 연구가 필요하다" [보스턴=AP/뉴시스] 챗GPT 개발사인 오픈AI 로고. /사진=뉴시

www.fnnews.com

기사도 그렇고 그냥 느낌만 멍청해졌다 느낀 것은 아닌가보다.
그러다보니 클로드도 쓸 수 있는 Cursor로 갈아 타게 되었고 약 1달이 된 지금까지는 만족할 수준이긴 했었다...
그러다 오늘 오랜만에 GPT를 들어가니 문제가 발생했는데

프로젝트가 사라졌다.
큰 문제가 아닐 것 같아보여도 문제인게... 아트 리소스도 GPT를 시켜서 생산했었다.

나름 잘 나왔던 이미지

사라진 프로젝트에는 지침 프롬프트가 있었고, 어디에서도 찾아볼 수 없게 되었다.
그러던 와중에 잘 쓰던 Cursor도 문제였는데,

시나리오 대량 생산

만들고 있는 게임이 많은 양의 에피소드들이 필요하기 때문에 Cursor를 써서 대량 생산에 성공했고,
실제로 게임 내 시스템에 맞는 데이터 형태까지로 변경 또한 완료를 했다.

 

[ChatGPT][Cursor] CSV 인코딩 방식 변경 - 엑셀 CSV 한글 깨짐

현재 진행 중인 프로젝트에는 방대한 양의 단편 에피소드가 필요한 상황이다.그렇기 때문에 IDE인 Cursor ai를 이리저리 잘 돌려서 많은 양의 에피소드들을 생성해 내고 있다.게임 내 데이터는 CSV

525easy.tistory.com

이 글도 커서로 만든 것을 변환하기 위해서였다.
대략적으로 계산해보니 설정 -> 데이터까지 100개의 에피소드를 약 하루(8시간)에 만들었으니...
퀄리티가 준수하다면 지금 쯤 버그 테스트나 하고 있었을 것이다.
하지만... 퀄리티는 매우 떨어졌다. 다른 사람들이면 모르겠지만 그냥 내 마음에 안들었다.

728x90

GPT 라이브러리

현재 제작 되어 있던 아트 리소스도 바꾸어야 할 것 같았고,
커서 - 클로드 4.0이 만든 대본들도 마음에 안들어서 멘탈이 나갔다.
결국 하드웨어가 고통 받겠지만 아트는 ComfyUI로 가려고 하는 와중...

 

Cursor - The AI Code Editor

Built to make you extraordinarily productive, Cursor is the best way to code with AI.

www.cursor.com

쓰고 있는 커서가 생각 났는데, Plus 플랜의 빠른 질문 500회는 생각보다 엄청 빨리 쓴다.
그러다보니 느린 무제한 답변을 경험하면... 결제를 할 수 밖에 없을 정도로 상대적으로 매우 느리다.
거기에 한글로 작업을 시켰는데, 이놈이 맞춤법 틀리게 하고 맞게 하고 이러면서 수정된 라인만 엄청 쌓였다.
결국 뭐 퀄리티도 떨어지고, 맞춤법도 엄청 틀리지만 빨랐다가 느렸다가 하는 PC에서만 사용 가능한... 그런 녀석이라
애매하다고 느껴지게 되었다.

 

14화 LLM을 로컬에서 실행할 수 있는 방법들

LMStudio , Ollama , HuggingFace ... | LLM(대규모 언어 모델)을 사용하여 작업을 하고 싶지만, Chat GPT나 Gemini는 돈이 많이 들기 때문에 사용하고 싶지 않는 게 현실입니다. 그렇다면 자연스럽게 생각나는

brunch.co.kr

그러다가 ComfyUI도 힘들지만 돌아가는데, LLM은 안될거 있나? 하는 생각이 들었다.
나름 경량화 된 모델들도 나왔으니 충분히 가능할거라 생각 되었다.

구글 잼민이

GPT에게 정이 개박살이 났기 때문에 구글 잼민이에게 물어보니 저 2가지를 추천해줬다.

 

LM Studio와 Ollama

하드웨어가 좋은 편은 아닌데, 저 두개를 추천해서 일단 다 받아봤다. 근데...
LM Studio는 설치하고 llama3을 돌리려고 하니
메모리는 99%를 찍고 전력 사용량은 매우 높음을 찍더니 컴퓨터가 맛이 갔다.
그래서 빠르게 포기


 

Ollama

Get up and running with large language models.

ollama.com

Ollama도 터지면 하드웨어 업그레이드를 진지하게 고민하던 도중

 

깡통 노트북에 가벼운 LLM 올려서 계엄사태 대비하기

0. 요약구형에다가 경량으로 디자인된 노트북에 대규모언어모델(LLM)을 올려보았습니다. ChatGPT같은 챗봇으로 소통하는 언어모델입니다. 이 글에서는 그 경험을 공유합니다.그 과정에서 LLM 경량

linguisting.tistory.com

어떤 분이 노트북으로 돌렸다고 하는 것을 발견했다.
가끔 카페 가서도 작업을 하기 때문에 노트북에서도 돌아간다면 매우 땡큐일 것 같았다.

 

삼성전자 갤럭시북3 프로 윈도우11 Pro i7 CPU 16GB 512GB 16인치 업무용 대학생용 노트북 - 노트북 | 쿠

쿠팡에서 삼성전자 갤럭시북3 프로 윈도우11 Pro i7 CPU 16GB 512GB 16인치 업무용 대학생용 노트북 구매하고 더 많은 혜택을 받으세요! 지금 할인중인 다른 노트북 제품도 바로 쿠팡에서 확인할 수 있

www.coupang.com

우선 내가 쓰는 노트북은 위 링크의 노트북이다.
회사 다닐 때 받은 복지포인트로 신나게 긁어버린 만 2년이 넘은 노트북이다.

Ollama 설치는 간단했는데

 

Ollama

Get up and running with large language models.

ollama.com

그냥 여기서 셋업 파일을 받은 뒤 설치해주면 된다.
중요한 것은 Path 설정 부분이 있을 건데, 이상하게도 체크가 안되어있으니 꼭 체크해줘야 한다.
끝나고 나면 좀 당황스러워지는데 흔히 생각하는 뭔가의 창이 뜬다던가 하는 것은 없었다.
최초 1회에만 파워쉘이 실행 되었는데 모르고 그냥 꺼버렸다.

작업표시줄

이후 뭐 이렇게 실행되고 있다고 뭔가 몰래 떠있는데, 실제로 구동을 하려면 모델을 설치해줘야 한다.
Ollama의 경우 설치가 별거 없어서 다른 사람들 글 찾아보면 엄청 잘 설명이 되어있었다.
근데 문제가 이놈들이 이름부터 그렇듯이 최초로 Llama를 설치하라고 하는데,
LM Studio에서 터진 모델이 Llama3이라서 설치하고 싶지 않았다.

그리고 Llama나 Deepseek 같은 경우 인기는 많은데, 번역이 잘 안된다?라는 평가를 발견했다.
그래서 선택한 모델이 exaone이다.

 

LG AI Research EXAONE

LG AI Research's expert-level large language model for professional use

www.lgresearch.ai

K인 LG가 공개한 모델이고, 마케팅은 못해도 기술이 뛰어난 LG기도 하고,
위의 링크에서도 엑사원을 썼는데 한국어 응답이 다른 모델보다 낫다는 부분이 있다.
영어로 번역기 돌리면서 막 쓸 수 없기에 K인 엑사원을 선택했다.

모델의 경우 Ollama에서 모델을 누른뒤 검색하면 나오는데 Deep을 선택했다. (근데 3.5가 한국어 잘하는 거였다...)
모델을 들어가면 옆에 붙어있는 코드를 복사하고 커맨드에서 실행 시키면 된다.

ollama run exaone-deep

설치가 안되었어도 위 명령어면 설치부터 실행까지 되니까 신경 안써도 된다.

728x90
LIST

댓글