로컬 LLM

지도 위치 : 1일차 · 출발점 · 다섯 층 전체 개관 | 다음: 2차시 LLM 구조와 추론 원리 키워드 : 생성형 AI와 LLM 개념, 오픈소스 LLM과 상용 LLM 비교, 로컬 LLM의 필요성, 온프레미스 · 폐쇄망 환경

이 차시를 다 읽으면

1. LLM을 유와 종차로 정의하고, LLM이 하는 단 하나의 동작 을 말할 수 있다.
2. "오픈소스 LLM"이라는 말이 왜 정확하지 않은지 설명할 수 있다.
3. 로컬 LLM과 상용 LLM을 네 개의 독립된 축 으로 갈라 비교할 수 있다.
4. 로컬 LLM을 도입하는 이유와, 로컬이 맞지 않는 경우를 댈 수 있다.
5. 온프레미스와 폐쇄망이 서로 다른 축이라는 것을 설명하고, 폐쇄망에서 달라지는 작업 세 가지를 말할 수 있다.

---

0. 이 차시의 판별 축

⚠️ 네 축은 자주 같이 붙어 다니지만 서로 독립 입니다. "작은 모델이니까 당연히 로컬"이 아니라, "작은 모델은 로컬에 올릴 수 있는 선택지가 생긴다 "가 정확한 문장입니다. 큰 공개 가중치 모델을 클라우드에서 빌려 돌릴 수도 있고, 작은 모델을 API로만 제공하는 회사도 있습니다.

---

1. 생성형 AI와 LLM — 무엇에 속하는가

1.1 정의

생성형 AI (Generative AI) — [AI]인데, [ 새로운 콘텐츠(글 · 그림 · 소리)를 만들어 낸다 ]는 점에서 분류 · 예측만 하는 판별형 AI와 구별된다.

LLM (대규모 언어 모델, Large Language Model) — [생성형 AI]인데, [ 대량의 글로 학습해 다음 토큰을 예측하는 방식으로 글을 만든다 ]는 점에서 이미지 생성 모델과 구별된다.

SLM (소형 언어 모델, Small Language Model) — [언어 모델]인데, [ 파라미터 수가 작아 GPU 한 장짜리 서버에서도 돌릴 수 있다 ]는 점에서 LLM과 구별된다. ⚠️ "성능이 낮은 모델"이라는 뜻이 아닙니다. 크기 축과 성능 축은 다릅니다.

포함 관계로 놓으면 이렇습니다.

AI ⊃ 머신러닝 ⊃ 딥러닝 ⊃ 생성형 AI ⊃ 언어 모델(LLM · SLM)

이 과정에서는 편의상 SLM까지 포함해 LLM 이라고 부릅니다. 실습 모델(80억 파라미터)은 엄밀히는 SLM 쪽입니다.

1.2 LLM이 하는 단 하나의 동작 ⭐

지금까지의 글 다음에 올 토큰(글 조각)은 무엇인가? — 이것을 반복합니다.

요약 · 분류 · 번역 · 대화는 모두 이 한 가지 동작을 프롬프트(입력 문장)로 유도해서 얻는 결과입니다. LLM 안에 "요약 기능"이나 "분류 기능"이 따로 들어 있지 않습니다.

앞으로 다시 만납니다 — 이 사실이 29차시(Structured Output)에서 중요해집니다. "정해진 분류값 중 하나만 내라"는 요구도 결국 다음 토큰 예측이라서, 형식이 깨질 수 있습니다. 그래서 형식을 강제하는 장치가 따로 필요합니다.

1.3 반례 — 이건 LLM이 아닙니다

마지막 반례는 이 과정 전체의 구조와 같습니다. 23일차에 LLM 자체를 돌리고, 45일차에 그 바깥에 서비스를 붙입니다. LLM은 엔진이고, 서비스는 그 엔진을 탑재한 차 입니다.

---

2. 오픈소스 LLM과 상용 LLM

2.1 ⚠️ 번역어 함정 — "오픈소스 LLM"

흔히 "오픈소스 LLM"이라 부르지만, 정확한 이름은 공개 가중치 모델(Open-Weights Model) 인 경우가 대부분입니다.

공개 가중치 모델 — [언어 모델]인데, [ 가중치 파일을 내려받아 내 장비에서 실행할 수 있다 ]는 점에서 API로만 쓸 수 있는 비공개 모델과 구별된다.

2.2 비교 — 한 표에 섞지 말고 축으로 가르기

흔히 보는 "로컬 vs 상용" 비교표는 여러 축을 한 줄에 섞어 놓습니다. 0절의 축으로 갈라 보면 이렇습니다.

---

3. 로컬 LLM이 필요한 경우

3.1 다섯 가지 이유

⭐ 이유 1과 2가 실무에서 결정타 입니다. 이유 1은 법의 문제 입니다. 개인정보가 담긴 문서를 외부 API에 그대로 보내는 순간, 그것은 "편한 방법"이 아니라 "유출"입니다. 이유 2는 회계의 문제 입니다. 사용량 기반 과금은 서비스가 성공할수록 비용도 같이 커지므로, 예산을 미리 정해야 하는 조직에서는 그 자체가 위험입니다.

3.2 반례 — 로컬이 맞지 않는 경우

⭐ 실전 조합 : 민감한 데이터의 전처리 · 분류는 로컬 모델로 하고, 민감 정보를 지운 뒤 어려운 최종 판단만 상용 모델에 맡기는 방식도 있습니다. "전부 로컬"도 "전부 상용"도 정답이 아닙니다.

---

4. 온프레미스와 폐쇄망

4.1 정의와 경계

온프레미스 (On-Premises) — [인프라 운영 방식]인데, [ 우리 건물(구내) 안의 장비에서 직접 운영한다 ]는 점에서 남의 데이터센터를 빌려 쓰는 클라우드와 구별된다.

⚠️ 번역어 함정 — premises는 "전제"가 아니라 "건물 · 구내" 입니다. on-premises = 우리 건물 안에서 . 인터넷 연결 여부와는 무관합니다.

폐쇄망 (Air-gapped Network) — [네트워크 구성]인데, [ 외부 인터넷과 물리적 · 논리적으로 차단되어 있다 ]는 점에서 일반 사내망과 구별된다.

⚠️ 두 축은 독립 입니다. "온프레미스 = 오프라인"이 아닙니다. 공공기관 · 금융권의 업무망이 대표적인 폐쇄망입니다.

4.2 폐쇄망에서 달라지는 것

평소에는 인터넷에서 받아 오던(pull) 것들이 전부 반입 절차 가 됩니다. 축 ④ 로컬 ↔ 원격에서, 원격 쪽이 끊긴 상황입니다.

💡 모델 하나가 수 GB ~ 수십 GB입니다. 반입 승인 절차가 있는 조직이라면 며칠 걸릴 수 있으니 가장 먼저 시작하세요.

---

5. 실습 — 맡기고 검수하기

이 차시는 판단의 영역입니다. AI는 조사 보조 로 씁니다.

지시

우리 업무(고객 문의 요약 · 분류 · 정보 추출, 한국어)에 쓸 수 있는 공개 가중치 LLM 후보를 5개 추천해줘.
[모델 이름 | 개발사 | 크기 | 라이선스 | 상업적 사용 조건 | 한국어 지원 언급 | Hugging Face 주소] 표로.
크기와 라이선스는 반드시 모델 카드 원문을 근거로 쓰고, 확인하지 못한 칸은 "확인 필요"라고 써.
추측으로 채우지 마.

받을 증거

• 각 모델의 Hugging Face 주소 (모델 카드 = 모델 설명 페이지, 4차시)

내가 직접 볼 것

💡 지시의 마지막 줄 "추측으로 채우지 마"는 넘으면 안 되는 선을 미리 그어 두는 장치 입니다. 이런 장치를 가드레일 이라고 부릅니다. 형식(표)은 지시로 정하고, 내용의 진위는 사람이 확인합니다.

---

부록 A. 스스로 확인하기

부록 B. 자주 하는 실수

부록 C. NotebookLM 복습 프롬프트

이 1차시 노트만 근거로 5문제를 내줘. 비전공자 기준으로.
"오픈소스 LLM이라는 말의 함정", "로컬 vs 상용을 축으로 가르기", "온프레미스와 폐쇄망"은 반드시 포함해줘.
답은 내가 답한 다음에 채점하고, 틀린 이유를 노트의 절 번호를 근거로 설명해줘.