로컬 LLM

지도 위치 : 3일차 · 정산 — ③추론 엔진 층의 두 어댑터 비교 | 이전: 23차시 vLLM 서버 성능 최적화 | 다음: 25차시 로컬 LLM API 애플리케이션 키워드 : 동일 모델의 응답속도, 처리량, 메모리 비교 및 활용 목적 분석

이 차시를 다 읽으면

1. "Ollama는 간편한 로컬 실행, vLLM은 고성능 서빙"이라는 흔한 요약( 같은 층, 다른 목적 )을 유와 종차, 그리고 축 으로 다시 쓸 수 있다.
2. "동일 모델"을 비교한다면서 형식이 다른 모델을 비교하는 함정 을 알고, 조건을 맞출 수 있다.
3. 응답 속도 · 처리량 · 메모리 · 품질을 재는 비교 실험 을 설계하고 결과표를 채울 수 있다.
4. 예상되는 차이를 "경향" 으로 말하고, 결론은 측정으로 내릴 수 있다.
5. 활용 목적 매트릭스 로 상황마다 엔진을 고를 수 있다.
6. "개발은 Ollama, 운영은 vLLM"이 20차시의 포트 덕분에 가능하다는 것을 설명할 수 있다.

---

0. 이 차시의 판별 축

두 엔진을 비교할 때 흔히 듣는 결론은 한 줄입니다. "처음에는 Ollama로 시작하고, 여러 사람이 동시에 쓰는 순간 vLLM을 검토 한다." 1.1의 표처럼 짧게 요약되곤 합니다. 3일차 앞의 일곱 차시(17~23)가 그 문장의 근거였고, 이 차시는 그것을 내 장비의 숫자 로 확인하고 정산합니다.

---

1. 흔한 요약을 다시 쓰기

1.1 흔히 쓰는 요약 표

1.2 유와 종차로

Ollama — [로컬 LLM 실행 도구(엔진 + 모델 관리 + 서버)]인데, [ 설치 · 모델 받기 · 실행을 명령 한 줄로 묶고, GGUF 양자화 모델을 Mac · CPU · GPU 어디서든 가볍게 돌리는 데 맞춰져 있다 ]는 점에서 vLLM과 구별된다.

vLLM — 18차시 1.1대로 [LLM 추론 엔진 겸 서빙 프레임워크]인데, [ PagedAttention과 연속 배칭으로 동시 처리량을 높이는 데 특화 ]되었다는 점에서 Ollama와 구별된다.

"같은 층, 다른 목적"을 이 말로 바꿀 수 있습니다. 유(類)가 같고 (③추론 엔진 층, 20차시의 어댑터) 종차가 다르다. 유가 같아서 갈아끼울 수 있고, 종차가 달라서 자리가 다릅니다.

1.3 축으로 다시 쓴 표

---

2. ⚠️ 공정한 비교의 함정 — "동일 모델"이 사실 다르다

2.1 함정 표

ollama pull qwen3:8b와 vllm serve Qwen/Qwen3-8B는 이름이 같아 보이지만, 그대로 비교하면 엔진이 아니라 모델 형식을 비교 하게 됩니다.

⭐ 엔진을 비교하려면 엔진 말고는 전부 같아야 합니다. 22차시 2.1의 "한 번에 하나만 바꾼다"를 엔진에 적용한 것입니다.

2.2 메모리는 무엇을 비교하나

메모리 비교의 질문은 "누가 더 많이 잡나"가 아니라 "같은 동시성 · 같은 컨텍스트를 감당하는 데 얼마가 필요한가" 입니다.

---

3. 비교 실험 설계와 결과표

3.1 무엇을 재나

3.2 결과표 양식 — 직접 채웁니다

측정 일시:          GPU:            입력: 실제 문의 세트(___건), max_tokens ___, temperature 0
Ollama: 버전 ___ / 태그 ___ / 양자화 ___ / num_ctx ___ / 동시 처리 설정 ___
vLLM:   버전 ___ / 모델 ___ / 형식 ___ / 기동 명령(원문) ___
클라이언트: 같은 /v1 스크립트 (22차시 3.2)     생각 모드: 둘 다 끔 (방법: ___)

---

4. 예상되는 경향 — "경향"으로만 말하기

아래는 가설 입니다. 결론은 3.2의 표로 냅니다.

⚠️ 0절 축 2를 섞으면 "Ollama가 더 빠르다"와 "vLLM이 더 빠르다"가 둘 다 참 일 수 있습니다. 앞 문장은 한 건의 시간 , 뒤 문장은 전체 처리량 의 이야기입니다. README 5.1에서 축 ⑥에 붙여 둔 경고, "비동기는 빠른 게 아니다. 처리량이 늘어나는 것이다" 와 같은 구조입니다(21차시 3.3). 비교 결과를 말할 때는 어느 축의 숫자인지 를 붙입니다.

---

5. 활용 목적 매트릭스

                    하드웨어 →   Mac · CPU · 작은 GPU          NVIDIA GPU 서버 (Linux)
  사용자 수 ↓                  ┌────────────────────────────┬────────────────────────────┐
  1인 · 소수 (개발 · 실험)      │  Ollama / llama.cpp         │  Ollama (편의) · vLLM 가능   │
                              ├────────────────────────────┼────────────────────────────┤
  다수 (사내 서비스)            │  하드웨어부터 다시 (16차시)   │  ⭐ vLLM                    │
                              └────────────────────────────┴────────────────────────────┘

⚠️ 반례 — "vLLM이 더 고급이니 처음부터 vLLM." ❌ README 5.1의 경고, "어느 쪽도 발전된 형태가 아니다. 규모와 실패 비용이 답을 정한다" (17차시 3.2의 모놀리식 ↔ MSA에서 본 것)가 엔진 선택에도 그대로입니다.

---

6. 개발은 Ollama, 운영은 vLLM — 20차시의 포트 덕분에

앱 코드는 LLMPort 하나만 압니다(20차시 1.5). 안쪽(업무 로직)이 약속(포트)에만 의존하고, 엔진은 바깥에서 그 약속을 지키는 어댑터이기 때문입니다(20차시 1.1). 그래서 엔진이 바뀌어도 .env만 바뀝니다. README 7장 문장 3이 실제로 쓰이는 모습이고, 0절 아래의 한 줄 결론("Ollama로 시작하고 여러 사람이 쓰는 순간 vLLM")이 코드 재작성 없이 가능한 이유입니다.

⚠️ 단, 세 가지는 넘어갈 때 다시 확인합니다.

---

7. 3일차 정리 → 4일차 예고

README 1.1 표의 3일차 산출물 "vLLM 서버, 성능 측정표, Ollama와 비교" 가 이것으로 갖춰졌습니다.

앞으로 다시 만납니다 — 4일차는 다섯 층의 맨 위 ⑤ 애플리케이션 층 입니다. 25차시는 20차시의 LLMPort 위에 문의봇 API를 세우고, 26차시는 stream: true(20차시 2.3)를, 27차시는 무상태 API 위의 대화 (21차시 4.2)를, 29 · 30차시는 엔진마다 지원이 갈리던 구조화 출력과 도구 호출(20차시 4.2)을 다룹니다.

---

8. 실습 — 맡기고 검수하기

지시

같은 GPU에서 Ollama와 vLLM을 공정하게 비교해줘.
맥락: ollama show 출력, Ollama 모델 페이지(태그 목록), Hugging Face 모델 카드, vLLM 문서를 근거로.
제약:
- 정밀도를 맞출 것: 먼저 ollama show qwen3:8b로 양자화를 확인하고, 비교 쌍을 두 개 제안해서 내 승인을 받을 것
  (예: Ollama 4bit ↔ vLLM AWQ 4bit / Ollama 고정밀 태그 ↔ vLLM BF16). 없는 태그·저장소 이름을 지어내지 마.
- 컨텍스트 8192, max_tokens 200, temperature 0, 생각 모드 끔(엔진별 방법을 문서에서 확인해 적을 것).
- 두 엔진을 동시에 띄우지 말 것. 전환 전후 nvidia-smi로 확인.
- 클라이언트는 22차시의 /v1 비동기 스크립트 하나로, base_url과 model만 바꿔서.
할 일: 24차시 3.2 결과표를 채우고, 평가셋(첨부 50건) 분류 정확도도 두 엔진으로.
보고 형식: 3.2의 조건 기록 + 결과표 + 각 칸의 출력 원문 위치.
"어느 쪽이 빠르다"는 결론은 쓰지 말고, 축(한 건 / 처리량)별로 숫자만 나란히 보여줘.
추측하지 말고 실행 출력 원문을 붙여.

받을 증거

• ollama show 출력 원문 (양자화 확인), vLLM 기동 명령 · 로그 원문
• 두 엔진의 측정 출력 원문, 평가셋 채점 결과
• 전환 전후 nvidia-smi

내가 직접 볼 것

---

부록 A. 스스로 확인하기

부록 B. 자주 하는 실수

부록 C. NotebookLM 복습 프롬프트

이 24차시 노트만 근거로 6문제를 내줘. 비전공자 기준으로.
"동일 모델 비교의 함정", "nvidia-smi 메모리 비교가 무의미한 이유", "한 건의 시간과 처리량 축을 섞으면 생기는 모순", "개발은 Ollama 운영은 vLLM이 가능한 이유"는 반드시 포함해줘.
답은 내가 답한 다음에 채점하고, 틀린 이유를 노트의 절 번호를 근거로 설명해줘.