형식이 맞는가, 뜻이 맞는가

부모 축

구문론(Syntax)은 형식이 맞는가(키워드가 일치하는가), 의미론(Semantics)은 뜻이 맞는가(문맥적으로 같은 의도인가)를 묻습니다.

규칙 기반/정책 기반, 무상태/상태 유지, 벡터 DB/그래프 DB 등 이 장의 나머지 모든 축이 이 부모 축에서 파생됩니다.

온프레미스

데이터를 회사 밖(외부 API)으로 내보내지 않아도 되고, 특정 용도에 맞게 통제하기 쉬우며, 외부 API 요금 없이 계속 쓸 수 있고, 필요에 맞춰 직접 조정할 수 있기 때문입니다 — 회사 안으로 모델을 들이는 선택입니다.

AI 개념

1~2강에서 배웠듯 딥러닝은 두뇌(방법론), 에이전트는 그 두뇌를 탑재해 행동하는 몸(시스템)이라, 같은 층위에서 경쟁하는 관계가 아니라 서로를 포함하는 층 관계이기 때문입니다.

임베딩

인코딩은 형식만 바꾸는 변환(글자를 숫자로)이라면, 임베딩은 뜻을 좌표(벡터)로 바꾸는 것이라 의미가 가까운 것끼리 좌표도 가까워집니다.

King − Man + Woman ≈ Queen 같은 연산이 성립하는 이유가 이 '뜻의 좌표화' 때문입니다.

임베딩

'유사도인가 관계인가'입니다. 벡터 DB(pgvector 등)는 얼마나 비슷한가를 좌표 거리로 재고, 그래프 DB(Neo4j 등)는 무엇이 무엇과 어떻게 이어지는가를 선(엣지)으로 표현합니다.

GraphRAG는 이 둘을 합쳐 유사도와 관계를 함께 활용합니다.

AI 개념

규칙 기반(If-Then)은 정해진 조건에 따라 결정론적으로 판단하고, 정책 기반(목적함수·보상)은 확률적으로 최적을 찾아갑니다.

실무에서는 가드레일 같은 확실한 것은 규칙으로, 유연한 판단이 필요한 것은 정책으로 나눠 배치합니다.

임베딩

Query는 '내가 지금 무엇을 찾고 있는가'를 묻고, Key는 각 단어가 '나는 이런 정보를 갖고 있다'고 답하며, Value는 그 매칭 정도에 따라 실제로 가져올 내용입니다.

이 상호작용으로 문맥에 따라 뜻이 달라지는 것을 계산합니다.

스스로 확인

데이터를 외부로 안 보냄, 용도에 맞게 통제, 외부 API 요금 없음, 필요에 맞춰 직접 조정 가능이라는 네 가지입니다.

스스로 확인

파라미터 70억 개 × 정밀도(대략 2바이트) ≈ 14GB에 추론 오버헤드를 더하면 16GB 안팎이 필요해집니다.

스스로 확인

메모리를 줄이는 대신 가중치의 정밀도(소수점 자릿수)를 잃습니다.

스스로 확인

방법론인가 시스템인가(무엇으로 만들어졌나 vs 무엇을 할 수 있나), 그리고 판단의 주체가 누구인가입니다.

스스로 확인

화살표 함수는 페널티 에어리어(무상태), 클로저는 넓은 필드(상태 유지)에 놓입니다.

스스로 확인

인코딩은 거리에 의미가 없는 식별용 숫자 변환이고, 임베딩은 거리 자체가 의미(유사도)를 담는 변환입니다.

스스로 확인

임베딩 공간에서 단어의 좌표가 의미를 반영하기 때문에, 성별이라는 방향으로의 벡터 이동이 같은 관계의 다른 단어로 이어지기 때문입니다.

스스로 확인

둘 다 정확도(전수 검색 대비)를 일부 희생하고 속도를 얻는 근사 최근접 이웃(ANN) 알고리즘입니다. HNSW는 계층 그래프, IVF는 구역 분할로 탐색 범위를 줄입니다.

스스로 확인

관계 자체를 값처럼 저장·전달·질의할 수 있다는 뜻입니다. 관계형 DB에서는 관계가 조인으로만 표현되는 것과 다릅니다.

스스로 확인

유사도만으로는 답할 수 없는, 여러 단계를 거쳐야 하는 관계형 질문(Multi-hop Reasoning)에 그래프의 연결 구조가 필요하기 때문입니다.

스스로 확인

규칙 폭발(Rule Explosion)입니다. 예외가 늘며 규칙 수가 기하급수적으로 증가합니다.

스스로 확인

유연한 판단(정책)으로 방향을 정한 뒤, 절대 넘으면 안 되는 최종 경계(규칙·가드레일)로 검증하는 순서가 안전하기 때문입니다.

스스로 확인

형식이 맞는지만 확인됐다는 뜻입니다. 뜻(의미론)이 맞는지는 별개의 문제입니다.

스스로 확인

Query는 '내가 무엇을 찾는가', Key는 '나는 이런 정보를 갖고 있다', Value는 매칭 정도에 따라 실제로 더해질 내용입니다.

스스로 확인

원래 정보를 버리지 않고, 문맥의 영향을 가중치로 더해 의미를 조정하기 때문입니다.

자주 하는 실수

크기 축과 성능 축은 다릅니다. 도메인 특화 시 충분한 정확도를 낼 수 있습니다.

자주 하는 실수

건물·구내라는 뜻입니다. '우리 건물 안에서'라는 말입니다.

자주 하는 실수

상한을 정하는 것은 VRAM 용량입니다.

자주 하는 실수

RAG의 목적은 환각 방지와 최신성 확보입니다.

자주 하는 실수

층위가 다릅니다. 에이전트 안에 딥러닝이 있습니다.

자주 하는 실수

도구 사용 + 피드백 루프가 없으면 한 번의 추론일 뿐입니다.

자주 하는 실수

그건 인코딩입니다. 임베딩은 거리에 뜻이 담겨 있습니다.

자주 하는 실수

축이 다릅니다. 유사도와 관계는 서로 다른 질문입니다.

자주 하는 실수

RAG는 검색 결과를 프롬프트에 넣는 방식이고, 저장소(벡터 DB 등)는 선택지 중 하나일 뿐입니다.

자주 하는 실수

법·안전 검증은 규칙이어야 합니다. 쓰이는 자리가 다를 뿐입니다.

자주 하는 실수

마지막에 둬야 최종 출력의 검증을 보장합니다.

자주 하는 실수

토큰은 규칙에 따른 분절 단위로, 단어보다 작을 수도 클 수도 있습니다.

용어

SLM(Small Language Model)은 파라미터가 작아 단일 서버·GPU에서 구동 가능한 모델이고, LLM(Large Language Model)은 파라미터가 매우 큰 대규모 언어 모델입니다.

용어

데이터 주권을 자체 보유하는 AI 운영 관점입니다.

용어

vLLM은 고성능·고처리량 서빙에 특화되고, Ollama는 로컬에서 명령 한 줄로 모델을 받고 실행합니다.

용어

결과를 확인해 스스로 경로를 수정하는 에이전트 루프입니다.

용어

두 벡터의 방향 일치도로 유사도를 재는 방법입니다.

용어

값처럼 저장·전달·질의할 수 있는 대상입니다.

용어

is-a는 상속('~는 ~의 한 종류다'), part-of는 부분-전체('~는 ~에 속한다')를 나타냅니다.

용어

무엇을 최대·최소화할지 정의한 수식입니다.

용어

현실 대상을 가상 공간에 복제한 시뮬레이션 모델입니다.

용어

여러 어텐션을 병렬로 돌려 다각도 관계를 포착하는 구조입니다.

용어

어텐션을 핵심으로 하는 신경망 구조입니다.

종합

구문론(형식) ↔ 의미론(뜻) 축 하나로 나머지 네 축(규칙/정책, 무상태/상태, 벡터/그래프 DB, 관리 주체)이 전부 파생되기 때문입니다.