뜻을 읽는 기계 — 시맨틱, 그리고 기억을 고칠 것인가 찾아올 것인가

시맨틱

둘 다 '형태가 아니라 뜻'을 가리키기 때문입니다.

웹에서는 <div>(형태만) 대신 <header>·<article>(뜻이 담긴 태그)를 쓰는 것이고, AI에서는 단어 일치가 아니라 의도(인텐트) 자체를 분류하는 것입니다.

RAG·파인튜닝

RAG는 오픈북 시험(필요할 때 자료를 찾아본다)에, PEFT/QLoRA는 요점정리 암기(중요한 부분만 추려 머릿속에 새긴다)에 대응됩니다.

밖에서 찾아올지 안을 고칠지의 선택입니다.

RAG·파인튜닝

Retrieve(관련 자료 검색) → Augment(그 자료를 프롬프트에 덧붙임) → Generate(그것을 근거로 답 생성)입니다.

모델이 기억에만 의존해 지어내는 대신 실제 문서를 근거로 답하게 해 환각을 줄입니다.

RAG·파인튜닝

모델이 학습을 통해 조정한 수억 개의 숫자, 즉 AI의 기억이 실제로 저장돼 있는 자리입니다.

Full Fine-Tuning은 가중치 전부를, PEFT/LoRA는 일부만, RAG는 가중치를 전혀 건드리지 않고 참고자료만 붙입니다.

RAG·파인튜닝

프롬프트 → RAG → 파인튜닝 순서입니다. 비용이 가장 싼 방법부터 시도하고, 프롬프트만으로 안 되면 RAG로, 그래도 안 되면(말투·형식 자체를 고정해야 하면) 파인튜닝으로 넘어갑니다.

실전

표준화된 어댑터 레이어(외부 도구를 일관된 방식으로 연결)와 TDD 기반 평가 루프(결과를 자동으로 검증하는 반복)입니다.

포트&어댑터 원리가 AI 에이전트 운영 차원으로 확장된 것입니다.

스스로 확인

둘 다 '형태가 아니라 뜻'을 기준 삼는다는 점이 같습니다. 태그는 HTML 구조에서, 인텐트는 AI 입력 해석에서 그 원리를 씁니다.

스스로 확인

class는 내가 지은 별명일 뿐이라 기계가 뜻을 모릅니다. 규격이 정한 이름(<header>)이어야 기계가 압니다.

스스로 확인

컨텍스트입니다. 요청이 끝나면 사라지고 다음에도 기억되지 않습니다.

스스로 확인

Retrieve(관련 자료 검색), Augment(프롬프트에 덧붙임), Generate(그것을 근거로 답 생성)입니다.

스스로 확인

검색된 청크입니다. 근거가 틀렸으면 검색 문제이지 모델 문제가 아닙니다.

스스로 확인

1~2% 정도입니다. 원본은 동결하고 소량의 보조망만 학습합니다.

스스로 확인

뉴런 사이 시냅스 결합 강도이며, AI의 기억이 실제로 저장돼 있는 자리입니다.

스스로 확인

Full FT는 전체를, PEFT는 일부(보조망)를, QLoRA는 양자화한 일부를 학습시키고, RAG는 가중치를 전혀 건드리지 않습니다.

스스로 확인

RAG입니다. 사실 정보는 암기(파인튜닝)가 아니라 검색으로 제공하는 것이 정확합니다.

스스로 확인

모델을 날것으로 쓰지 말고, 규칙 문서(가이드)와 검증 장치(센서)로 감싸라는 것입니다.

스스로 확인

표준화된 어댑터 레이어와 TDD 기반 평가 루프입니다.

스스로 확인

Failsafe는 고장 나도 안전한 방향으로 고장 나게 설계하는 것이고, Fallback은 주 경로가 막히면 대체 경로로 우회하는 것입니다.

자주 하는 실수

렌더링 결과·속도는 거의 같습니다. 바뀌는 것은 기계가 읽어낼 정보의 양입니다.

자주 하는 실수

내가 미리 넣어둔 저장소만 뒤집니다. 없는 건 영영 못 찾습니다.

자주 하는 실수

RAG는 기억이 아니라 컨텍스트입니다. 요청이 끝나면 사라집니다.

자주 하는 실수

파인튜닝은 사실 암기에 서툽니다. 사실은 RAG로 줘야 합니다.

자주 하는 실수

바뀌는 것은 주로 말하는 방식·형식입니다. 추론 능력 자체는 오르지 않습니다.

자주 하는 실수

적고 깨끗한 수백 건이 지저분한 수만 건보다 낫습니다.

자주 하는 실수

채점자가 독립적이어야 합니다. 채점자가 응시자면 채점이 아닙니다.

용어

PEFT(Parameter-Efficient Fine-Tuning)는 원본을 동결하고 소량의 보조망만 학습하는 방식이고, LoRA는 그 대표 기법(보조 신경망을 얹어 그것만 학습)입니다.

용어

4비트(NF4) 양자화 후 LoRA를 얹는 초경량 파인튜닝 기법입니다.

용어

새로 학습하다 기존 능력을 잃는 현상입니다.

용어

도메인 적응 학습은 그 분야의 말과 사고방식을 익히게 하는 것이고, 인스트럭션 튜닝은 지시를 받고 답하는 형식을 익히게 하는 것입니다.

용어

단일 GPU로 구동 가능한 소형 언어 모델입니다(small LLM).

용어

입력에 지시를 심어 시스템 지시를 무력화하려는 공격입니다.

용어

요청이 가장 먼저 도착해 어디로 보낼지 정하는 문의 역할을 합니다.

용어

환경이 다시 하위 객체 연산에 영향을 주는 순환 구조입니다.