Train·Test 분할과 클라우드의 관리 범위

머신러닝

데이터 누수(data leakage)가 일어나 모델이 답을 외워서 맞히는 것처럼 되어, 실제 성능을 부풀려 평가하게 되기 때문입니다.

시험지(X_test)와 정답지(y_test)는 채점 전까지 분리되어야 합니다.

인프라

'어디까지 내가 관리하는가'입니다. IaaS는 하드웨어만 빌리고 나머지는 내가 관리, PaaS는 실행 환경까지 제공되고 코드만 올림, SaaS는 완성된 서비스를 그냥 씁니다.

스스로 확인

데이터 누수(Data Leakage)가 일어나 실제 성능이 부풀려지기 때문입니다.

스스로 확인

참가자가 직접 예측해서 제출하게 하려는 것이라, 정답(Survived)을 감춰야 시험이 성립하기 때문입니다.

스스로 확인

누가 OS·런타임까지 관리하는가입니다. IaaS는 하드웨어만, PaaS는 그 위 실행 환경까지 제공됩니다.

스스로 확인

프롬프트는 틀려도 뭔가를 만들어내고, 커맨드는 문법이 틀리면 실행되지 않으며, 서치는 결과가 없으면 빈 목록을 돌려줍니다.

자주 하는 실수

데이터 누수가 있으면 점수만 올라갑니다.

자주 하는 실수

순서가 반대입니다. 먼저 나누고 전처리해야 합니다.

자주 하는 실수

발전 단계가 아니라 선택지입니다. 관리 부담과 통제력의 트레이드오프입니다.

자주 하는 실수

Ollama는 런타임(플랫폼)이고, 모델은 그 위의 내용물입니다.

용어

학습 데이터는 잘 맞히지만 새 데이터는 못 맞히는 상태입니다.

용어

제출 전 자체 채점·튜닝에 쓰는 데이터입니다.

용어

학습 70~80%, 시험 20~30%입니다.

용어

모델의 판단 근거를 사람이 이해할 수 있는 정도입니다.

용어

How loop는 어떻게 만드는가(에이전트가 반복), Why loop는 왜 만드는가(사람이 검토)입니다.

용어

실패하는 테스트를 먼저 쓰고 통과시키는 코드를 쓰는 개발 방법론입니다.

용어

모델이 근거 없는 내용을 사실처럼 생성하는 현상입니다.

용어

하드웨어부터 전부 직접 보유·관리하는 인프라 형태입니다.

용어

완성된 소프트웨어 자체를 제공하는 클라우드 모델입니다.

용어

한국어 형태소 분석·토큰화 도구입니다.

종합

LSP는 데이터 객체에, OCP는 제어 컴포넌트에 붙는다는 것입니다.