데이터 생명주기와 수집 — 크롤링에서 서버 구성까지

데이터

set(디스크에 고정된 정적 데이터셋) → frame(메모리에 올라온 DataFrame) → base(실행 중 상태가 계속 바뀌는 기준 객체) 순으로,

5~6강의 디스크↔메모리 두 칸이 런타임이라는 세 번째 칸으로 확장된 것입니다.

데이터

value는 불변(일련번호·규격처럼 안 바뀜), price는 가변(감가상각·잔여량처럼 계속 바뀜)입니다.

price들의 총합이 시스템의 '환경(Environment)'을 이루며 피드백 루프로 계속 갱신됩니다.

스스로 확인

set은 디스크(정적 데이터셋), frame은 메모리(DataFrame), base는 런타임(실행 중인 기준 객체)에 있습니다.

스스로 확인

"이 값은 시간이 지나도 안 바뀌는가(value), 계속 바뀌는가(price)"입니다.

스스로 확인

상태는 한 인스턴스의 price 값들의 집합이고, 환경은 모든 인스턴스 상태의 동적인 총합입니다.

스스로 확인

크롤링의 결과물은 전체 지도(링크 구조), 스크래핑의 결과물은 뽑아낸 값입니다.

스스로 확인

아이디어가 동작하는지 하나만 확인하는 것입니다. 완성도가 아니라 개념 검증이 목표입니다.

자주 하는 실수

수 GB에 달해 한 번 커밋되면 히스토리에 영구히 남습니다. .gitignore가 필수입니다.

자주 하는 실수

크롤링은 지도 그리기, 스크래핑은 값 뽑기로 다릅니다.

자주 하는 실수

차단 정책·저작권·개인정보를 반드시 확인해야 합니다.

자주 하는 실수

미국식으로는 거점·저장소·기준점입니다.

용어

비밀 키 접근을 한 곳으로 모은 시크릿 매니저입니다.

용어

한 줄에 JSON 객체 하나씩 적는 파일 형식입니다.

용어

시스템 설계에서 구조(토폴로지: 허브/스포크)와 의미(온톨로지: 클래스 분류)가 함께 쓰이는 다층적 설계이기 때문입니다.

종합

축 1(형태/의미)은 이 장 제목이자 반복되는 단어(시맨틱)의 정체이고, 축 2(밖에서 찾기/안을 고치기)는 비용·속도·위험을 좌우하는 이 단원의 가장 큰 결정이기 때문입니다.