IBM * 레드햇 AX 과정 · 7기

저는 문서와 정형·시계열 데이터를 함께 다루는 업무 자동화 AI 에이전트 플랫폼을 직접 설계하고 구현했습니다. 단순히 LLM을 호출하는 데서 끝나지 않고, 어떤 에이전트가 어떤 순서로 일하고, 무엇을 기억하며, 실패하면 어떻게 복구할지를 실행 구조 차원에서 설계하는 데 집중했습니다.

에이전트 실행 구조 설계

사용자 요청을 의도 분류, 정보 검색, 데이터 조회, 응답 생성의 세부 작업으로 나누고, LangGraph의 StateGraph로 Supervisor–Worker 구조의 멀티스텝 워크플로우를 구성했습니다. 노드별 상태를 명시적으로 정의해 분기·재시도·Human-in-the-loop 지점을 설계했고, Checkpointer로 Stateful 오케스트레이션을 구현해 중단된 작업도 이어서 실행할 수 있게 했습니다. 같은 시나리오를 OpenAI Agents SDK와 Claude Agent SDK로도 구현해 비교하며, 프레임워크별 핸드오프 방식과 제어 수준의 차이를 파악했습니다.

LLM 동작 제어와 외부 시스템 연동

Function Calling과 Tool Use로 DB 조회, 사내 API 호출, 문서 검색을 도구화했고, MCP 서버를 직접 구축해 데이터 소스를 표준 인터페이스로 연결했습니다. 모든 LLM 출력은 Structured Output과 Pydantic 스키마로 받아 파싱·검증하고, 검증 실패 시 재프롬프트 → 폴백 모델 → 안전 응답 순으로 처리하는 실패 처리 로직을 구현해 비정상 응답이 서비스로 흘러가지 않도록 했습니다.

RAG 검색 파이프라인 (Vector + Graph)

Milvus 기반 벡터 검색과 Neo4j 기반 그래프 검색을 결합한 하이브리드 RAG를 구축했습니다. 문서 유형(매뉴얼, 보고서, 표 중심 문서 등)별로 청킹 전략을 달리하고, 메타데이터에 부서·권한 정보를 넣어 검색 단계에서 권한 필터를 적용했습니다. 엔티티와 관계는 그래프로 적재해, 벡터 유사도만으로는 놓치는 연결 관계를 질의할 수 있게 했습니다. 설비 센서의 시계열 데이터는 PostgreSQL에 저장하고 조회 도구로 노출해, 문서 지식과 실측 데이터를 함께 근거로 답하는 구조를 만들었습니다.

비동기 처리와 백엔드

대용량 문서 인덱싱과 장시간 에이전트 작업은 RabbitMQ 기반 비동기 Job으로 분리하고, 작업 완료 시 콜백으로 결과를 전달하도록 설계했습니다. API 서버는 FastAPI로 구현했으며, 모든 엔드포인트를 OpenAPI 명세 기반으로 먼저 정의한 뒤 구현하고, 구현 후 명세와 연동 규격 문서를 갱신하는 것을 개발 과정의 일부로 운영했습니다. 서비스 전체는 Docker로 컨테이너화해 AWS EC2 환경에 배포했습니다.

비용·속도 최적화

세션·컨텍스트·메모리를 단기(대화 이력 요약), 장기(사용자·업무 메모리) 계층으로 나눠 관리했고, 프롬프트 캐싱과 컨텍스트 압축, 작업 난이도에 따른 모델 라우팅(경량 모델 ↔ 고성능 모델)을 적용해 LLM 비용을 약 [N]%, 평균 응답 시간을 약 [N]% 줄였습니다.

평가와 품질 관리

실제 질의 기반 평가셋을 만들고 정확도, 근거 문서 적중률, 도구 호출 성공률 등의 지표로 버전별 성능을 비교했습니다. 실패 사례는 검색 실패, 도구 선택 오류, 출력 형식 오류로 분류해 원인별로 개선했습니다. 기능 단위로는 pytest로 단위·통합 테스트를 작성했고, Git 브랜치 전략과 코드 리뷰 기반으로 협업했습니다.

실전 교육 경험을 통해, 모르는 것은 추측으로 메우지 않고 문서와 코드로 확인한 뒤 구현하는 습관을 갖게 되었습니다. 이 프로젝트에서 쌓은 에이전트 설계, RAG, 비동기 아키텍처 경험을 바탕으로 팀의 AI 에이전트 실행 구조를 빠르게 이해하고 기여하겠습니다.