개요
금융 IT 현장에서 RAG를 도입할 때 가장 어려운 것은 ‘어떤 방식이 우리 데이터에 맞는가’를 판단하는 일입니다. 이 과정은 하나의 고정 평가셋 위에서 통째 넣기 → 하이브리드 RAG → 에이전틱 검색 → llm-wiki → 멀티 에이전트까지 다섯 가지 방식을 직접 구현하고, 점수와 비용으로 비교하도록 설계했습니다.
각 방식은 금융권 필수 조건인 출처 · 권한 · 현행성 · 측정 4가지 기준으로 판정해, 수강생이 사내 도입 시 그대로 쓸 수 있는 판단 근거를 남기도록 했습니다.
커리큘럼
1일차 오전
RAG의 현재 위상과 통째 넣기 기준선 · 문서 적재(PDF/HWPX/DOCX 조항 분할, 메타데이터) · 평가셋 30건 구축
1일차 오후
하이브리드 검색(BM25 + Kiwi, 벡터, RRF, 리랭커) · RAGAS 자동 평가와 채점 신뢰성 · 출처 인용과 답변 거부 · 에이전틱 검색
과제 1
llm-wiki 구축과 4가지 방식 비교
2일차 오전
DART 도구를 CLI와 MCP로 각각 구현 · 감독자 · 검증자 멀티 에이전트와 단일 에이전트 비교 · 내부 · 외부 지식 결합
2일차 오후
추적과 비용 · 권한, 프롬프트 인젝션 차단, 개인정보 마스킹, 사람 승인(interrupt) · 문서 개정 증분 반영
과제 2
담당 에이전트 추가와 구조 선택
실습 · 사례
- 가상 회사 ‘한빛시장정보(주)’ 규정 20종(보안 등급 3단계)과 평가셋 — 단일 · 교차참조 · 개정 함정 · 권한 밖 질문 포함
- 문서 밖 질문 10건, 프롬프트 공격 5건 등 방어 검증 세트
- 실습 코드는 Claude Code 지시문으로 작성하고, 막히면 정답 코드로 교체해 진도를 유지하는 방식
다룬 기술
PythonLangGraphChromaRAGASMCP SDKKiwiKURE-v2BM25Claude CodeClaude SonnetDART OpenAPI
결과물
- 4가지 방식 점수표 · 비용표 · 금융 4조건 판정표
- 실습 저장소(koscom-agent-lab) 배포, 세션별 교재 14개, 사전 진단문항