RAG 시스템 벡터 데이터베이스 가이드
RAG 시스템 벡터 데이터베이스 구축 완벽 가이드 AI 챗봇이 "우리 회사 문서"를 읽고 대답하게 만드는 기술, 처음부터 끝까지 알려드립니다. 들어가며: 왜 RAG가 필요한가? ChatGPT에게 "우리 회사 휴가 규정이 뭐야?"라고 물어본 적 있으신가요? 당연히 모릅니다. ChatGPT는 우리 회사 내부 문서를 학습한 적이 없으니까요. 그렇다면 방법은 두 가지입니다. 첫 번째, AI 모델을 우리 회사 데이터로 다시 학습시킨다(Fine-tuning). 하지만 이 방법은 비용이 수천만 원 이상 들고, 문서가 바뀔 때마다 재학습이 필요합니다. 두 번째, 질문할 때마다 관련 문서를 찾아서 AI에게 함께 건네준다. 이것이 바로 RAG입니다. RAG(Retrieval-Augmented Generation)는 직역하면 "검색으로 보강된 생성"입니다. 사용자가 질문하면, 먼저 관련 문서를 검색(Retrieval) 하고, 그 문서를 참고자료로 첨부(Augmented) 해서 AI가 답변을 생성(Generation) 하는 구조입니다. 쉽게 비유하면 이렇습니다. 오픈북 시험을 떠올려 보세요. 학생(AI)이 모든 내용을 외울 필요 없이, 시험 문제(사용자 질문)가 나오면 교과서(문서 데이터베이스)에서 해당 부분을 찾아 읽고 답을 적는 것입니다. 1. RAG 시스템의 전체 구조 이해하기 RAG 시스템은 크게 두 단계로 나뉩니다. 1단계: 사전 준비 (Indexing) 문서를 미리 잘게 쪼개서 벡터 데이터베이스에 저장해 두는 과정입니다. 이 과정은 사용자 질문이 들어오기 전에 미리 수행됩니다. [원본 문서] → [텍스트 추출] → [청크 분할] → [임베딩 변환] → [벡터 DB 저장] 2단계: 질의 응답 (Query & Generation) 사용자가 질문하면 관련 문서를 찾아 AI에게 전달하는 과정입니다. [사용자 질문] → [질문 임베딩] → [벡터 DB 검색] → [관련 문서...