#llm

3개 노트

RAG (Retrieval-Augmented Generation)

RAG는 LLM이 모르는 정보를 벡터 검색으로 찾아서 컨텍스트로 넘기는 구조다. 임베딩으로 텍스트를 벡터로 변환하고, 벡터 DB에서 유사도 검색 후 관련 문서만 LLM에 전달한다.

RAG는 할루시네이션을 줄이지만 없애지 못한다. 청킹 전략에 정답이 없고, 검색 실패 시 LLM이 지어내는 문제가 있다. Reranker, Hybrid Search, 출처 표시 등으로 보완한다.

기존 RAG는 매번 벡터DB에서 청크를 꺼내 재조립하므로 지식이 누적되지 않는다. 카파시는 LLM이 마크다운 위키를 직접 작성·유지하는 방식을 제안했다. ingest/query/lint 세 작업으로 지식을 점진적으로 쌓는다.