본문으로 건너뛰기

"rag" 태그 — 4개 게시물

모든 태그 보기

jikji: 에이전트의 파일 탐색 비용을 줄이는 로컬 인덱스

· 약 15분
김성연
AI Research Engineer, Braincrew

Jikji Architecture: 로컬 파일 탐색 맵의 준비·검색·응답 3단계 구조

에이전트에게 로컬 폴더를 붙이면 가장 먼저 하는 일은 탐색이다. ls로 트리를 훑고, cat으로 파일을 열고, grep으로 내용을 뒤진다. 원하는 파일 하나를 찾을 때까지 이 과정을 몇 번씩 반복한다. 잘 정리된 코드베이스라면 몇 번의 명령으로 끝나지만, 사람의 다운로드 폴더나 회사 공유 드라이브처럼 파일명이 제각각이고 비슷한 자료가 여러 곳에 흩어진 곳에서는 이 탐색만으로 컨텍스트 예산이 줄줄 샌다. 그리고 이 낭비는 매 요청마다, 매 파일마다 다시 발생한다. Hermes 같은 에이전트에 LLM을 붙여 실제로 파일을 찾게 해본 적이 있다면 알 것이다. 파일 하나 찾을 때마다 토큰이 녹는다.

문제는 두 방향으로 더 나빠진다. 첫째, 에이전트가 쓰는 검색 도구가 grep·find 같은 기본 CLI라서, HWP나 PDF처럼 바이너리로 감싸인 문서는 내용 탐색이 아예 안 되거나 극단적으로 비효율적이다. 둘째, 이제는 문서만이 아니라 이미지·영상도 내용 기반으로 찾아야 하는데, 그러자고 임베딩 모델을 얹고 벡터 DB로 RAG를 세우는 건 구축이 까다롭고 컴퓨팅 자원도 낭비다.

이전 글에서 다룬 agentdir는 이 문제의 절반, 즉 "에이전트가 보기 좋은 파일 구조를 만드는" 쪽을 담당했다. 하지만 agentdir는 README에서 파일 파싱, 인덱싱, 검색을 명시적 비범위로 선을 그었다. 정확히 그 빈칸을 채우는 도구가 같은 팀(NomaDamas)이 만든 jikji다.

  • GitHub: NomaDamas/jikji
  • 역할: 에이전트가 반복 탐색 없이 로컬 파일을 찾도록, 미리 검색 인덱스와 파일 맵을 만들어두는 도구
  • 핵심 명령: jikji prepare ROOT (인덱싱) → jikji find ROOT "clue" --json (한 번의 탐색 호출)

jikji의 자기 소개는 이렇다.

"Non-destructive local file maps and instant search indexes for AI agents." 파일 하나 찾을 때마다 38,650 토큰, 57초, 11.7회 LLM 호출을 쓰던 raw agent 탐색을, 파일당 447 토큰·2.1초·1회 호출로 줄이는 비파괴 로컬 탐색 스킬.

이 글은 위 아키텍처 그림(레포 스냅샷 9ecc942 기준)을 따라가며 jikji가 무엇을 하는지 보고, 실제로 설치해 돌려본 결과를 정리한다.

jikji가 하는 일

jikji의 동작은 그림처럼 세 단계다.

  1. Prepare folder: jikji prepare ROOT. 폴더를 읽어 문서(PDF, HWP/HWPX, Office, 텍스트 등)를 파싱하고, 파일 카드·폴더 프로파일·에이전트 맵·각종 캐시를 만든다. 이미지·오디오·비디오는 opt-in 미디어 브리지로 처리한다.
  2. Build search map: 이 준비 과정이 만들어내는 산출물은 전부 .jikji/ 아래에 쌓인다. 파일명·경로 단서는 메타데이터 라우트로, 문서 내용 단서는 문서 텍스트 캐시로, 폴더 맥락은 에이전트 맵으로, 연관어·힌트는 위키 그래프로 각각 분리해서 인덱싱한다.
  3. Agent finds files: jikji find. 에이전트는 자연어 단서 하나를 던지고, 후보 슬레이트(candidate slate)·정답 경로(answer paths)·근거 팩(evidence pack)을 한 번에 받는다. 그리고 그 결과를 그대로 쓰거나(direct use), 실패 시 한 번 재시도하는 식으로 핸드오프한다.

핵심은 비파괴다. jikji는 사용자 파일을 옮기거나 이름을 바꾸거나 지우거나 재배치하지 않는다. 생성물은 전부 .jikji/ 디렉토리와 .jikji_agent_map.md로 격리된다. 그림 1단계에 non-destructive 뱃지가 붙은 이유가 이것이다.

비용 절감의 핵심

jikji가 빠르고 저렴한 이유는 단순하다. 비싼 탐색 작업을 에이전트가 물어보기 전에 미리 끝내두기 때문이다.

에이전트가 실시간으로 파일을 찾는 방식은 매번 같은 비용을 다시 치른다. 문서를 열 때마다 그 자리에서 파싱하고, 경로를 모르니 트리를 헤매고, 쿼리를 추측으로 바꿔가며 여러 번 검색한다. 이 모든 단계가 LLM 호출과 토큰으로 환산된다.

jikji는 이 비용을 prepare 시점으로 앞당긴다.

  • 탐색 시점 파싱 루프 제거: 문서는 prepare.jikji/doc_text/에 텍스트로 캐시된다. 검색 때 다시 열지 않는다.
  • 경로 방황 제거: 폴더 프로파일, 파일 카드, 중복 힌트, 라우트 행이 지저분한 트리를 에이전트가 읽을 수 있는 파일 맵으로 바꾼다.
  • 필드 분리 검색: 경로·파일명·폴더·확장자·본문·메타데이터를 따로 인덱싱해서, 명백한 경로 단서와 본문에만 있는 단서가 둘 다 잘 랭킹된다.
  • LLM 위키·지식 그래프: 소스마다 짧은 위키 요약 페이지를 만들어 두어, 에이전트가 큰 원본을 여는 대신 요약만 보고 판단할 수 있다. 노드(소스·폴더·용어·의도·중복)는 knowledge_graph.jsongraph_routes.jsonl로 미리 라우팅된다.

결과적으로 jikji find 한 번은, 여러 라우트에서 모은 후보를 하나의 슬레이트로 합쳐 에이전트에게 넘긴다. 에이전트는 이 top-k 슬레이트에 대해 한 번의 판단만 하면 되고, ls/find/grep/문서 열기/쿼리 추측에 채팅 턴을 쓰지 않는다.

결정론적 검색과 멀티미디어

인트로에서 짚은 두 번째 고민, "시맨틱 검색을 하려면 결국 임베딩과 벡터 DB가 필요하지 않나"에 대한 jikji의 대답이 흥미롭다. jikji는 임베딩 모델도, 벡터 DB도, 클라우드 RAG 스택도 쓰지 않는다. README의 표현을 그대로 옮기면 이렇다.

This is RAG-style retrieval context, not a mandatory vector DB or cloud RAG stack. Jikji's default index is local and deterministic: no embeddings, cloud parser, or LLM call is required to prepare or search.

대신 prepare 단계에서 결정론적 시맨틱 용어(deterministic semantic terms)를 뽑아 필드로 인덱싱한다. 랭킹도 임베딩 유사도가 아니라 필드별로 가중치를 둔 BM25 역색인(SQLite 기반, FTS5도 벡터도 아니다)으로 이뤄진다. 앞서 직접 돌려본 find 응답에서 후보가 뽑힌 이유(why)에 intent-tag, contextual-anchor 같은 항목이 섞여 있던 것이 이 계층이다. 순수 문자열 매칭을 넘어선 의도·맥락 기반 랭킹을, LLM 추론이나 임베딩 없이 결정론적으로 만들어낸다는 것이 핵심 주장이다. 준비·검색 과정에서 LLM은 전혀 호출되지 않고, LLM은 오직 에이전트가 반환된 슬레이트에서 최종 선택을 할 때만 쓰인다.

멀티미디어도 같은 틀 위에 있다. PDF·HWP/HWPX·Office·텍스트·자막·HTML·JSON/YAML·아카이브는 기본으로 파싱·인덱싱되고, 이미지·오디오·비디오는 opt-in OCR/ASR로 내용까지 인덱싱할 수 있다. 별도 임베딩 학습 없이, 미디어 브리지가 콘텐츠를 텍스트로 뽑아 같은 검색 인덱스에 태우는 방식이다.

# 이미지·오디오·비디오 내용 인덱싱은 opt-in (CPU/RAM을 쓰므로 기본 비활성)
pip install "jikji[media]"
jikji prepare ROOT --enable-media-index --media-index-max-mb 25

이 절의 내용(결정론적 시맨틱 랭킹의 품질, 멀티미디어 OCR/ASR 검색)은 레포의 설계·주장이며, 아래 "직접 돌려본 결과"에서 내가 검증한 범위와는 구분해서 읽어달라. 나는 텍스트 문서 탐색까지만 직접 확인했다.

기본 사용법

jikji가 노리는 사용 방식은 CLI를 직접 두드리는 게 아니라, 에이전트에게 스킬로 붙여두고 에이전트가 알아서 jikji find를 쓰게 하는 것이다. 저자가 공개한 안내처럼, Claude Code·Hermes 같은 에이전트에 이렇게 자연어로 시키면 된다.

GitHub 저장소 https://github.com/NomaDamas/jikji 에서 Jikji를 설치하고,
내 CLI 에이전트들이 jikji find를 바로 쓰도록 Jikji skill까지 연결해줘.

이 자연어 지시가 실제로 매핑되는 명령은 스킬 설치 계열이다. agent-skill-install은 공용 에이전트들에 jikji 스킬 지시문을 설치하고, 필요하면 특정 에이전트로 내보낼 수도 있다.

jikji agent-skill-install --agent all --json   # 공용 에이전트에 스킬 설치
jikji hermes-skill-install --json # Hermes 전용
jikji skill-export --dest /path/to/agent/skills/jikji/SKILL.md --json

이렇게 붙여두면 에이전트는 파일을 찾을 때 grep·find로 헤매는 대신 jikji find를 호출하고, 앞서 본 근거 팩과 핸드오프 정책을 그대로 받아 판단한다. (이 스킬 설치 명령들은 사용자의 실제 에이전트 설정 디렉토리에 파일을 쓰므로, 이 글에서는 동작만 소개하고 직접 실행하지는 않았다.)

직접 돌려본 결과

이 도구가 실제로 약속을 지키는지 보려고, 어지러운 코퍼스를 하나 만들어 macOS에서 돌려봤다. 현재 레포는 Rust 포팅 중인 모노레포라 crates/의 Rust CLI가 정식 구현이지만, python/jikji/가 동일 동작의 레퍼런스 구현으로 남아 있다. 이 환경엔 Rust 툴체인이 없어 Python 레퍼런스 구현(0.1.0)을 소스에서 설치해 측정했다. (주의: PyPI의 jikji 패키지는 전혀 다른 Flask 정적 사이트 생성기다. 이 도구가 아니다. 반드시 레포에서 설치해야 한다.)

코퍼스는 다운로드 폴더처럼 흩어진 파일 6개로 합성했다. 회의록_최종_진짜최종.md, report_v2_draft.txt, 고객사자료/제안서.md, random_notes.txt, temp/build_log.txt, 그리고 30MB짜리 더미 dataset.csv를 여러 하위 폴더에 뿌렸다.

1. prepare는 비파괴적이고 빠르다

$ jikji prepare ./corpus
Jikji prepared: .../corpus
- files=6 folders=4 deleted=0
- docs parsed/reused/failed=0/0/0

파일 6개 기준 약 0.17초에 끝났고, deleted=0이며 내가 만든 원본 6개는 그대로였다. 그림 2단계에 나온 산출물이 실제로 .jikji/ 아래에 생성됐다. search_index.sqlite, doc_text/, file_cards.jsonl, folder_profile.jsonl, knowledge_graph.json, graph_routes.jsonl, wiki/ 가 모두 확인됐다.

한 가지 그림에 안 나온 사실도 있다. prepare는 .jikji/ 외에 코퍼스 루트에 에이전트 포인터 파일도 쓴다. 내 경우 .jikji_agent_map.md 말고도 AGENTS.md, CLAUDE.md, .cursorrules가 루트에 새로 생성됐다. 원본을 수정·삭제하진 않지만, "생성물은 .jikji/에만"이라는 요약보다는 루트에 몇 개 파일이 더 놓인다는 점을 알고 쓰는 게 좋다.

2. find는 근거가 붙은 후보 슬레이트를 돌려준다

"분기 보고서 핵심 지표 토큰"이라는 자연어 단서로 --json을 붙여 호출했더니, 정답인 downloads/report_v2_draft.txt를 1순위로 랭킹하면서 이런 근거 팩을 돌려줬다.

{
"path": "downloads/report_v2_draft.txt",
"why": ["multi-token-overlap", "doc-type-match", "intent-tag",
"contextual-anchor", "body-coverage"],
"matched_terms": ["분기", "보고서", "핵심", "지표", "토큰"],
"evidence": ["핵심 지표: Hit@1 정확도, LLM 호출 수, 총 토큰 사용량"],
"next_read": { "kind": "original", "path": "downloads/report_v2_draft.txt" }
}

주목할 부분은 이 페이로드가 단순히 경로 목록이 아니라는 점이다. 왜 이 파일이 뽑혔는지(why), 어떤 용어가 맞았는지(matched_terms), 본문 어디에 근거가 있는지(evidence), 다음에 뭘 읽어야 하는지(next_read)까지 들어 있다. 에이전트는 이걸 보고 원본을 열지 않고도 판단할 수 있다.

3. 페이로드가 추가 탐색을 막는다

find --json의 전체 응답에서 가장 인상적이었던 건 핸드오프 정책 필드였다. 응답에는 이런 것들이 함께 들어온다.

"handoff_action": "direct_use",
"answerability": "answerable_from_payload",
"tool_call_policy": {
"stop_after_find": true,
"forbidden_tools": ["read_file", "search", "grep", "rg",
"find", "fd", "ls", "cat", "tree", "glob"],
"rerank_locked": true
},
"allowed_agent_tool_calls": 0,
"allowed_llm_calls": 0

즉 jikji는 "여기 답이 있으니, grep·ls·cat 같은 도구를 더 쓰지 말고 이 페이로드로 끝내라"고 에이전트에게 명시적으로 지시한다. 토큰 절감의 메커니즘이 여기 있다. 절감은 인덱스가 빨라서가 아니라, 에이전트의 추가 탐색 루프 자체를 막아서 나온다. 이 전체 응답은 약 5.3KB(대략 1,300 토큰 상당)였다. 파일 하나 찾자고 트리를 반복해서 훑는 것과 비교하면 작다.

4. 코퍼스를 키우면 차이가 벌어진다

위 6개짜리 코퍼스는 너무 작아서 raw와 jikji가 둘 다 쉽게 맞혔다(뒤의 벤치마크 절 참고). 그래서 지저분한 작업 폴더를 좀 더 크게 흉내 낸 합성 코퍼스(파일 530개, 폴더 42개)를 만들고, 정답을 미리 아는 자연어 질의 10개로 같은 결정론적 비교(jikji 인덱스를 쓰지 않는 raw 베이스라인 vs jikji)를 다시 돌렸다. 모델 없이 순수 검색 품질만 본 결과다.

지표raw (jikji 인덱스·파서 미사용)jikji
Hit@10.601.00
Hit@100.801.00
MRR0.6671.000

같은 폴더, 같은 질의에서 jikji가 정답 파일을 상위로 올리는 능력이 분명히 좋았다. 다만 이 표는 검색 품질의 재현이지 비용·시간의 근거는 아니다. 소형 코퍼스에서는 CLI 실행이나 함수 호출 오버헤드가 시간 지표를 왜곡하므로 시간은 비교하지 않았고, 단일 합성 코퍼스에 소표본(질의 10개)이라 절대값보다 방향으로 읽어야 한다. 또 raw 쪽이 파서 캐시를 쓰지 않아 바이너리 문서 본문을 못 읽는 비대칭이 있어, 이 차이의 상당 부분은 "미리 파싱해 둔 인덱스가 있느냐"에서 온다. 바꿔 말하면 그 인덱스가 바로 jikji가 파는 것이기도 하다.

재현 메모: macOS에서 jikji Python 레퍼런스(0.1.0)를 레포 소스(python/jikji)에서 설치해 측정했다. 1)~3)의 근거 팩 데모는 흩어진 파일 6개(더미 30MB CSV 포함) 코퍼스에서, 4)의 검색 품질 재현은 파일 530개 코퍼스에서 각각 돌렸다. 위 수치들은 단일 데모 기준이며, 절대값보다 동작의 성격에 주목해 달라. 1)~3)의 wc -c 기반 바이트→토큰 환산(≈4바이트/토큰)은 정밀 토크나이저 측정이 아니라 대략적 크기 감이다.

벤치마크 결과: 모델링과 실측

그림 오른쪽 아래의 "38,650 → 447 tokens", "56.7s → 2.1s"는 레포가 제시하는 벤치마크 수치다. 이 부분은 내가 직접 재현하지 못했다. 이 숫자는 실제 LLM 에이전트(Hermes)를 붙여 raw 탐색과 jikji 탐색을 비교하는 벤치마크에서 나오는데, 그러려면 LLM 에이전트 루프가 필요하다. 이 환경에서 돌린 내장 bench-run은 LLM이 없는 결정론적 렉시컬 베이스라인이라, 6개짜리 작은 코퍼스에서는 raw와 jikji가 둘 다 Hit@1=1.0으로 나와 토큰/호출 차이를 만들어내지 못했다. 즉 "왜 답이 뽑히는가"는 위에서 직접 확인했지만, "얼마나 싸지는가"의 절대 수치는 레포의 주장으로 받아들여야 한다.

레포가 밝힌 벤치마크(HippoCamp Fullset, 551건, 동일 Hermes 태스크 범위)는 다음과 같다. 아래 표와 배수는 모두 레포의 자체 측정치다.

지표raw HermesJikji find개선
케이스 수551551-
Hit@10.66970.7949상승
Hit@100.77860.7949상승
LLM 호출6,42055111.65× 감소
총 토큰21,296,278246,31686.46× 감소
벽시계 시간31,231.9s1,164.2s26.83× 감소

케이스당 평균으로 보면 raw는 11.7회 호출·38,650 토큰·56.7초를 썼고, jikji find는 1회 호출·447 토큰·2.1초를 썼다(그림의 그 숫자다). 정확도가 떨어지는 대가로 비용을 줄인 게 아니라, Hit@1이 0.67 → 0.79로 오히려 올랐다는 점이 이 벤치마크의 핵심 주장이다.

다만 이 표를 인용할 때 한 가지는 갈라 읽는 게 정확하다. 위 "Jikji find" 행은 레포가 실제로 측정한 라이브 실행이 아니라, 반환된 후보 슬레이트를 두고 LLM이 한 번에 정답을 고른다고 가정한 모델링 값이다. 레포의 docs/jikji-value-report.json에서 확인했다. 이 행은 정답 파일이 상위 후보 안에 있으면 judge가 항상 맞힌다고 보기 때문에 Hit@1과 Hit@10이 0.7949로 같고, 토큰은 하드코딩 상수와 길이 휴리스틱으로 추정하며(리포트 자신이 "실제 프로바이더 사용량이 아니라 추정치"라고 라벨링한다), 시간은 answer-pack 검색 시간(실측)에 호출당 1.5초를 가정해 더한 값이다.

같은 리포트에서 실제로 LLM 에이전트를 붙여 측정한 라이브 실행(jikji-discover)은 더 겸손하지만 그래도 분명한 승리다. Hit@1 0.688(raw 0.670), Hit@10 0.800(raw 0.779)에, 토큰은 약 2.8배(2,130만 → 760만), LLM 호출은 약 2.8배, 벽시계 시간은 약 2배(31,232s → 15,603s) 줄었다. 반대로 LLM을 전혀 쓰지 않는 순수 검색 모드(jikji-answer-pack)의 Hit@1은 0.514로 raw(0.670)보다 낮다. 정확도 상승은 후보 slate를 두고 한 번 판단하는 LLM 호출이 있어야 생긴다는 뜻이다. 정리하면 헤드라인의 "86배·27배·Hit@1 0.79"는 이 도구를 가장 이상적으로 썼을 때의 천장으로 읽고, 붙이면 바로 나오는 실측 절감은 토큰·시간 약 2~3배에 정확도 동률 수준으로 읽는 게 정확하다. 그리고 이 수치들은 NomaDamas가 단일 모델로 한 번 돌린 self-run이며 제3자 독립 재현은 아직 없다.

시리즈와 AutoRAG의 관계 (Braincrew의 해석)

같은 팀의 두 도구를 나란히 놓으면 분업이 선명하다.

  • agentdir (이전 글): 원본을 건드리지 않고 에이전트가 보기 좋은 파일 레이아웃(구조)을 만든다. 파싱·인덱싱·검색은 비범위.
  • jikji: 원본을 건드리지 않고 에이전트가 파일을 찾을 검색 인덱스·맵(내용)을 만든다. 구조 재배치는 하지 않는다.
  • MinSync (직전 글): 임베딩 벡터 인덱스를 운영 중에 신선하게 유지한다. 바뀐 청크만 다시 임베딩한다.

셋 다 "원본 비파괴 + 에이전트용 뷰를 따로 생성"이라는 같은 철학 위에 있지만 맡는 층이 다르다. agentdir는 배치, jikji는 발견, MinSync는 의미 인덱스의 신선도다. 특히 jikji와 MinSync는 이름이 비슷해 헷갈리기 쉬운데 겨냥하는 곳이 다르다. jikji는 임베딩 없이 결정론적으로 "어느 파일인지"를 싸게 좁히고, MinSync는 임베딩 벡터 인덱스를 최신으로 유지한다. 둘은 경쟁이 아니라 이어 붙는 관계에 가깝다. jikji가 지저분한 폴더를 몇 개 후보 파일로 좁히면, MinSync로 신선하게 유지한 벡터 RAG가 바로 그 몇 개 안에서 의미 기반 심층 검색을 하는 식이다. RAG/에이전트 파이프라인 관점에서 보면 jikji는 인제스트 이전의 탐색·후보 선정 레이어로 읽힌다. 에이전트가 코퍼스에서 관련 문서를 찾는 단계를, 매번 LLM으로 헤매는 대신 결정론적 로컬 인덱스로 대체하는 셈이다. 실제로 prepare 산출물에는 autorag_manifest.json(AutoRAG 연동 계약), chunk_map.jsonl 같은 RAG 친화적 아티팩트도 포함돼 있었다. 즉 jikji가 AutoRAG를 향해 설계되고 있다는 신호는 저장소에서 확인된다. 개발팀에 따르면 jikji는 앞으로의 AutoRAG 2.0에 포함될 계획이다.

다만 이 RAG 연결은 같은 팀이 만든 도구라는 사실과 각 도구의 설계 의도에 근거한 Braincrew의 해석이지, jikji가 스스로 주장하는 통합은 아니다. jikji README는 자신을 "AI 에이전트를 위한 로컬 파일 탐색 스킬"로 소개한다. 그리고 이 글을 쓰는 시점에 "AutoRAG 2.0"이라는 공개 릴리스나 로드맵이 발표된 것은 아니다. 확실한 것은 jikji가 AutoRAG 연동 계약을 이미 산출물로 emit한다는 사실이고, 통합의 출시는 아직 예고된 방향이다.

한계와 주의점

직접 써보며, 혹은 문서를 읽으며 확인한 지점들이다.

  • 정식 구현은 Rust CLI, 내가 돌린 건 Python 레퍼런스다. 두 구현은 parity 테스트로 맞춰지지만, 세부 동작이나 성능은 다를 수 있다. Rust CLI(cargo)로 쓰면 이 글의 설치 과정과 달라진다.
  • 벤치마크 수치는 재현하지 못했다. 앞서 밝혔듯 토큰/호출 절감의 절대값은 LLM 에이전트 벤치마크에서 나오며, 이 글에서는 레포 주장으로 인용했다.
  • prepare는 루트에도 파일을 쓴다. .jikji/뿐 아니라 AGENTS.md, CLAUDE.md, .cursorrules, .jikji_agent_map.md가 루트에 생성됐다. 원본은 안 건드리지만, 버전 관리 중인 폴더라면 .gitignore 처리를 고려해야 한다.
  • 인덱스는 스냅샷이다. 원본이 바뀌면 refresh로 다시 준비해야 하고, jikji는 인덱스가 낡았는지(freshness) 알려주되 검색 중에 몰래 재인덱싱하지는 않는다.
  • jikji는 두뇌가 아니다. 무엇을 찾을지 판단하는 건 여전히 에이전트다. jikji는 후보 슬레이트와 근거를 줄 뿐이고, 최종 선택은 에이전트의 몫이다.

정리

에이전트에게 로컬 폴더를 주면 매번 탐색부터 다시 시작한다. jikji는 그 비싼 탐색을 prepare 한 번으로 앞당겨 갚아두고, 이후에는 find 한 번으로 근거가 붙은 후보 슬레이트를 돌려준다.

직접 돌려 확인한 건 세 가지다. prepare는 원본을 건드리지 않고 그림 속 산출물을 실제로 만들어냈고(단, 루트에 포인터 파일 몇 개를 추가한다), find --json은 경로가 아니라 왜·무엇이·어디서 맞았는지가 담긴 근거 팩을 돌려줬으며, 그 페이로드는 에이전트에게 grep·ls·cat더 쓰지 말라고 명시적으로 지시했다. 토큰 절감의 정체는 빠른 인덱스가 아니라 바로 이 "그만 찾아라" 신호였다. 반면 "38,650 → 447 토큰" 같은 절대 수치는 이 환경에서 재현하지 못했고, 레포의 자체 벤치마크 주장으로 남겨둔다.

agentdir가 에이전트에게 정돈된 파일 구조를 줬다면, jikji는 그 위에서 파일을 찾는 비용을 미리 갚아주는 인덱스 레이어다. 둘 다 원본은 그대로 둔 채로.

References

MinSync: 파일이 바뀐 만큼만 다시 인덱싱하고, 청커로 그 비용을 좌우하기

· 약 16분
김성연
AI Research Engineer, Braincrew

MinSync GitHub repository screenshot

AI 에이전트나 RAG 시스템을 만들다 보면 반복해서 마주치는 문제가 있다.

처음에는 문서를 벡터 DB에 넣는 일이 어렵지 않다. 폴더를 읽고, 텍스트를 청크로 나누고, 임베딩을 만들고, 벡터 스토어에 저장하면 된다.

문제는 그다음이다. 파일이 하나 바뀌었을 때 어떻게 할 것인가?

전체를 다시 인덱싱하면 간단하지만 비효율적이다. 파일이 많아질수록 비용도 커지고, 시간도 오래 걸린다. 반대로 바뀐 파일만 처리하려면 변경 감지, stale 청크 삭제, manifest 관리, cursor 관리 같은 귀찮은 문제가 생긴다.

MinSync는 이 문제를 해결하기 위한 도구다.

  • GitHub: NomaDamas/MinSync
  • 역할: 로컬 텍스트 폴더를 계속 최신 벡터 인덱스로 유지하는 CLI
  • 핵심 상황: "문서는 계속 바뀌는데, 에이전트 검색 인덱스는 stale해지면 안 된다"

MinSync는 텍스트 파일을 대상으로 하는 manifest 기반 증분 벡터 인덱싱 CLI다. 쉽게 말하면, 디렉토리 안의 파일 변화를 추적하고, 바뀐 파일만 다시 청킹·임베딩해서 로컬 LanceDB 인덱스를 최신 상태로 유지해준다. 별도 벡터 DB 서버나 Python 런타임 없이 단일 Rust 바이너리로 동작하고, 라이선스는 MIT다.

이 글에서 다루는 MinSync는 Markr.AI 산하 오픈소스 조직 NomaDamas가 공개한 도구다. NomaDamas는 RAG AutoML 프레임워크 AutoRAG를 만든 팀이기도 하다. Braincrew는 RAG를 많이 다루는 입장에서 이 도구를 직접 뜯어보고 실측했다.

인덱스는 조용히 낡는다

RAG나 에이전트 memory 시스템에서 "인덱스 최신성"은 생각보다 중요하다.

전통적인 RAG 파이프라인에서 문서는 한 번 청킹되고 임베딩되어 벡터 DB에 들어가면 그대로 멈춰 있다. 그런데 원본 문서는 계속 바뀐다. 약관이 개정되고, 제품 사양이 업데이트되고, 회의록이 수정된다. 이때 임베딩이 갱신되지 않으면 인덱스는 과거의 문서를 가리킨 채로 남는다.

이 실패가 위험한 이유는 조용하기 때문이다. 코사인 유사도에는 "이 청크가 최신인가"라는 개념이 없다. 낡은 청크도 쿼리와 의미가 비슷하면 높은 점수로 상위에 올라온다. 검색은 정상으로 보이고, 지연도 없고, 에러 로그도 찍히지 않는다. 단지 사용자가 틀린(혹은 철 지난) 근거로 답을 받을 뿐이다.

특히 에이전트 작업 공간에서는 파일 변화가 자주 일어난다.

  • 문서가 계속 추가된다.
  • 에이전트가 중간 산출물을 만든다.
  • 로그나 요약 파일이 갱신된다.
  • 사용자가 README, 메모, 스펙 문서를 수정한다.
  • 생성된 작업 공간은 git으로 관리되지 않을 수도 있다.

가장 단순한 대응은 주기적으로 전체를 다시 임베딩하는 것이다. 그러나 코퍼스가 커질수록 이 방식은 느리고, 별도 인덱스 교체 없이 제자리에서 재인덱싱하면 그동안 검색 품질이 흔들릴 수 있으며, 임베딩 API 비용이 그대로 청구된다. 보통 실제로 바뀐 건 전체의 일부인데도 100%를 다시 계산하는 셈이다.

그래서 "바뀐 것만 다시 임베딩"이 필요하다. 문제는 이걸 깔끔하게 해주는 도구가 대부분 전제 조건을 요구한다는 점이다.

  • git diff 기반 파이프라인: 정확하고 빠르지만 git 저장소가 있어야 한다. 에이전트가 생성한 작업 폴더, 마운트된 데이터 디렉토리, 커밋 경계가 없는 환경에서는 쓸 수 없다.
  • LangChain Indexing API / LlamaIndex docstore: 콘텐츠 해시로 중복 임베딩을 막아주지만, 해당 프레임워크의 객체 모델 안에서 살아야 하고 상태를 저장할 별도 백엔드(record manager, docstore)가 필요하다.
  • cocoindex 같은 데이터플로 프레임워크: 증분 처리를 잘 해주지만, Python 프로젝트 설정과 자체 상태 스토어가 필요해 폴더 하나를 가볍게 동기화하려는 용도에는 셋업 부담이 더 크다.

MinSync는 이 빈칸을 노린다. git이 없고, 무거운 프레임워크는 끌어들이고 싶지 않은, 가벼운 로컬 폴더의 증분 인덱싱이다.

MinSync가 하는 일

MinSync는 특정 디렉토리를 스캔하면서 각 파일의 메타데이터와 청크 상태를 .minsync/ 디렉토리에 기록한다. 이후 minsync sync를 실행하면 이전 상태와 현재 상태를 비교해서, 바뀐 파일과 그 청크만 다시 처리하고 삭제된 파일의 stale 벡터는 정리한 뒤 로컬 LanceDB 인덱스를 최신 상태로 유지한다. 자세한 동작은 다음 절에서 단계별로 본다.

기록하는 정보는 대략 다음과 같다.

  • 파일 경로
  • 수정 시간 mtime
  • 파일 크기
  • SHA-256 content hash
  • 청크 상태
  • 처리 cursor

이 정보는 .minsync/ 디렉토리에 저장된다.

.minsync/
config.toml
manifest.json
cursor.json
txn.json
lock

각 파일의 역할은 다음과 같다. manifest.json은 마지막으로 확인한 파일 메타데이터와 content hash를 들고 있고, cursor.json은 마지막으로 완료된 처리 지점을 기록한다. txn.json은 진행 중인 transaction marker이고, lock은 동시에 여러 프로세스가 같은 인덱스를 건드리는 일을 막는다.

아래 그림은 MinSync의 처리 흐름과 전체 재인덱싱 대비 증분 동기화의 차이를 한 장으로 요약한 것이다.

MinSync incremental indexing overview

동작 구조

내부 동작은 다섯 단계로 정리된다.

  1. git-free 변경 감지: .minsync/ 디렉토리에 파일별 메타데이터(크기, mtime, SHA-256 콘텐츠 해시)를 manifest로 기록한다. 다음 스캔에서 크기와 mtime이 그대로면 해시 계산을 건너뛰고, 달라졌으면 그 파일만 다시 해싱한다. 큰 트리에서도 변경 감지가 싸게 끝난다. (mtime과 파일 크기가 함께 보존되는 복사·동기화 환경에서는 변경을 놓칠 수 있어, 그럴 땐 verify --fix나 전체 동기화로 보정한다.)
  2. 결정적 청크 ID: 청크마다 sha256(source_id, 경로, 청크 스키마, 청크 타입, 콘텐츠 해시, 중복 인덱스)로 ID를 만든다. 콘텐츠가 같으면 ID가 같으므로, 이미 존재하는 청크인지 즉시 판별된다. 벡터 DB에서 청크 ID가 계속 바뀌면 사실상 매번 새 데이터를 넣는 것과 비슷해지는데, MinSync는 이 문제를 정면으로 다룬다.
  3. 바뀐 청크만 임베딩: 이미 존재하는 청크는 메타데이터만 갱신하고 재임베딩하지 않는다. 콘텐츠 해시가 실제로 바뀐 청크만 임베더로 보낸다.
  4. mark-and-sweep로 stale 제거: 이번 실행에서 살아남은 청크에 실행 토큰을 찍고, 토큰이 찍히지 않은 옛 청크는 삭제한다. 문서에서 특정 정책 내용이 삭제됐는데 벡터 DB에 예전 청크가 남아 있으면 에이전트는 삭제된 정책을 계속 참조할 수 있는데, 이 방식이 그런 stale 벡터를 정리한다. 문서가 수정되거나 삭제돼도 인덱스가 현재 상태로 수렴한다.
  5. 크래시 안전성: 잠금 → 트랜잭션 마커 → 처리 → 벡터 스토어 flush → 커서 기록 → manifest 저장 순서로 진행한다. 커서와 manifest를 마지막에 커밋하므로, 중간에 죽어도 다음 minsync sync가 마지막으로 성공한 상태에서 안전하게 다시 시작한다. 임베딩 API 오류, 네트워크 timeout, rate limit, 프로세스 종료 같은 실패가 상태를 어중간하게 망가뜨리지 않는다.

저장소는 임베디드 LanceDB(IVF-HNSW-SQ ANN 인덱스)이고, 거리 메트릭은 cosine을 쓴다. 임베더는 OpenAI 호환(openai:)과 로컬 Hugging Face TEI(tei:) 두 가지다. 별도 벡터 DB 서버를 띄울 필요가 없다.

청커는 세 가지를 제공한다. 이 부분이 뒤에서 핵심이 되므로 정확히 짚고 간다.

  • recursive (기본값): 문단에서 문장, 라인 순으로 쪼갠 뒤 크기 예산까지 병합
  • chonkie: 구분자/크기 기반 chonkie-core 청킹
  • cdc: FastCDC 스타일 롤링 해시로 콘텐츠 기준 경계를 잡는 content-defined chunking

recursivechonkie는 문서 상단을 수정하면 하위 청크 경계가 밀릴 수 있고, cdc는 경계를 위치가 아닌 콘텐츠로 정하기 때문에 작은 수정이 보통 인접 청크에만 영향을 준다고 문서는 설명한다. 이 차이가 실제로 얼마나 나는지 직접 측정했다.

테스트 결과: 청커가 비용을 가른다

측정은 완전 오프라인으로 했다. OpenAI 호환 형식으로 응답하는 로컬 mock 임베딩 서버를 띄우고 MinSync의 base_url을 그쪽으로 연결해, API 키 없이 재임베딩량만 관찰했다. 측정 지표는 **편집 후 임베더로 실제로 다시 보낸 청크 수(재임베딩량)**다. 청킹과 청크 ID 계산은 임베더 호출 전에 끝나므로, 임베더가 mock이든 실제든 재임베딩 대상 청크 수는 동일하다.

코퍼스는 길이가 제각각인 문장 120개로 만든 단일 문서이고, 청크당 여러 문장이 묶이도록 max_chunk_size를 800으로 두었다. 세 가지 편집(끝에 한 문장 추가, 상단에 한 문장 삽입, 문서 중간 한 문장 수정)을 기본 청커와 CDC 청커에서 각각 측정했다. 단일 합성 문서 기준이므로, 절대 수치보다 청커 간 상대 차이에 주목해 달라.

편집 종류recursive (기본)cdc
끝에 추가 (append)11%9%
상단 삽입 (insert top)111%27%
중간 수정 (modify mid)67%9%

(재임베딩 비율 = 다시 임베딩한 청크 수 / 편집 전 청크 수. 그래서 새 청크가 추가되면 100%를 넘을 수 있고, 상단 삽입의 111%는 편집 전 9청크를 전부 다시 임베딩한 위에 새 청크 1개가 더해진 결과(10/9)다. 분모인 편집 전 청크 수는 청커마다 다르므로, 같은 편집이라도 비율의 기준점이 청커별로 다르다는 점에 유의해 달라.)

여기서 몇 가지가 분명해졌다.

첫째, 끝에 추가하는 편집은 어느 청커든 싸다(약 한 청크). 문제는 실제 문서가 끝에만 추가되지 않는다는 점이다. 약관 개정은 문서 중간을 고치고, 머리말은 상단에 들어간다. 진짜 비용 차이는 바로 그 흔한 편집(중간 수정 recursive 67% vs cdc 9%, 상단 삽입 recursive 111% vs cdc 27%)에서 났다. MinSync 문서가 설명하는 "상단을 수정하면 하위 청크 경계가 밀린다"가 기본 청커에서 글자 그대로 재현된 셈이다.

둘째, recursive의 드리프트는 예측이 안 된다. 같은 상단 삽입이라도 청크 크기를 250으로 줄이면 재임베딩이 6%로 작았다가(별도 설정 실측), 더 긴 코퍼스에서는 111%까지 튀었다. CDC는 현실적인 길이의 코퍼스에서는 편집 종류와 설정을 바꿔도 대체로 2~33% 범위에 머물렀다(별도 설정 실측, 아래에서 보듯 아주 짧고 균일한 코퍼스에서는 이 이점이 사라진다). RAG 운영에서 의미 있는 건 평균값이 아니라 "한 번의 수정이 최악의 경우 얼마까지 비용을 일으키는가"의 상한이다.

셋째, 그래서 비용을 좌우한 건 증분 기능 자체가 아니라 청커 선택이었다. 기본값인 recursive로만 쓰면 증분 인덱싱의 가치를 절반밖에 누리지 못할 수 있다. 청커는 minsync init --chunker cdc로 지정하거나 .minsync/config.toml[chunker] id를 바꿔 고르는데, CDC가 비용을 실제로 눌러주는데도 README에서 강조되지 않아 직접 돌려봐야 드러나는 지점이었다. 단, 청커를 바꾸면 청크 스키마가 달라지므로 한 번은 minsync sync --full로 전체 재인덱싱이 필요하다. CDC 전환 자체는 1회성 전체 재임베딩 비용을 동반하고, 절감은 그 이후 증분 갱신에서 나타난다. 또 CDC는 콘텐츠 기준으로 경계를 잡아 문장이나 의미 단위와 어긋날 수 있으니, 비용과 별개로 retrieval 품질은 도입 전에 따로 확인하는 게 안전하다.

사실 첫 측정에서는 짧고 균일한 코퍼스를 써서 recursive와 cdc가 둘 다 약 90%로 나왔고, "CDC 효과가 없네"라는 잘못된 결론에 닿을 뻔했다. 코퍼스를 더 길고 다양하게 바꿔 다시 재면서야 위 표의 차이가 드러났다. 즉 CDC의 이점은 코퍼스 특성(문서 길이, 청크 크기)에 민감하므로, 단일 코퍼스 결과만으로 일반화하지 않는 것이 안전하다. 더 긴 코퍼스를 대표값으로 본 이유는 실제 문서가 대체로 그 길이에 가깝기 때문이고, 이 판단을 뒤집을 데이터(짧은 문서가 다수인 코퍼스)가 있다면 결론은 달라질 수 있다.

그럼 대규모 수정은? 자연스럽게 따라오는 질문인데, 한 파일에서 여러 청크가 한꺼번에 바뀌면 당연히 그 청크들은 모두 다시 임베딩된다. MinSync의 역할은 바뀌지 않은 청크를 불필요하게 다시 임베딩하지 않는 것까지다.

기본 사용법

설치는 install script를 사용하는 방식이 권장된다. Cargo로 직접 설치하거나 GitHub Releases의 프리빌트 바이너리를 받아 써도 된다.

curl -fsSL https://raw.githubusercontent.com/NomaDamas/MinSync/main/scripts/install.sh | sh
# 또는
cargo install minsync

OpenAI 임베딩을 사용할 경우 API key를 설정한다.

export OPENAI_API_KEY="..."

기본 사용 흐름은 init → sync → query로 이어진다. 인덱싱할 디렉토리에서 초기화한 뒤, 처음 한 번 전체를 만들고, 이후에는 변경분만 반영하면서 검색하는 식이다.

agent-workspace를 semantic search 가능하게 만들기
# 1. 에이전트가 작업하는 폴더로 이동
cd ~/projects/customer-research-agent

# 2. MinSync 초기화
minsync init

# 3. 처음 한 번 전체 인덱싱
minsync sync --full

# 4. 에이전트가 만든 산출물을 검색
minsync query "지난 회의에서 결정된 보안 요구사항" --k 5

# 5. 이후에는 변경분만 반영
minsync sync

예를 들어 에이전트가 notes/meeting.md에 회의 요약을 추가하고, spec/security.md에서 인증 정책을 수정했다고 하자. 다음 minsync sync에서는 전체 프로젝트를 다시 임베딩하지 않고, 바뀐 파일과 그 청크만 다시 처리한다. 그 뒤에는 바로 이렇게 물어볼 수 있다.

minsync query "인증 정책에서 MFA는 필수인가?" --k 3

이 흐름이 좋은 이유는 단순하다. 에이전트가 파일을 계속 만들고 고치는 환경에서도, 검색 인덱스를 매번 처음부터 다시 만들 필요가 없다.

이 밖에 파일 변경을 계속 감지하려면 minsync watch, 인덱스 상태를 보려면 minsync status, 일관성 검증과 복구는 minsync verify --fix를 쓴다.

로컬 임베딩

OpenAI 임베딩을 사용할 수도 있지만, 로컬 임베딩 서버를 붙일 수도 있다. 문서도 쿼리도 외부로 나가지 않는 파이프라인이 필요할 때 유용하고, 데이터 반출이 제한되는 온프렘 환경에서 특히 잘 맞는다.

예를 들어 Hugging Face Text Embeddings Inference, TEI를 사용할 수 있다.

brew install text-embeddings-inference
text-embeddings-router --model-id intfloat/multilingual-e5-small --port 8080 --dtype float32

서버 상태를 확인한다.

curl http://localhost:8080/health

MinSync를 TEI 임베더로 초기화한다.

minsync init --embedder tei:intfloat/multilingual-e5-small

설정 파일에서 dimension과 prefix를 맞춘다.

[embedder]
id = "tei:intfloat/multilingual-e5-small"
base_url = "http://localhost:8080"
query_prefix = "query: "
passage_prefix = "passage: "

[vectorstore.options]
dimension = 384

이후 전체 sync와 query를 실행한다.

minsync sync --full
minsync query "검색어" --k 5

bge-m3, multilingual-e5 같은 모델을 연결하면 되고, UTF-8 텍스트라면 한국어, 일본어, 중국어 모두 그대로 인덱싱된다.

활용 예시

써본 기준으로, MinSync가 잘 맞는 상황은 다음과 같다.

1. 에이전트 작업 폴더와 개인 문서 검색

에이전트가 logs/, decisions/, drafts/ 같은 폴더에 작업 기록을 계속 남기거나, 팀 문서·개인 메모가 Markdown/Text 중심으로 쌓이는 구조라면 MinSync를 가벼운 로컬 검색 레이어로 붙일 수 있다. 둘은 본질적으로 같은 사용법이다. git 히스토리가 없어 git diff 방식이 통하지 않는 작업 폴더라도, 무거운 프레임워크 없이 코드 0으로 처리한다는 점이 강점이다.

cd ~/agent-workspaces/skt-tax-agent
minsync init --chunker cdc
minsync watch

이후 별도 RAG 서버 없이도 로컬에서 바로 질문할 수 있다.

minsync query "세무 신고 자동화에서 홈택스 연동 리스크는 뭐였지?" --k 5

개인 메모 폴더라면 watch 대신 한 번 전체 인덱싱한 뒤 필요할 때 검색하는 식으로 써도 된다.

cd ~/Documents/braincrew-notes
minsync init
minsync sync --full
minsync query "에이전트 평가 지표 관련해서 전에 적어둔 내용" --k 5

2. CI나 cron에서 주기적으로 최신화

항상 watch를 켜두기 어렵다면 cron이나 CI에서 주기적으로 sync만 실행해도 된다. 크래시 세이프 커서 덕분에 실패한 실행은 그냥 다시 돌리면 된다.

*/30 * * * * cd /path/to/workspace && minsync sync

이렇게 하면 "검색은 빠르게 하되, 임베딩 비용은 변경분에만 쓰는" 구조를 만들 수 있다.

3. 로컬/온프렘 한국어 RAG

tei: 백엔드로 로컬 임베딩을 붙이면 문서도 쿼리도 외부로 나가지 않는 파이프라인이 된다. 데이터 반출이 제한되는 환경에서 로컬 semantic search를 붙이고 싶을 때 적합하다. 연결 방법과 다국어 인덱싱은 앞의 "로컬 임베딩" 절에 정리해 두었다.

CocoIndex와 비교

CocoIndex GitHub repository screenshot

비슷한 문제의식으로 볼 수 있는 도구로 CocoIndex가 있다. 참고로 CocoIndex는 직접 실측하지 않고 공식 문서 기준으로 정리했다.

CocoIndex는 같은 문제를 더 큰 범위에서 다룬다. codebase, meeting notes, inbox, Slack, PDF, video 같은 여러 source를 AI 에이전트가 사용할 수 있는 최신 context로 바꾸는 프레임워크다. 핵심은 "target은 source의 함수"라는 관점이다.

대략 이런 모델이다.

TargetState = Transform(SourceState)

개발자는 source를 읽고, 변환하고, target state를 선언한다. 그러면 CocoIndex가 어떤 입력이 바뀌었는지, 어떤 처리 결과를 재사용할 수 있는지, target에서 무엇을 insert/update/delete 해야 하는지를 추적한다.

문서에서 자주 나오는 비유는 React와 spreadsheet다. React에서 UI를 직접 조작하기보다 state에 대한 함수로 선언하듯, CocoIndex에서는 target DB를 직접 한 줄씩 맞추기보다 source state에 대한 결과를 선언한다. 파일이 추가되면 해당 파일의 processing component가 생기고, 파일이 수정되면 영향을 받은 target state만 바뀌고, 파일이 삭제되면 연결된 target state도 제거된다.

CocoIndex가 MinSync와 크게 다른 지점은 코드 변경까지 증분 처리의 대상으로 본다는 점이다. 함수에 memo=True를 붙이면 입력과 로직의 fingerprint를 기준으로 결과를 재사용할 수 있다. 파서 옵션을 바꾸거나 변환 함수를 수정했을 때도 모든 것을 무작정 다시 돌리는 대신, 어떤 계산을 다시 해야 하는지 판단하는 쪽에 가깝다.

운영 모드도 나뉜다. 기본 업데이트는 catch-up 방식으로 한 번 실행되고 끝난다. 반면 live update는 프로세스를 계속 띄워두고 source의 변경을 감지한다. 주기적으로 source를 확인할 수도 있고, S3 알림이나 Google Drive 변경 polling처럼 source별 change capture를 활용할 수도 있다. "밤마다 한 번 최신화"가 아니라 "바뀌면 따라간다"에 가까운 구조다.

지원 범위도 넓다. local filesystem, S3, Google Drive 같은 source와 Postgres, LanceDB, Qdrant, Neo4j 같은 target을 연결할 수 있다. 그래서 CocoIndex는 단일 폴더 검색 도구라기보다, AI 제품을 위한 증분 데이터 레이어에 가깝다.

정리하면 이렇게 볼 수 있다.

구분MinSyncCocoIndex
형태그냥 실행하는 단일 CLI 도구위에 코드를 얹는 프레임워크
소스로컬 텍스트 폴더 1개local fs, S3, Google Drive 등 다중
타깃임베디드 LanceDBPostgres, LanceDB, Qdrant, Neo4j 등 다중
상태.minsync/ 파일 (git, 외부 DB 불필요)자체 내부 상태 스토어
셋업바이너리 하나, 코드 0Python 프로젝트 + 파이프라인 작성
적합한 경우에이전트 작업 공간, 로컬 문서 검색, 빠른 semantic index다양한 source/target, live update, knowledge graph

흥미로운 건 차이만이 아니라 공통점이다. 둘 다 콘텐츠 해시로 변경을 감지하고, 둘 다 바뀐 부분만 재처리하고, 둘 다 크래시 세이프하다. 증분 인덱싱의 설계가 비슷하게 수렴하고 있다는 신호로 읽힌다.

그래서 둘은 경쟁 관계라기보다 크기와 추상화 수준이 다른 도구다. 여러 소스를 다양한 타깃으로 흘려보내며 live 갱신까지 필요한 플랫폼을 만든다면 CocoIndex가, 폴더 하나를 코드 없이 가볍게 동기화하고 싶다면 MinSync가 맞다. 둘을 이어서 쓸 수도 있다. 예를 들어 CocoIndex로 PDF와 사내 문서를 Markdown이나 구조화된 text로 변환하고, 특정 팀의 로컬 작업 공간에서는 그 결과물을 MinSync로 빠르게 검색하게 할 수 있다.

AutoRAG와의 관계 (Braincrew의 해석)

이 도구가 어디에서 왔는지도 짚어둘 만하다. MinSync를 만든 NomaDamas는 RAG AutoML 프레임워크 AutoRAG를 만든 팀이기도 하다. AutoRAG 저장소는 Marker-Inc-Korea/AutoRAG이고, NomaDamas/Markr.AI 진영에서 만든 RAG AutoML 프레임워크로 현재 수천 stars 규모다. AutoRAG는 본질적으로 오프라인 도구다. 내 데이터로 수많은 RAG 구성을 평가해 "이 코퍼스에는 이 청커, 이 임베더, 이 인덱스가 최적"이라는 정답을 찾아준다.

그런데 그 최적 구성을 찾은 뒤, 운영 환경에서 문서가 계속 바뀔 때 인덱스를 어떻게 신선하게 유지할지는 AutoRAG의 범위 밖이다. AutoRAG가 코퍼스에 맞는 최적 구성을 골라준다면, MinSync는 그 구성으로 만든 인덱스를 운영 중에 신선하게 유지하는 쪽이다. 둘의 범위가 자연스럽게 맞물릴 여지가 있다.

한 가지 분명히 해둘 점이 있다. MinSync 저장소는 AutoRAG를 직접 언급하지 않으며, 위 연결은 같은 팀이 공개한 방향성과 각 도구의 설계 의도에 근거한 Braincrew의 해석이다. 두 도구가 어떻게 맞물릴지는 앞으로의 릴리스에서 더 구체화될 영역이다.

한계와 주의점

운영에서 미리 알아둘 한계는 다음과 같다.

  • 기본 청커(recursive)는 상단/중간 편집에서 재임베딩 비용이 크다. 비용이 중요하면 CDC 청커를 고려하되, retrieval 품질은 별도로 검증한다.
  • 짧고 균일한 코퍼스에서는 CDC 이점이 거의 없다. 코퍼스가 그런 특성이면 굳이 CDC로 바꿀 이유가 적다.
  • mtime과 파일 크기가 함께 보존되는 복사·동기화 환경에서는 변경을 놓칠 수 있다. 이럴 땐 verify --fix로 보정한다.
  • 텍스트 전용이다. PDF, DOCX, XLSX, 이미지 같은 바이너리 파일에서는 내용을 추출하지 않는다.

이런 파일들은 .minsyncignore에 넣는 것이 좋다.

target/
*.png
*.pdf
*.docx
*.xlsx

검색 대상에서 PDF나 DOCX가 큰 비중을 차지한다면 MinSync 단독으로는 부족하고, 별도의 extraction pipeline으로 텍스트를 먼저 뽑은 뒤 그 결과물을 MinSync가 인덱싱하도록 구성해야 한다. MinSync는 작업 디렉토리나 에이전트 sandbox 안의 텍스트 지식, 개발 문서, Markdown 노트, 코드 주변 설명, 에이전트 memory처럼 자주 바뀌지만 구조가 단순한 텍스트를 빠르게 검색 가능하게 만드는 데 초점이 맞춰져 있다.

정리

테스트하며 가장 크게 남은 발견은, 재임베딩 비용을 좌우한 게 청커 선택이었다는 점이다. CDC 청커가 비용을 실제로 눌러주는데도 README나 소개만 읽어서는 이 점이 잘 드러나지 않았고, 직접 측정하고 나서야 보였다.

도구의 동작은 단순하다. 파일 변경을 manifest로 추적해 git 없이도 바뀐 텍스트만 다시 처리하고, mark-and-sweep로 stale 벡터를 정리하며, 크래시 세이프 커서로 실패한 sync를 안전하게 재시도한다.

언제 쓰면 좋은가로 정리하면 이렇다. 복잡한 production RAG 파이프라인이나 여러 source/target, live 갱신이 필요하면 CocoIndex 같은 프레임워크가 더 적합하다. 반면 로컬 문서 폴더, 에이전트 작업 공간, 텍스트 기반 지식 저장소를 빠르게 semantic search 가능하게 만들고 싶다면 MinSync가 훨씬 가볍고 직접적인 선택지다. 그리고 RAG 인덱스의 최신성을 고민하는 팀이라면, 기본값 대신 CDC 청커로 한 번 측정해보길 권한다.

References

IBK기업은행 여신 승인신청서 작성 업무 효율화

· 약 3분
Braincrew
AI Research & Engineering

TL;DR

금융권 여신 업무에서 반복적으로 작성되는 승인신청서와 심사보고서 초안을 생성형 AI로 보조하는 RAG 기반 PoC를 구축했습니다. 금융 문서의 수치·근거 정확성을 유지하면서도 실무자가 검토 가능한 형태로 문서 초안을 생성하는 데 초점을 맞췄습니다.

프로젝트 개요

여신 승인신청서와 심사보고서는 다양한 자료를 참고해 작성되는 복합 문서입니다. 사업보고서, 감사보고서, 재무제표, 내부 기준 문서 등 여러 출처를 확인해야 하며, 작성자는 수치와 근거를 놓치지 않으면서 정해진 형식에 맞춰 문서를 구성해야 합니다.

Braincrew는 이 업무를 생성형 AI로 완전히 대체하기보다, 실무자가 검토할 수 있는 초안을 빠르게 만들고 관련 근거를 함께 확인할 수 있는 RAG 기반 업무 보조 시스템을 PoC 형태로 구축했습니다.

주요 수행 내용

1. 금융 문서 기반 RAG 파이프라인 구축

금융 문서 자동화에서 가장 중요한 것은 “그럴듯한 문장”이 아니라 “근거가 있는 문장”입니다. 특히 수치, 표, 기준 문구가 많은 문서에서는 원문 근거와 생성 결과가 연결되어야 합니다.

이를 위해 문서 수집, 파싱, 청킹, 검색, 응답 생성을 하나의 파이프라인으로 구성했습니다.

업무 문서 입력
→ 문서 파싱 및 구조화
→ 검색 가능한 단위로 분할
→ 질의 / 섹션별 관련 근거 검색
→ 승인신청서·심사보고서 초안 생성
→ 실무자 검토

2. 표와 수치 정보 보존을 우선한 전처리

금융 문서에는 표 형태의 정보가 많고, 숫자 하나의 오류가 전체 문서의 신뢰도에 영향을 줄 수 있습니다. 따라서 일반 텍스트 추출만으로 처리하기보다, 표와 수치 정보를 최대한 보존하는 방향으로 전처리 전략을 설계했습니다.

주요 고려사항은 다음과 같습니다.

  • 표 구조가 문맥에서 분리되지 않도록 처리
  • 수치와 항목명이 함께 검색될 수 있도록 구조화
  • 섹션별 근거를 추적할 수 있는 형태로 메타데이터 관리
  • 생성 결과에 사용된 근거를 실무자가 확인할 수 있도록 구성

3. 금융 도메인에 맞춘 문서 생성 로직

승인신청서 작성은 단순 요약과 다릅니다. 정해진 문서 구조가 있고, 섹션마다 요구되는 관점이 다르며, 원문 자료를 바탕으로 판단 근거가 드러나야 합니다.

PoC에서는 문서 섹션별로 필요한 근거를 검색하고, 각 섹션의 작성 목적에 맞게 초안을 생성하는 구조를 적용했습니다. 또한 생성된 문장이 근거와 분리되지 않도록 검색 결과와 응답 생성 흐름을 함께 설계했습니다.

4. 엔터프라이즈 환경을 고려한 시스템 구성

금융권 프로젝트에서는 기능 구현만큼 운영 환경과 보안 요구사항이 중요합니다. 외부 서비스 연동, 접근 권한, 문서 보관 방식, 배포 환경 제약 등을 고려해 엔터프라이즈 환경에 맞는 구조로 PoC를 설계했습니다.

구체적인 내부 보안 구성과 운영 세부 사항은 공개하지 않지만, 제한된 환경에서도 RAG 기반 문서 자동화가 동작할 수 있도록 백엔드, 검색 파이프라인, 문서 처리 모듈을 분리해 구성했습니다.

기술 스택

  • LangGraph / LangChain
  • RAG Pipeline
  • LLM API
  • FastAPI
  • Docker
  • 문서 파싱 및 구조화 파이프라인

보안 및 공개 범위

본 글은 공개 가능한 수준의 문제 정의와 접근 방식만 정리했습니다. 실제 고객사 내부 문서 구조, 업무 기준, 평가 결과, 비용 효과, 화면 이미지, 운영망 구성, 상세 성능 수치는 포함하지 않았습니다.

배운 점

금융 문서 자동화에서 LLM의 역할은 단순 생성기가 아니라, 근거 기반 문서 작성 보조자에 가깝습니다. 실무자가 신뢰할 수 있으려면 생성 결과보다 먼저 원문 근거, 수치 보존, 검토 흐름이 설계되어야 합니다.

또한 PoC 단계에서는 자동화율 자체보다 “실무자가 어디까지 믿고 검토할 수 있는가”가 중요합니다. AI가 초안을 만들고, 사람은 근거를 확인하며 최종 판단하는 구조가 엔터프라이즈 문서 자동화의 현실적인 출발점입니다.

LG전자 라이프로그 기반 개인화 AI 어시스턴트 구축

· 약 3분
Braincrew
AI Research & Engineering

TL;DR

일상 활동 데이터를 기반으로 사용자의 맥락을 이해하고 자연어 질문에 답변하는 개인화 AI Agent PoC를 구축했습니다. 단순 키워드 검색이 아니라, 시간·장소·활동·개체 사이의 관계를 함께 활용하는 그래프 기반 하이브리드 검색 구조를 설계해 라이프로그 데이터 탐색 경험을 고도화했습니다.

프로젝트 개요

라이프로그 데이터는 단순한 문서 검색과 다릅니다. 사용자의 하루, 장소, 활동, 소비, 대화, 기록이 시간 순서대로 쌓이고, 질문은 대부분 그중 일부 관계를 추론해야 답할 수 있는 형태로 들어옵니다.

예를 들어 사용자는 특정 날짜나 활동명을 정확히 기억하지 못한 채 “지난번 외출했을 때 들렀던 곳”, “캠핑 때 사용한 물건”, “최근 반복된 생활 패턴”처럼 맥락 중심으로 질문할 수 있습니다. 이런 질문에 대응하려면 개별 이벤트의 유사도만 보는 검색으로는 한계가 있습니다.

Braincrew는 이 문제를 해결하기 위해 라이프로그 데이터를 Agent가 탐색 가능한 구조로 재구성하고, 자연어 질문을 기반으로 관련 맥락을 찾아 답변하는 AI Agent PoC를 개발했습니다.

주요 수행 내용

1. 라이프로그 데이터 구조화

라이프로그 원천 데이터는 시간, 장소, 활동, 개체, 상황 정보가 복합적으로 섞여 있습니다. 이를 Agent가 활용할 수 있도록 검색 가능한 단위로 정리하고, 각 정보 간의 관계를 표현할 수 있는 구조를 설계했습니다.

중점은 원본 데이터를 그대로 나열하는 것이 아니라, 질문에 필요한 맥락을 빠르게 찾을 수 있도록 의미 단위와 연결 관계를 함께 보존하는 것이었습니다.

2. 그래프 기반 하이브리드 검색 설계

라이프로그 질의는 대체로 “무엇과 무엇이 연결되어 있었는가”를 묻습니다. 따라서 벡터 검색만으로는 부족하고, 이벤트 사이의 관계를 함께 탐색할 수 있어야 합니다.

이를 위해 다음 요소를 결합했습니다.

  • 자연어 질의 기반 후보 검색
  • 시간·장소·활동 등 메타데이터 필터링
  • 이벤트 간 관계를 활용한 그래프 탐색
  • 검색 결과를 Agent 응답에 적합한 컨텍스트로 정리하는 후처리

이 구조를 통해 단순히 비슷한 문장을 찾는 수준을 넘어, 사용자의 질문 의도에 맞는 관련 활동과 주변 맥락을 함께 찾을 수 있게 했습니다.

3. 개인화 응답을 위한 Agent 파이프라인 구현

사용자 질문은 정형화되어 있지 않습니다. “지난주”, “저녁에”, “그때”, “자주 갔던 곳”처럼 상대적이고 모호한 표현이 자주 등장합니다.

Agent 파이프라인은 이런 자연어 표현을 해석하고, 필요한 검색 조건을 구성한 뒤, 검색 결과를 종합해 답변하도록 설계했습니다.

핵심 흐름은 다음과 같습니다.

사용자 질문
→ 질문 의도와 조건 추출
→ 라이프로그 검색 / 관계 탐색
→ 관련 맥락 정리
→ 최종 답변 생성

4. 검색·응답 품질 최적화

라이프로그 데이터에서는 “많이 찾는 것”보다 “질문에 필요한 맥락만 정확히 찾는 것”이 중요합니다. 불필요한 기록이 많이 들어가면 답변이 길어지고, 오히려 사용자가 기대한 맥락에서 벗어날 수 있습니다.

따라서 검색 결과를 그대로 LLM에 전달하지 않고, 질문과의 관련도, 시간 범위, 연결 관계를 기준으로 컨텍스트를 압축·정리하는 과정을 두었습니다. 이를 통해 응답의 일관성과 사용자 경험을 개선했습니다.

기술 스택

  • AI Agent / LangGraph
  • Hybrid Search
  • Graph 기반 맥락 탐색
  • Python / FastAPI
  • LLM API

보안 및 공개 범위

본 글은 공개 가능한 수준의 아키텍처와 접근 방식만 정리했습니다. 실제 프로젝트의 원천 데이터 구조, 평가셋, 상세 성능 수치, 내부 화면, 운영 환경 세부 정보는 포함하지 않았습니다.

배운 점

라이프로그 기반 AI Agent에서 중요한 것은 모델 성능만이 아닙니다. 사용자의 활동 기록을 어떤 단위로 나누고, 어떤 관계로 연결하며, 질문에 필요한 맥락만 어떻게 선별할지가 전체 경험을 좌우합니다.

특히 개인화 AI에서는 검색 결과의 양보다 맥락의 정확도가 더 중요합니다. Agent가 잘 답하게 하려면, Agent에게 필요한 작업 공간과 검색 구조를 먼저 잘 만들어야 합니다.