평가 대상
LLM·RAG 서비스, 모델·생성 프롬프트와 관련 설정
AI QUALITY EVALUATION
답변의 품질과 근거를,
같은 기준으로 확인합니다.
LLM 답변과 RAG 검색 근거를 함께 평가하는 웹 기반 플랫폼입니다. 후보를 비교하고, 사람의 검토를 다음 개선으로 연결합니다.
평가 준비부터
재검증까지 연결합니다.
AI 개발팀, 업무·서비스 운영팀, 품질·변경 승인 담당자가 평가 조건과 결과를 함께 확인할 수 있습니다.
평가 준비모델 · 질문 · 채점 기준
실험과 검토자동 심사 · 후보 비교
개선과 재검증검토 이력 · 새 평가셋
문항별 답변·판정, 심사 이유·검색 본문, 사용량과 검토 이력을 남깁니다.
무엇을 바꾸고,
무엇을 고정했는지.
평가 대상, 데이터와 채점 구성을 분리하고 실행 조건을 스냅샷으로 보존합니다.
평가셋
업무 질문·기대 답변·대화, 검색 정답·고정 답변과 버전
채점 구성
심사 모델·규칙·루브릭, 역할과 임계값
현재 설정을 수정해도 저장한 실험 조건은 유지됩니다. 외부 제공자가 모델의 실제 버전을 변경하는 것까지 고정하지는 않습니다.
RAG 진단
검색과 답변을
따로 살펴봅니다.
정답 문서를 못 찾았는지, 찾고도 잘못 답했는지를 구분합니다. 서비스가 실제 반환한 자료를 기준으로 검색 결과와 답변의 근거를 확인합니다.
- 문서 ID 기반 Precision·Recall·MRR
- 검색 순위·문서 분할·원문 파싱 검토
- 답변의 사실·절차·인용과 근거 충실도 확인
업무 질문질문 · 대화 맥락
검색 근거문서 · 조각 · 순위
답변 품질실제 본문 · 최종 답변
선택형 Ragas 지표는 정답 자료와 추가 호출 등 적용 조건을 확인합니다.
사람의 검토
검토한 사례를
다음 평가 자산으로.
자동 심사는 검토 우선순위를 돕습니다. 중요한 업무 판단은 담당자가 원문과 조건을 확인하고, 검토된 라벨을 평가셋의 새 버전에 반영합니다.
- 문항별 답변·심사 이유·검색 본문 대조
- 사람 판정·메모·근거 라벨과 변경 검토
- 과거 실험을 보존하며 개선 후 새 실험 실행
문항 검토원본 대조 · 메모
평가셋 새 버전정답 · 근거 라벨
새 실험변경 비교 · 재검증
평가 어시스턴트는 관리자 활성화·등록 모델이 필요한 선택 기능입니다.
실패와 근거 부족을
구분하는 릴리스 판단.
기준 모델과 후보 모델을 같은 정책으로 평가하고 검사별 근거를 보고서로 확인합니다. 조직의 최종 변경 승인 검토를 지원합니다.
필수 검사 충족
평가 범위와 결과를 확인하고 변경 승인을 검토합니다.
확정된 실패
실패 항목과 문항을 수정한 뒤 동일 조건으로 재검증합니다.
판단 근거 부족
표본·반복 실행·평가 조건을 보완한 뒤 다시 판단합니다.
고객의 모델과
RAG 환경에 연결합니다.
웹 화면·API·로컬 CLI를 활용하고, 평가 대상·심사·대화 모델을 역할에 맞게 등록합니다.
모델·RAG 연결
OpenAI 호환 API, HTTP 기반 RAG, WeKnora·RAGFlow 연계를 지원합니다. 상세 추적 범위는 서비스와 어댑터가 반환하는 자료에 따라 달라집니다.
데이터와 접근 정책
외부 모델을 선택하면 평가 입력이 해당 제공자에게 전달됩니다. 내부망·폐쇄망은 패키지·모델·네트워크 사전 검토가 필요합니다.
서버와 모델 자원 구분
앱 서버는 모델을 API로 연결할 경우 GPU가 필수가 아닙니다. LLM·RAG·벡터 DB·문서 저장소와 백업 자원은 별도로 산정합니다.
초기 시스템 사양과 용량 계획 보기
| 항목 | 소규모 PoC | 일반 운영 |
|---|---|---|
| CPU | 2 vCPU | 4 vCPU 이상 |
| 메모리 | 4GB RAM | 8GB RAM 이상 |
| 저장공간 | SSD 50GB 이상 | SSD/NVMe 100GB 이상 |
| GPU | 필수 아님 · 모델 API 연결 | 필수 아님 · 모델 API 연결 |
| 환경 | 64비트 Linux · x86_64 | Ubuntu 24.04 LTS 등 운영용 Linux |
| 실행 | Docker Engine·Compose | 검증된 이미지·영구 데이터 볼륨 |
장문·대량 평가는 8 vCPU·RAM 16GB·SSD 200GB 이상부터 검토하며, 대표 데이터로 호출량·보관량·지연을 측정해 조정합니다. 다중 인스턴스·고가용성은 작업 큐와 저장소 구조를 별도 설계합니다. 이 사양은 처리량 보장이나 성능 인증이 아닙니다.
2026.10.26 소개 자료 기준. 선택 기능과 연결 환경에 따른 적용 범위는 도입 시 확인합니다.
작은 PoC로
적용 가능성을 확인합니다.
기간과 문항 수를 먼저 고정하기보다, 업무 위험과 대표 데이터에 맞춰 범위를 정합니다.
범위 합의
업무·모델·RAG, 중요 오류와 성공 기준
기준선 확보
대표 질문·정답·근거, 채점 기준과 기존 모델
비교·검토
후보별 평가, 문항 차이·원인·사용량 확인
운영 정착
검토 책임, 버전 관리와 정기 재검증
평가해야 할 AI가 있다면,
업무 기준부터 함께 정합니다.
업무 과제와 데이터를 출발점으로,
필요한 기술과 도입 범위를 함께 정합니다.