개요
Prompt Evaluation은 Work Session에서 사용자가 AI에게 보낸 프롬프트를 분석해 품질을 평가하는 리포트입니다. 어떤 지시가 효과적이었고 어떤 지시가 AI를 혼란스럽게 했는지 구체적인 피드백을 제공합니다.
리포트 구성
생성된 리포트는 아래 항목으로 구성됩니다.
01
전체 품질 점수
세션 전체 프롬프트의 명확성·구체성·맥락 제공 점수
02
효과적인 프롬프트
AI가 잘 이해하고 빠르게 수행한 지시 패턴 분석
03
개선이 필요한 프롬프트
반복 수정·혼란이 발생한 구간과 그 원인 분석
04
Before → After 리라이트
개선이 필요한 프롬프트를 더 효과적인 형태로 다시 작성한 예시
사용 가이드
명령어 형식
Claude Code 대화창에서 아래 명령어를 입력하세요. sessionId를 생략하면 현재 세션이 자동으로 사용됩니다.
/prompt-evaluate [sessionId?]파라미터
| 이름 | 타입 | 필수 | 기본값 | 설명 |
|---|---|---|---|---|
| sessionId | string | 선택 | 현재 세션 | 평가할 세션의 ID. 생략 시 현재 Claude Code 세션(CLAUDE_SESSION_ID 환경변수)이 사용됩니다. 세션 ID가 없으면 .claude-prompts-* 파일을 자동 탐색합니다. |
실행 흐름
1Skill 프롬프트가 로드되고 sessionId 해석(인수 → 환경변수 → 파일 탐색) 순서로 대상 세션을 결정합니다.
2대상 세션 데이터가 없으면 '캡처된 데이터가 없습니다' 메시지를 출력하고 종료합니다.
3get_session_prompts 툴이 호출되어 세션 내 프롬프트 목록과 AI 응답 쌍을 조회합니다. LLM이 명확성·구체성·맥락 점수와 Before → After 리라이트를 포함한 Markdown 리포트를 생성합니다.
4리포트를 대화창에 출력한 뒤 save_prompt_evaluation_report 툴로 서버에 자동 저장합니다.
오류 안내
aiflare.yml 없음
프로젝트 루트에 aiflare.yml이 없거나 api_key가 비어 있습니다.
세션 ID 없음
Claude Code 세션 밖에서 실행하고 sessionId도 지정하지 않으며 .claude-prompts-* 파일도 없는 경우 발생합니다. Claude Code 내에서 실행하거나 세션 ID를 직접 입력하세요.
세션 없음
지정한 세션 ID에 해당하는 데이터가 없습니다. 해당 세션에서 git commit이 한 번이라도 발생했는지 확인하세요.