테스트 전략

체계적인 테스트 접근 방식으로 스킬이 안정적으로 작동하도록 보장하세요.

테스트 매트릭스

세 가지 차원에서 스킬을 테스트하세요:

1. 정상 동작

스킬이 일반적인 사용 사례에서 작동하나요?

테스트 시나리오:

  • 범위 내 표준 요청
  • 요청의 일반적인 변형
  • 연속적인 여러 관련 요청

"React Guidelines" 스킬 예시:

"버튼 컴포넌트 생성해줘" "로딩 상태가 있는 클릭 핸들러 추가해줘" "접근성 있게 만들어줘"

2. 엣지 케이스

스킬이 비정상적이지만 유효한 요청을 처리하나요?

테스트 시나리오:

  • 경계 조건
  • 비정상적인 조합
  • 최소 및 최대 입력

예시:

"빈 컴포넌트 생성해줘" "props 20개 있는 컴포넌트 생성해줘" "5단계 중첩 컴포넌트"

3. 범위 외

스킬이 올바르게 거절하거나 대응하나요?

테스트 시나리오:

  • 스킬 도메인 밖의 명확한 요청
  • 관련된 것처럼 보이지만 다루지 않는 요청
  • 스킬과 충돌할 수 있는 요청

"React Guidelines" 스킬 예시:

"데이터베이스 어떻게 설정해?" "Python 스크립트 작성해줘" "Vue를 대신 사용해야 할까?"

테스트 체크리스트

릴리스 전

  • [ ] 모든 문서화된 가이드라인 테스트됨
  • [ ] 예시가 예상 출력을 생성하는지 확인됨
  • [ ] 엣지 케이스가 오류를 일으키지 않는지 확인됨
  • [ ] 범위 외 처리가 적절한지 확인됨
  • [ ] 모든 지원 플랫폼에서 테스트됨

릴리스 후

  • [ ] 사용자 피드백 모니터링
  • [ ] 실제 시나리오로 테스트
  • [ ] 인기 스킬과의 충돌 확인
  • [ ] 업데이트가 기존 동작을 깨뜨리지 않는지 확인

플랫폼별 테스트

Claude Code

bash
# 스킬 설치
claude skill add your-username/skill-name

# 프로젝트에서 테스트
claude "Your test prompt here"

# 동작 확인
# 응답이 가이드라인을 따르는지 확인

Codex CLI

bash
# 스킬 추가
codex config add-skill your-username/skill-name

# 테스트
codex "Your test prompt here"

ChatGPT

  1. Custom Instructions에 스킬 내용 추가
  2. 새 대화 시작
  3. 프롬프트 테스트 및 응답 확인

자동화 테스트

철저한 테스트를 위해 테스트 스위트를 만드세요:

typescript
// skill-tests.ts
interface TestCase {
  prompt: string;
  expectedBehavior: string[];
  shouldNotContain?: string[];
}

const testCases: TestCase[] = [
  {
    prompt: "Create a React button component",
    expectedBehavior: [
      "Uses functional component",
      "Includes TypeScript types",
      "Has accessibility attributes",
    ],
    shouldNotContain: [
      "class component",
      "any type",
    ],
  },
  // Add more test cases...
];

회귀 테스트

스킬 업데이트 시:

  1. 현재 동작 문서화 - 현재 출력의 예시 저장
  2. 변경 적용 - 스킬 업데이트
  3. 출력 비교 - 예상치 못한 변경 확인
  4. 개선 확인 - 의도된 변경이 작동하는지 확인

사용자 테스트

광범위한 릴리스 전:

  1. 알파 테스트 - 신뢰할 수 있는 2-3명의 사용자와 테스트
  2. 피드백 수집 - 무엇이 작동하나요? 무엇이 혼란스럽나요?
  3. 반복 - 개선 사항 적용
  4. 베타 테스트 - 더 큰 그룹과 테스트
  5. 릴리스 - 마켓플레이스에 게시

일반적인 문제 디버깅

스킬이 활성화되지 않음

확인사항:

  • 스킬이 올바르게 설치되었나요?
  • 프롬프트가 스킬의 도메인과 관련이 있나요?
  • 더 높은 우선순위의 충돌하는 스킬이 있나요?

일관성 없는 동작

확인사항:

  • 가이드라인이 충분히 구체적인가요?
  • 모순되는 규칙이 있나요?
  • 스킬이 너무 광범위한가요?

예상치 못한 출력

확인사항:

  • 예시가 명확한가요?
  • 맥락 섹션이 정확한가요?
  • 다루지 않은 엣지 케이스가 있나요?

다음 단계