긴급·높음·보통·낮음으로 나누면 일이 정리된 듯 보입니다. 하지만 팀에서는 높음·보통·낮음만 쓴다면 첫 분류를 그대로 넣을 수 없습니다. 이것은 반드시 모델의 오판이라기보다 분류 계약이 없었던 문제일 수 있습니다.
기본 요청은 구체적인 범주와 정렬 규칙을 모두 고정하지 않았습니다. 두 번째 요청에서 세 범주와 원문 순서를 명시했습니다. 결과 차이는 그 추가 규칙의 준수 여부이며 실제 고객 응대 정확도나 성과를 뜻하지 않습니다.
실제 고객이 없는 가상 문의 10건과 사전 분류 규칙을 만들었습니다.
긴급은 보안 위험 또는 오늘 마감과 업무 중단, 예정은 오늘이 아닌 기한이나 실행 요청, 정보는 기능·방법·목록 질문으로 정의했습니다. 기대값은 urgent 4건, scheduled 3건, info 3건입니다.
두 표에서 ID 누락, 원문 순서, 분류값, 근거 구절과 표 밖 문구를 검사했습니다. 기본 결과의 긴급, 높음, 보통, 낮음은 의미를 사전 범주로 매핑한 값과 실제 표기값을 분리해 판정했습니다.
개인정보 없는 가상 문의 10건
E-01 | 계정이 잠겨 오늘 14시 발표 전에 접근 필요 E-02 | 8월 9일까지 원고 맞춤법 확인 요청 E-03 | 요금제별 지원 기능이 궁금함 E-04 | 본인이 아닌 의심스러운 로그인 알림을 받음 E-05 | 내일 오전까지 썸네일 교체 요청 E-06 | 뉴스레터 수신 해지 방법 문의 E-07 | 오늘 18시 마감 문서의 링크가 열리지 않음 E-08 | 다음 주 보고서 표 정리 요청 E-09 | 지원 언어 목록 문의 E-10 | 첨부 파일이 열리지 않아 오늘 검수가 중단됨
- 입력
- 가상 문의 10건
- 긴급
- 4건
- 예정
- 3건
- 정보
- 3건
- 판정
- 20행 전수
- 개인정보
- 실제 정보 없음
A. 기준 없는 우선순위 요청
아래 가상 문의 10건을 우선순위별로 분류하고 이유를 표로 정리해줘.
B. 범주·근거 규칙 7개
아래 가상 문의 10건을 세 범주로 분류해 표만 보여줘. 규칙 7개: 1) 원문 순서와 ID 유지, 2) 열은 ID·category·evidence 세 개만, 3) 보안 위험 또는 ‘오늘’ 마감·업무 중단은 urgent, 4) 오늘이 아닌 기한이나 실행 요청은 scheduled, 5) 기능·방법·목록 질문은 info, 6) evidence는 판정 근거가 된 원문 구절만 그대로 인용, 7) 요약·조언·추정·추가 문장 금지.
긴급부터 낮음까지 새 체계를 만들고 긴급도 순으로 행을 바꿨습니다.
기본 결과는 보안 알림과 오늘 업무 중단을 주로 긴급, 내일 마감을 높음, 여유 있는 실행 요청을 보통, 정보 질문을 낮음으로 나눴습니다. 다만 오늘 18시 마감 E-07은 높음으로 내려가 사전 기대 분류와 달랐습니다.
대신 E-04를 첫 행으로 올리면서 10건 중 8건의 위치가 달라졌고, 문의 문구를 요약했습니다. FAQ 전달과 계정 보호 같은 원문 밖 처리 방향도 추가했습니다. 자동 실행 기준으로 쓰려면 사람이 만든 규칙과 구분해야 합니다.
원본 크기로 보기
원본 크기로 보기
원본 크기로 보기
원본 크기로 보기 세 범주와 근거 규칙을 고정하자 원문 순서의 10행만 남았습니다.
조건형 표는 E-01부터 E-10까지 입력 순서를 그대로 지켰습니다. category는 urgent, scheduled, info 외 값을 사용하지 않았고 사전 기대값 10건과 모두 같았습니다.
evidence는 각 문의에서 가져온 실제 구절이었습니다. E-10은 전체 문장이 아니라 ‘오늘 검수가 중단됨’만 인용했지만 원문에 포함된 문구이고, 새로운 사실을 덧붙이지 않았습니다.
원본 크기로 보기
원본 크기로 보기 분류 결과 20행을 사전 규칙과 원문으로 다시 검사한 결과
| 검사항목 | 기본 요청 | 고정 규칙 | 판정 |
|---|---|---|---|
| 문의 수 | 10 / 10 | 10 / 10 | 둘 다 통과 |
| 원문 ID 순서 | 2 / 10 | 10 / 10 | 조건형 통과 |
| 기대 분류 의미 | 9 / 10 | 10 / 10 | 고정 규칙 통과 |
| 지정 범주 이름 | 0 / 10 | 10 / 10 | 조건형 통과 |
| 원문 근거 구절 | 검사 대상 아님 | 10 / 10 | 조건형 통과 |
| 표 밖 문구 블록 | 4개 | 0개 | 조건형 통과 |
기본 결과의 긴급은 urgent, 높음·보통은 scheduled, 낮음은 info로 사전에 대응시켜 의미만 비교했습니다. 기본 이유는 원문 인용 조건이 없었으므로 근거 구절 통과율로 계산하지 않았습니다.
A. 기본 우선순위 표 10행
- 01
1순위 (긴급) | E-04 | 본인이 아닌 의심스러운 로그인 알림을 받음 | 보안 위협(계정 탈취 가능성) 문제로, 타 타임라인 사안보다 빠르게 최우선 대응하여 2차 피해를 막아야 합니다.
- ID
- E-04
- 분류
- 1순위 (긴급)
- 02
1순위 (긴급) | E-01 | 계정이 잠겨 오늘 14시 발표 전에 접근 필요 | 당일 특정 시각(14시) 마감이 임박해 있으며, 사용자 접근 권한 박탈로 인해 즉각 조치가 필요합니다.
- ID
- E-01
- 분류
- 1순위 (긴급)
- 03
1순위 (긴급) | E-10 | 첨부 파일이 열리지 않아 오늘 검수가 중단됨 | 시스템 문제로 인해 **현재 실제 업무가 중단(Blocker)**된 상태이므로 속히 해결해 주어야 합니다.
- ID
- E-10
- 분류
- 1순위 (긴급)
- 04
2순위 (높음) | E-07 | 오늘 18시 마감 문서의 링크가 열리지 않음 | 당일 마감(18시) 건이지만, 14시 발표(E-01)보다는 잔여 시간이 있고 실제 검수 중단(E-10)보다는 파급력이 소폭 낮습니다.
- ID
- E-07
- 분류
- 2순위 (높음)
- 05
2순위 (높음) | E-05 | 내일 오전까지 썸네일 교체 요청 | 내일 오전 마감으로, 당일 마감건들(E-01, E-07, E-10) 처리 후 순차적으로 당일 내 조치가 완료되어야 합니다.
- ID
- E-05
- 분류
- 2순위 (높음)
- 06
3순위 (보통) | E-02 | 8월 9일까지 원고 맞춤법 확인 요청 | 마감일(8월 9일)까지 수일 이상의 충분한 여유가 있으나, 작업 시간이 필요한 처리 요청입니다.
- ID
- E-02
- 분류
- 3순위 (보통)
- 07
3순위 (보통) | E-08 | 다음 주 보고서 표 정리 요청 | 다음 주 마감 건으로 시간적 여유가 있으므로 긴급한 지원 요청이 처리된 후 진행합니다.
- ID
- E-08
- 분류
- 3순위 (보통)
- 08
4순위 (낮음) | E-03 | 요금제별 지원 기능이 궁금함 | 업무 차단이나 당일 마감 요소가 없는 단순 정보 안내 문의입니다.
- ID
- E-03
- 분류
- 4순위 (낮음)
- 09
4순위 (낮음) | E-09 | 지원 언어 목록 문의 | FAQ/문서 등으로 빠르게 응대할 수 있는 단순 정보 조회 문의입니다.
- ID
- E-09
- 분류
- 4순위 (낮음)
- 10
4순위 (낮음) | E-06 | 뉴스레터 수신 해지 방법 문의 | 서비스 이용의 심각한 장애가 아닌 단순 설정 문의로 긴급도가 가장 낮습니다.
- ID
- E-06
- 분류
- 4순위 (낮음)
B. 고정 범주 표 10행
- 01
E-01 | urgent | 오늘 14시 발표 전에 접근 필요
- ID
- E-01
- 분류
- urgent
- 02
E-02 | scheduled | 8월 9일까지 원고 맞춤법 확인 요청
- ID
- E-02
- 분류
- scheduled
- 03
E-03 | info | 요금제별 지원 기능이 궁금함
- ID
- E-03
- 분류
- info
- 04
E-04 | urgent | 본인이 아닌 의심스러운 로그인 알림을 받음
- ID
- E-04
- 분류
- urgent
- 05
E-05 | scheduled | 내일 오전까지 썸네일 교체 요청
- ID
- E-05
- 분류
- scheduled
- 06
E-06 | info | 뉴스레터 수신 해지 방법 문의
- ID
- E-06
- 분류
- info
- 07
E-07 | urgent | 오늘 18시 마감 문서의 링크가 열리지 않음
- ID
- E-07
- 분류
- urgent
- 08
E-08 | scheduled | 다음 주 보고서 표 정리 요청
- ID
- E-08
- 분류
- scheduled
- 09
E-09 | info | 지원 언어 목록 문의
- ID
- E-09
- 분류
- info
- 10
E-10 | urgent | 오늘 검수가 중단됨
- ID
- E-10
- 분류
- urgent
이번 테스트가 확인하지 않은 것
- 실제 고객 문의가 아닌 가상 문장 10건을 사용했습니다.
- 분류 결과로 메일 발송, 계정 조치와 티켓 배정을 실행하지 않았습니다.
- 한국어의 짧은 문의만 시험했고 첨부 파일과 대화 이력은 넣지 않았습니다.
- 실제 조직의 SLA, 법무·보안 담당자 판단을 대신하지 않습니다.
- 처리 시간, 정확도 백분율, 비용과 매출 변화는 측정하지 않았습니다.
보안·결제 문의는 점수만으로 자동 처리하지 않습니다.
우선순위는 사람 검토 순서를 돕는 값으로 쓰세요. 계정 권한을 바꾸거나 결제를 취소하는 외부 행동으로 바로 연결하지 않습니다. 분류가 틀렸을 때의 비용이 큰 항목은 자동 처리에서 분리하는 편이 안전합니다.
같은 경계 문장을 여러 사람이 다르게 해석한다면 모델을 다시 부르기 전에 규칙을 보완해야 합니다. 입력 ID와 판단 이유를 남기고, 실제 원문을 모르는 상태에서 고객 정보를 추측해 넣지 마세요.
직접 확인할 자료
입력과 판정 규칙을 함께 보면 결과를 다시 확인하기 쉽습니다. 자료의 숫자는 별도 표시가 없는 한 학습용 가상 값입니다.
판정 기준을 정할 때 확인한 공식 출처
Google은 목표, 맥락과 원하는 출력 형식을 구체적으로 지정하는 방법을 안내하고, Gemini 응답은 부정확할 수 있으므로 다시 확인하라고 설명합니다. 이 글의 세 범주와 판정 기준은 외부 표준이 아니라 테스트를 위해 미리 정한 규칙입니다.
원실험: 2026년 8월 1일 · 공식 자료 재확인: 2026년 8월 31일
