지표 정의 확인
숫자를 해석하기 전에 그 지표가 실제로 무엇을 세는지 확인하는 일.
외 18개 · 풀이 뒤 해설에서
출제와 채점 방식문제 하나를 만들 때
문제 하나를 만들 때
이만큼 정해 둡니다.
모든 문제는 사람이 AI와 함께 직접 풀어 보며 막히는 곳과 함정을 다듬었습니다.
문제지만 AI에 넣어서는 풀리지 않고, 무엇을 물었는지까지 채점합니다.
출제 명세
연습 문제 1개 평균
- 질문해야 열리는 사실
- 10개
- 대화 상대·조회 창
- 1.9곳
- 부분 점수 규칙이 붙은 채점 기준
- 5개
- 감점 사례와 보완법
- 6개
- 해설 블록
- 8가지
- 60
- 연습 문제 6개 영역 × 1~10단계
- 611
- 숨은 사실 질문해야 열립니다
- 116
- 대화 상대·조회 창 사람 75 · 자료 조회 41
- 311
- 채점 기준 항목마다 부분 점수
- 375
- 감점 사례와 보완법 고치면 몇 점이 오르는지
- 85
- 숨은 테스트 지시문을 실제 입력에 돌려 봅니다
단계가 오를수록 AI만으로는 점수가 나오지 않습니다
문제지를 AI에게 통째로 맡겼을 때의 점수입니다. 1~3단계는 AI만으로도 시작할 수 있고, 위로 갈수록 직접 확인한 사람만 점수를 받습니다.
1~3단계 · 기본54점AI만으로도 시작할 수 있게 열어 둔 구간
4~6단계 · 응용29점숨은 사실 1~2개를 직접 확인해야 합니다
7~10단계 · 심화16점확인한 사람과 안 한 사람이 갈립니다
AI만 썼을 때 평균 점수100점 만점 · 단계마다 6개 영역 평균
단서는 문제지에, 답은 질문 뒤에 있습니다
결론을 바꾸는 사실은 팀장, 담당자, 조회 창에 물어야 나옵니다.
아래는 예시 화면입니다.
“지난주 빵 폐기량이 늘었어요. 생산량을 10% 줄이는 게 맞는지 정리해 주세요.”
| 매장 | 생산 | 폐기 | 비고 |
|---|---|---|---|
| 역삼점 | 400 | 52 | |
| 합정점 | 380 | 49 | |
| 판교점 | 420 | 168 | 행사 |
박
박 점장판교점 · 대화 상대
행사 때 나간 시식용 빵은 폐기로 잡혔나요?
아, 시식으로 나간 120개를 폐기로 찍었어요. 따로 입력하는 칸이 없어서요.
3 열린 사실판교점 폐기 168개 중 120개는 시식빼면 48개, 다른 매장과 같은 수준
문제지만 읽은 답
전 매장 생산량 10% 감축
사실을 확인한 답
확인 없이 쓴 답은 방향이 맞아도 핵심 점수 0감축 보류, 시식 수량은 따로 기록
근거확인결과물만 보지 않습니다
결과물, 질문 기록, 프롬프트, 책임과 보안을 한 장에 따로 채점합니다. 문제마다 채점 기준이 평균 5개이고, 기준마다 부분 점수가 있습니다. 아래는 2장 문제에서 시식 질문을 놓친 응시자의 예시입니다.
- 결론12/30
- 근거15/25
- 계산15/15
- 대안8/15
- 형식12/15
채점표 점수62점C
- “폐기량은 어떤 기준으로 집계하나요?”사실 확인
- “지난주 날씨는 어땠나요?”불필요
- 시식 수량 확인놓침
필수 사실 1/2 · 불필요 1과정 등급 A
“매장별로 나눠서 비교하고, 비고 칸에 적힌 내용은 따로 표시해 줘.”
잘한 점: 단서가 있는 칸을 AI가 따로 보게 했습니다.
책임과 보안고객·직원 이름 입력 없음
틀린 이유보다 다음에 할 일을 적습니다
같은 응시자의 해설입니다.
무엇을 놓쳤는지, 무엇을 물었으면 몇 점을 되찾는지가 바로 보입니다.
행사 매장의 시식 수량+18
- 단서 비고 칸의 ‘행사’
- 물었어야 할 질문 “행사 때 나간 빵은 어떻게 잡혔나요?”
- 열리는 사실: 시식 120개가 폐기로 기록됨
| 기준 | 잃은 점수 | 고칠 것 |
|---|---|---|
| 결론 | −18 | 시식 수량을 뺀 폐기량으로 다시 판단 |
| 대안 | −7 | 기록 방법까지 제안 |
낮은 점수
“이 자료 보고 생산량 줄일지 정리해 줘.”
높은 점수
“판교점 폐기 중 시식 120개를 빼고 매장별로 다시 비교해 줘.”
- 놓친 사실과 되찾는 방법단서, 물었어야 할 질문, 열리는 사실
- 감점 복구표기준별 점수와 감점마다 고칠 것
- 내 답과 모범답안나란히 비교
- 풀이 경로단서에서 결론까지의 순서
- 흔한 오답AI에 맡긴 답이 몇 점에서 멈추는지
- 프롬프트 비교같은 문제, 다른 지시
- 핵심 개념문제마다 1~2개
- 면접에서 이렇게 말하기익힌 순서를 내 경험에 옮기는 법
60문제에서 다루는 개념
영역마다 하나씩만 보여 드립니다.
어디서 어떻게 쓰는지는 문제를 푼 뒤 해설에서 열립니다.
과잉 자동화
간단한 도구로 충분한 일에 더 비싸고 복잡한 자동화를 쓰는 것.
외 18개 · 풀이 뒤 해설에서
출력 형식 고정
AI의 답이 매번 같은 모양으로 나오도록 형식을 정해 두는 것.
외 19개 · 풀이 뒤 해설에서
원본 전수 대조
옮겨 적은 자료를 원본과 한 줄씩 빠짐없이 맞춰 보는 방법.
외 16개 · 풀이 뒤 해설에서
미확인과 틀림의 구분
원본을 보지 못한 문장은 틀린 것이 아니라 아직 모르는 것.
외 19개 · 풀이 뒤 해설에서
민감정보
건강 이력처럼 새어 나가면 피해가 큰 개인정보.
외 18개 · 풀이 뒤 해설에서
연습에서 익힌 순서로 내 경험을 말합니다
면접관이 듣고 싶은 것은 연습 문제가 아니라 지원자의 경험입니다. 연습에서 몸에 익힌 확인 순서를 내 경험에 대입하면 ‘AI를 자주 씁니다’ 대신 구체적인 장면과 성과로 답할 수 있습니다.
“AI를 업무에 어떻게 쓰나요?”
일하던 매장에서 재료 폐기가 늘어 발주를 줄이자는 이야기가 나왔습니다. AI로 주간 폐기 기록을 정리하다 특정 날짜에만 폐기가 몰린 것을 보고, 결론을 내기 전에 그날 무슨 일이 있었는지 먼저 확인했습니다. 시음 행사분이 폐기로 기록돼 있었습니다. 발주는 그대로 두고 행사분을 따로 기록하게 해서, 품절 없이 실제 폐기만 줄였습니다.
- 단서숫자가 튀는 곳, 비고처럼 지나치기 쉬운 칸
- 확인AI 결론을 쓰기 전에 사람에게 먼저 묻기
- 성과줄인 낭비, 막은 실수를 숫자로
연습 문제의 사례를 그대로 말하면 다른 지원자와 겹칩니다.
순서만 가져가고 장면은 내 경험으로 채우세요.
“AI 답을 그대로 믿지 않았던 경험이 있나요?”
AI가 낸 숫자와 문장을 원본과 맞춰 보는 순서를 익힙니다. AI 결과를 고쳐 쓴 내 경험을 이 순서로 말하면 됩니다.
연습할 영역 · 검증“AI에 넣지 않은 정보가 있었나요?”
무엇을 빼고 무엇만 AI에 맡길지 나누는 기준을 익힙니다. 개인정보나 내부 자료를 다룬 경험을 그 기준으로 설명할 수 있습니다.
연습할 영역 · 책임과 보안“AI가 모든 일에 더 낫다고 보나요?”
같은 집계를 AI 코드와 엑셀로 모두 해 보며 어떤 일에 어떤 도구가 맞는지 감을 익힙니다. 도구를 고른 이유를 근거와 함께 말할 수 있습니다.
연습할 영역 · 데이터 처리“요청받은 대로 하지 않은 적이 있나요?”
요청을 받으면 결론 전에 무엇을 물어야 하는지 익힙니다. 요청 뒤의 진짜 문제를 찾은 경험을 꺼내기 쉬워집니다.
연습할 영역 · 문제 정의출제와 채점에 대해 많이 묻는 것
문제지만 꼼꼼히 읽으면 풀 수 있나요?
1~3단계는 문제지만으로도 어느 정도 점수가 나옵니다. 단계가 오를수록 결론을 바꾸는 사실이 대화 상대나 조회 창 안에 있어서, 무엇을 물어야 하는지 찾아내야 점수가 올라갑니다.
질문을 많이 하면 감점되나요?
질문 횟수만으로 감점하지는 않습니다. 다만 과제와 상관없는 질문이나 이미 들은 내용을 다시 묻는 질문이 쌓이면 과정 평가에 반영됩니다.
프롬프트는 어떻게 채점하나요?
AI에게 한 지시를 결과물과 함께 읽습니다. 잘한 점은 응시자가 쓴 문장을 그대로 인용해 보여 드리고, 지시 설계 영역은 응시자의 지시문을 숨은 테스트 입력에 직접 돌려 확인합니다. 문제를 통째로 붙여 넣고 '알아서 해 줘'만 붙인 지시는 결과가 그럴듯해도 높은 점수를 받기 어렵습니다.
정답이 하나로 정해져 있나요?
계산이나 판정처럼 답이 하나인 항목은 정답과 비교합니다. 보고서나 지시문처럼 표현이 다를 수 있는 결과물은 반드시 들어가야 할 내용과 빠지면 안 되는 근거를 기준으로 채점합니다.
안내를 읽는 시간도 제한 시간에 들어가나요?
들어가지 않습니다. 역할, 쓸 수 있는 창, 제출 형식을 먼저 읽고 '자료 열기'를 누르면 그때부터 시간이 흐릅니다. 자료와 대화 상대는 그 전에는 열리지 않습니다.
해설에서는 무엇을 볼 수 있나요?
기준별 점수와 감점 이유, 놓친 사실과 그 사실을 열 수 있었던 질문, 정답까지 가는 순서, 핵심 개념이 나옵니다. 정밀 진단도 해설을 전부 보여 드립니다.
AI 도움 점수는 어떻게 잰 건가요?
문제지만 AI에 주고 '알아서 풀어 달라'고 했을 때와 AI가 스스로 계획을 세워 풀게 했을 때의 답안을 같은 채점표로 채점한 값입니다. 문제마다 해설의 'AI만 썼을 때' 항목에 적어 둡니다.