서류전형 AI로 자동화하기 6단계

한줄 요약: 서류전형 자동화는 자격 확인(정량)과 자기소개서 채점(정성) 두 단계입니다. 정량은 규칙으로 끝나지만, 정성은 AI 점수가 사람 점수와 어긋나고 특히 가운데 점수로 몰립니다. 지난 전형의 서류와 점수를 문제와 정답으로 삼아 모의고사(학습셋)로 채점 기준을 고치고 수능(평가셋)으로 한 번 재는 6단계로 정리했습니다. 목표는 AI가 끝까지 자르는 것이 아니라 양 끝만 가르고 가운데를 사람에게 넘기는 것입니다.

목차

1. 문제와 정답 준비하기
2. 모의고사와 수능 분리하기
3. 정량 기준 정하고 측정하기
4. 정성 평가 설정하고 측정하기
5. AI 채점과 실제 점수의 차이 찾기
6. 채점 기준 고치고 3~5단계 반복하기
7. AI는 끝까지 자르지 않습니다
8. 여기까지 됐는지 확인

기술직 서류전형에 AI 채점을 붙인 HR 담당자와 상담했습니다. 자격 요건 확인은 지난 전형 결과와 똑같이 나왔습니다. 문제는 자기소개서였습니다. 1점과 5점은 사람 심사와 맞았는데, 나머지 대부분이 3점에 몰렸습니다. 담당자 눈에는 3점끼리도 차이가 보이는데 AI는 그 차이를 가르지 못했습니다.

아래는 그 상담에서 정리한 6단계입니다. 1단계와 2단계는 한 번만 하고, 3단계부터 6단계까지를 되풀이합니다.

이 글의 순서를 그대로 따라 하는 예시 저장소를 함께 공개합니다. 예시 데이터는 전부 합성이고, 실제 지원서는 쓰지 않았습니다.

1. 문제와 정답 준비하기

AI 채점을 다듬으려면 먼저 채점할 문제와 맞춰 볼 정답이 있어야 합니다.

무엇	서류전형에서는
문제	지난 전형 지원자의 서류 (이력서, 자기소개서)
정답	그 서류에 심사관이 매긴 점수와 합격 판정
분량	점수대마다 비슷한 수로 100~200건

정답은 새로 만들 필요가 없습니다. 지난 전형에서 심사관이 매긴 점수가 곧 정답지입니다. 여러 심사관이 같은 지원자를 채점했다면 그 평균을 씁니다.

처음부터 전량을 쓰지 않습니다. 1점부터 5점까지 점수대마다 비슷한 수가 되도록 뽑습니다. 무작위로 뽑으면 가운데 점수가 대부분이라, 정작 2점과 3점의 경계를 배울 사례가 모자랍니다. 점수 열로 정렬해 점수대마다 같은 수를 떼어 오면 됩니다.

예시 저장소의 데이터는 한 사람의 이력서와 자기소개서가 같은 번호로 묶여 있습니다.

번호	전공	자격증	과거 판정	자기소개서 과거 등급
A01	기계공학	일반기계기사	통과	5
B04	산업공학	위험물산업기사	사람 검토	4
C01	화학공학	산업안전기사	통과	3
D01	설비공학	건설기계설비기사	통과	2

2. 모의고사와 수능 분리하기

정답이 있다고 전부 채점 기준을 고치는 데 쓰면 안 됩니다. 일부는 떼어 두었다가 마지막에 한 번만 봅니다.

수능 답지를 보고 공부하면 수능 점수는 오릅니다. 하지만 실력이 는 것은 아닙니다. 채점 기준도 같습니다. 평가셋의 틀린 글을 읽고 기준을 고치면 평가셋 성적은 좋아지지만, 올해 처음 들어올 지원자에게 같은 성적이 나온다는 보장이 없습니다.

• 20~30%를 평가셋으로 떼어 둡니다.
• 점수대 안에서 나눕니다. 한쪽에 5점만 몰리면 그 성적은 아무것도 말해 주지 않습니다.
• 채점 기준을 고치는 동안 평가셋의 결과는 열지 않습니다. 예시 저장소의 성적표도 평가셋을 숨겨 두었다가 --final 을 붙여야 보여 줍니다.

예시 저장소는 30건뿐이라 반씩 나눠 두었습니다. 실제 데이터로 할 때는 평가셋을 20~30%로 잡습니다.

상담에서는 지난 전형 점수 일부를 뽑아 그 점수에 맞춰 채점 기준을 세웠습니다. 기준이 정말 나아졌는지 알려면, 그 기준을 세우는 데 쓰지 않은 평가셋이 따로 있어야 합니다.

3. 정량 기준 정하고 측정하기

경력 연수, 전공, 자격증, 교육 이수 시간은 판단이 아니라 조회입니다. 여기에는 AI를 쓰지 않고 규칙으로 거릅니다. AI를 쓰면 같은 지원자가 돌릴 때마다 다른 결과를 받을 수 있고, 그러면 탈락 사유를 설명할 수 없습니다.

기준을 정할 때 정해 둘 것은 세 가지입니다.

• 경력은 기준일 하나로 계산합니다. 오늘 날짜로 계산하면 같은 지원자의 경력이 날마다 달라집니다.
• 목록에 없는 전공은 탈락이 아니라 사람 검토입니다. 학과 이름은 학교마다 다릅니다.
• 기준에 조금 모자라면 사람 검토입니다. 경력 3년 기준에 2.7년이면 사람이 사정을 봅니다.

기준을 정했으면 지난 전형의 판정과 맞는지부터 잽니다. 어긋난 건은 규칙이 틀렸거나, 사람이 규칙 밖의 사정을 본 것입니다. 어느 쪽인지는 사람이 가립니다.

상담에서도 정량 단계는 지난 전형 결과와 똑같이 나왔습니다. 정량은 여기서 손댈 것이 거의 없습니다. 어려운 것은 다음 단계입니다.

4. 정성 평가 설정하고 측정하기

자기소개서는 항목별로 1점부터 5점까지 채점합니다. 예시 저장소는 지원동기, 장단점, 갈등 극복 경험, 도전 경험, 글쓰기의 다섯 항목을 씁니다.

채점 기준은 코드가 아니라 문서 한 장입니다. 이 문서를 자기 회사 채점표로 바꿔 끼우는 것이 이 방법을 자기 채용에 맞추는 길입니다. 등급마다 해당하는 문장과 해당하지 않는 문장을 예시로 적어 둡니다.

### 5점: 검증 가능한 결과가 있다
- 해당: "누설 재발이 연 4건에서 1건으로 줄었습니다"
- 해당 아님: "3년간 정비를 담당했습니다" (숫자가 경력을 가리킬 뿐 결과가 아닙니다)

### 4점: 본인이 한 일이 목적어까지 특정된다
- 해당: "정비 이력 서식을 표준화해 팀이 같은 양식을 쓰게 했습니다"
- 해당 아님: "적극적으로 개선했습니다" (무엇을 개선했는지가 없습니다)

채점은 자기소개서 한 건에 세션 하나로 합니다. 상담에서 가장 먼저 권한 것이 이것입니다. 한 대화에 여러 건을 넣으면 앞 글이 뒤 글의 점수에 영향을 줄 수 있습니다.

5. AI 채점과 실제 점수의 차이 찾기

채점이 끝나면 AI 점수와 과거 점수를 나란히 놓습니다. 자기소개서마다 5항목 점수를 평균 내 반올림한 등급을 심사관의 등급과 비교합니다. 먼저 볼 것은 일치 건수가 아닙니다.

볼 것	무엇을 알려 주나
틀린 방향	전부 낮은 쪽이면 채점 기준이 인색함
등급별 편향	특정 등급만 틀리면 그 등급의 경계 문장이 느슨함
어긋난 글 목록	다음에 고칠 재료. 학습셋 것만 봄

6. 채점 기준 고치고 3~5단계 반복하기

어긋난 글을 읽고 채점 기준을 한 번에 한 가지만 고친 뒤 3단계부터 다시 돕니다. 두 가지를 한꺼번에 고치면 무엇이 효과였는지 알 수 없습니다.

가장 손이 많이 가는 곳은 2점, 3점, 4점의 경계입니다. AI는 “왜 이 글이 2점이고 저 글이 3점인가”를 스스로 정하지 못합니다. 채점 기준에 글로 적혀 있어야 가릅니다. 그 문장은 사람이 찾아야 합니다. 심사관이 2점을 준 글과 3점을 준 글을 묶어 아래처럼 물어보고, 답을 사람이 읽어 채점 기준에 옮겨 적습니다.

아래는 심사관이 [2점]을 준 자소서 N건과 [3점]을 준 자소서 N건이다.
두 묶음을 가르는 차이를 찾아라. 한쪽 묶음에만 반복해서 나타나는 특징을
"~하면 3점, ~에 그치면 2점" 형태의 문장 5개 이내로 적고, 각 문장마다
그 근거가 된 자소서 번호를 두 개씩 붙여라. 한두 건에만 있는 특징은 버려라.

예시 저장소의 채점 기준은 두 번 고쳐 세 판이 됐습니다.

채점 기준	바꾼 것	학습셋 일치 (15건)	평가셋 일치 (15건)
v1	항목 설명만, 등급 경계 없음	4	9
v2	등급 경계 추가, “조건 만족 시 높은 쪽” 지시	11	10
v3	전역 지시 삭제, 등급마다 해당 예시	14	10 (재실행 12)

예시는 v2와 v3에서 두 가지씩 바꿨습니다. 그래서 v3에서 무엇이 효과였는지는 가를 수 없습니다.

이제 평가셋을 한 번 엽니다. 학습셋 일치는 4건에서 14건으로 10건 늘었는데, 평가셋은 9건에서 10건으로 1건 늘었습니다. 같은 v3를 한 번 더 돌리자 평가셋이 12건이 됐으니, 평가셋의 1~3건 차이는 실행마다 흔들리는 범위 안입니다.

학습셋에서 좋아진 만큼 처음 보는 서류에서 좋아지지는 않습니다. 2단계에서 평가셋을 떼어 둔 이유가 이것입니다. 평가셋에서 확실히 달라진 것은 틀린 방향입니다. 사람보다 짜게 준 건이 v1의 6건에서 v3의 1건으로 줄었습니다.

반복을 자동으로 돌리는 방법은 안드레이 카파시가 공개한 autoresearch의 방식을 참고할 수 있습니다. 평가하는 코드는 고치지 않고, AI가 파일 하나만 고쳐 돌려 본 뒤 결과가 좋아졌을 때만 그 변경을 남기는 방식입니다.

7. AI는 끝까지 자르지 않습니다

2점, 3점, 4점을 칼같이 가르려고 하면 들이는 시간에 비해 책임이 너무 커집니다. 상담을 마친 뒤 담당자에게 이렇게 다시 전했습니다.

다시 한번 강조드리지만 시간에 비해 과업과 책임이 크므로, AI 워크플로우는 지원의 역할이지 모든 걸 책임지려 하지 마세요. 정량 필터 + 정성 조언 정도만 해도 성공이라고 생각해요. 뭐든 작게 시작하고 확장해야 해요. 특히 이런 인사는 사람의 책임이 매우 중요하니까요.

(상담 후 담당자에게 보낸 메시지, 필자)

그래서 예시 저장소는 판정을 세 칸으로만 냅니다.

판정	기준 (5항목 평균)	누가 결정
통과	4.0 이상	AI 판정을 사람이 확인
사람 검토	2.0 이상 4.0 미만	심사관이 직접 읽음
탈락	2.0 미만	AI 판정을 사람이 확인

합성 30건에서는 약 40%가 사람 검토로 갔습니다. 심사 인력을 잡을 때 필요한 숫자가 이것입니다. 자동 판정 구간을 좁히면(통과 기준을 올리고 탈락 기준을 내리면) 사람이 볼 건수가 늘고 AI의 오판은 줄어듭니다.

판정은 등급보다 훨씬 안정적입니다. 같은 기준으로 두 번 돌렸을 때 반올림 등급은 6건이 바뀌었지만 통과, 검토, 탈락 판정은 1건만 바뀌었습니다. 결과를 점수가 아니라 판정으로 내는 이유입니다.

상담에서 정한 전달 형식은 엑셀 파일 하나입니다. 예시 저장소가 내는 CSV를 엑셀로 열어, 첫 시트에 정량 기준과 정성 채점 기준을 붙이고 다음 시트에 지원자별 점수와 판정을 둡니다. 심사관은 첫 시트를 읽고 사람 검토 칸의 지원자를 직접 봅니다.

8. 여기까지 됐는지 확인

이 글의 수치는 합성 자기소개서 30건에서 나왔습니다. 등급을 먼저 정하고 그 등급에 맞춰 쓴 글이라, 등급 사이의 차이가 실제 지원서보다 뚜렷할 수 있습니다. 정답 등급을 정한 사람과 채점 기준을 고친 사람도 같고, 4단계에 인용한 등급 예시 문장은 학습셋 자기소개서에서 가져왔습니다. 여기 나온 일치율을 실제 채용 성능으로 옮겨 읽으면 안 됩니다. 자기 회사의 지난 전형 데이터로 1단계부터 다시 재는 것이 이 글의 사용법입니다.