“AI를 도입한 직원들의 업무 시간이 평균 15% 줄었다.”
AI가 논문을 이렇게 요약해줬다면 바로 보고서에 넣어도 될까요? 숫자가 실제 연구에 등장하더라도, 그 숫자가 무엇을 측정했는지 바뀌면 다른 이야기가 돼요. 이번에는 공개 논문 한 편을 놓고 이 문장을 직접 고쳐볼게요. 위 문장은 오류를 설명하기 위해 만든 요약이며 특정 AI 서비스의 실제 출력은 아니에요.
확인할 자료는 Brynjolfsson·Li·Raymond의 「Generative AI at Work」 2025년 학술지 게재본이에요. 원문을 옆에 열어두고 아래 다섯 항목을 따라가면, 어떤 표현을 왜 바꿔야 하는지 확인할 수 있어요.
1. 숫자를 찾았으면 바로 뒤의 단위까지 읽어요
먼저 원문의 Abstract에서 15%가 있는 문장을 찾아보세요. 여기서 생산성은 시간당 해결한 고객 문의 수로 측정돼요. 전체 업무 시간의 감소율을 말하는 수치가 아니에요.
그래서 ‘업무 시간이 15% 줄었다’는 표현은 그대로 쓸 수 없어요. 숫자를 확인했다면 메모에 ‘15%’만 적지 말고 무엇이 / 어느 방향으로 / 얼마나 바뀌었는지를 한 묶음으로 남겨야 해요.
두 표현의 차이는 간단한 계산으로도 볼 수 있어요. 설명을 위해 어떤 작업의 처리량이 시간당 100건에서 115건으로 늘었다고 가정해볼게요. 증가율은 15%예요. 그런데 같은 100건을 처리하는 시간은 60분에서 약 52.2분이 돼요. 시간 감소율은 약 13%이지 15%가 아니죠.
처리량 증가율: (115 − 100) ÷ 100 = 15%
같은 100건에 걸리는 시간: 100 ÷ 115 × 60 ≈ 52.2분
시간 감소율: (60 − 52.2) ÷ 60 ≈ 13%
이 계산은 비율의 차이를 설명하는 가정일 뿐, 해당 논문의 실제 건수나 시간 절감 추정치가 아니에요. 실제 업무에는 여러 작업과 대기 시간이 섞이므로 논문 속 수치를 이 계산만으로 ‘업무 시간 절감’으로 바꾸어 쓰면 안 돼요.
2. ‘직원’이라는 말이 누구까지 넓어졌는지 봐요
다음으로 Introduction에서 연구 대상을 찾아보세요. 이 연구는 한 소프트웨어 기업의 고객 상담 업무를 다뤄요. 요약의 ‘직원들’만 읽으면 독자는 개발자나 연구자, 모든 회사의 사무직까지 포함한 결과로 받아들일 수 있어요.
요약을 고칠 때는 주어부터 좁혀보세요. 이 회사의 고객 상담 직원이라고 적으면, 결과가 나온 업무 환경이 문장에 남아요. 다른 직무에도 적용할 수 있는지는 그다음에 따져야 할 질문이에요.
검토 메모에는 이렇게 적을 수 있어요.
‘직원들’ 수정 — 대상이 너무 넓음. 연구에서 살펴본 직무와 기업 범위를 주어에 붙이기. 확인 위치: Introduction.
3. AI가 실제로 한 일을 확인해요
III.C. AI System Design을 보면 이 도구는 상담 직원에게 답변을 제안하고, 직원이 제안을 받아들이거나 바꿀 수 있게 되어 있어요. 고객 응대를 전부 AI에 맡긴 설정이 아니에요.
따라서 요약을 “AI가 사람 대신 상담했다”라고 늘려 쓰면 안 돼요. 검토하는 문장에서 AI가 무엇을 했는지, 사람이 무엇을 결정했는지에 각각 밑줄을 그어보세요. 주어가 바뀌거나 사람의 검토 단계가 사라지면 원문과 다른 과정이 될 수 있어요.
이 예제에서는 ‘AI 도입’이라는 넓은 표현을 ‘AI의 답변 제안을 받는 상담 방식’으로 풀어두면 무엇을 시험한 결과인지 이해하기 쉬워져요.
4. 링크가 맞아도 판본이 다를 수 있어요
같은 제목을 검색하면 서로 다른 숫자가 보일 수 있어요. NBER의 2023년 워킹페이퍼 안내에는 평균 14%, 여기서 확인한 2025년 학술지 게재본에는 15%로 표시돼요.
이때 두 숫자를 섞거나 가까운 값이라는 이유로 하나를 고르면 안 돼요. 먼저 지금 요약하는 자료의 판본을 정하고 그 자료의 수치와 링크를 함께 사용하세요. 이 글은 처음에 밝힌 2025년 게재본을 기준으로 해요.
링크를 눌렀을 때는 제목만 보고 닫지 말고 저자, 연도, 필요한 내용이 있는 절까지 확인해보세요. 아래처럼 출처 메모를 한 줄 남기면 나중에 어떤 판본을 봤는지 알 수 있어요.
확인 자료: Generative AI at Work, QJE 2025 게재본 / 숫자: Abstract / 도구 작동 방식: III.C.
5. 평균을 모든 사람의 결과로 바꾸지 않아요
마지막으로 초록에서 직원별 효과 차이를 설명한 부분을 확인해보세요. 이 연구의 평균값을 모든 직원에게 똑같이 나타난 개선으로 읽으면 안 돼요. 특히 요약에 ‘누구나’, ‘모두’, ‘항상’이 들어갔다면 원문이 그 범위까지 뒷받침하는지 확인할 필요가 있어요.
앞의 확인을 반영하면 첫 문장을 이렇게 고칠 수 있어요.
고친 요약: 한 소프트웨어 기업의 고객 상담 업무를 분석한 연구에서 AI 지원은 시간당 해결한 문의 수를 평균 15% 높였다. 다만 직원의 경험과 숙련도에 따라 효과가 달랐다.
원문 초록과 서론에 맞춰 대상을 좁히고, 측정 항목을 되돌리고, 평균의 해석에 필요한 조건을 붙인 문장이에요. ‘AI를 도입하면 내 업무도 15% 빨라진다’는 결론까지 얻은 것은 아니에요.
다른 요약을 검토할 때도 한 문장부터 시작해보세요. 문장을 복사한 뒤 숫자·단위, 대상, 사용 조건, 출처 판본, 빠진 제한에 차례로 표시해요. 각 표시 옆에 원문의 위치를 적고, 찾지 못한 부분은 공개할 문장에서 빼거나 확인할 때까지 보류하면 돼요.
AI에 대조 작업을 시킬 때는 “맞는지 확인해줘”보다 다음처럼 결과 형식을 정해 요청할 수 있어요.
아래 원문과 요약을 문장별로 대조해줘. 각 문장에 대해 ‘확인할 표현 / 대응하는 원문 위치 / 같음·다름·원문에 없음 / 수정 문장’을 적어줘. 제공한 원문에 없는 근거는 추가하지 마.
이렇게 받은 대조표에서도 마지막으로 볼 것은 답변의 확신 정도가 아니라 지목한 원문에 그 내용이 실제로 있는지예요. 오늘 검토할 요약에서는 숫자가 들어간 한 문장을 골라 단위부터 확인해보세요.
한 문장 검토를 끝내는 기록
검토 결과를 ‘맞음’으로만 저장하면 다음 사람이 무엇을 확인했는지 알 수 없어요. 이번 문장을 고친 이유를 원문 위치와 함께 남기면 아래 기록이 돼요.
검토 문장: AI를 도입한 직원들의 업무 시간이 평균 15% 줄었다. 대조 자료: Generative AI at Work, QJE 2025 게재본 숫자·단위: 업무 시간 감소 → 시간당 해결한 문의 수 증가 (Abstract) 대상: 모든 직원으로 넓히지 않고 연구 대상 고객 상담 업무로 한정 (Introduction) 작동 방식: AI가 답변을 제안하고 직원이 수용·수정 (III.C) 남겨야 할 조건: 경험·숙련도에 따라 효과 차이가 있음 (Abstract) 수정: 한 소프트웨어 기업의 고객 상담 업무에서 AI 지원은 시간당 해결한 문의 수를 평균 15% 높였다. 직원별 효과는 달랐다.
원문을 열 수 없다면 AI에게 빈 근거를 채우게 하지 않아요. ‘원문 접근 전, 15% 수치와 단위 확인 보류’라고 표시하고 검증한 문장으로 취급하지 마세요. 이 기록에서 가장 중요한 산출물은 체크 표시의 개수가 아니라, 범위와 단위가 원문에 맞게 고쳐진 마지막 문장이에요.