디자인 외주 퀄리티가 들쭉날쭉한 이유 — 고객 평가 1,606건으로 나눠 본 편차의 출처

지난달 받은 배너는 바로 올렸는데 이번 달 상세페이지는 세 번을 고쳤습니다. 디자이너가 바뀐 것도 아닌데 결과가 다릅니다. 이쯤 되면 디자인 외주는 복불복이라는 말이 나옵니다.

그런데 그 복불복이 정말 디자이너에게서 오는지는 따로 확인해 봐야 합니다. 사람이 갈랐는지, 맡긴 업무의 종류가 갈랐는지, 아니면 발주하는 쪽 사정이 갈랐는지에 따라 손댈 곳이 완전히 달라지니까요.

2026년 1월 1일부터 8월 22일까지 저희가 받은 고객 평가 1,606건을 놓고 편차의 출처를 나눠 봤습니다. 결과는 예상과 달랐습니다.

디자인 외주 퀄리티 편차는 평균이 아니라 낮은 쪽 6.5%에서 옵니다

저희는 업무가 끝나면 고객에게 품질·소통·일정 준수·적극성 네 항목을 5점 만점으로 받습니다. 이 1,606건의 품질 점수는 이렇게 흩어져 있습니다.

평균은 4.77점입니다. 소통 4.82점, 일정 준수 4.90점, 적극성 4.75점으로 다른 항목도 비슷합니다. 이 숫자만 보면 편차라고 부를 만한 게 없어 보입니다.

1,606건 중 6.5%가 3점 이하였습니다. 한 달에 열 건을 맡기는 회사라면 대략 두 달에 한 번꼴로 그런 건을 만납니다. 그러고 나면 나머지 열아홉 건이 괜찮았다는 사실은 잘 떠오르지 않습니다. 들쭉날쭉하다는 말은 이 6.5%가 언제 걸릴지 모르겠다는 뜻입니다.

편차의 출처를 셋으로 나눠 봤습니다 — 디자이너·업무 유형·발주한 회사

가장 크게 갈린 축은 어느 회사가 맡겼는가였습니다. 디자이너가 누구인지는 그 절반도 되지 않았고 업무 종류는 셋 중 가장 작았습니다.

작업한 사람, 업무의 종류, 맡긴 회사로 각각 묶어 어느 쪽이 점수 차이를 더 설명하는지 쟀습니다.

평가가 열 건 이상 쌓인 회사만 골라 회사별 평균을 늘어놓으면 낮은 쪽은 3.45점, 높은 쪽은 5.00점입니다. 다섯 곳 중 두 곳은 평균이 만점이고 여섯 곳 중 한 곳은 4.5점을 밑돕니다. 같은 디자이너 집단에게 같은 방식으로 맡기는데 회사에 따라 결과가 이만큼 벌어집니다.

세 축을 다 세워도 설명되지 않는 부분이 남습니다. 같은 회사가 같은 디자이너에게 같은 종류의 일을 맡겨도 건마다 갈렸습니다. 편차를 0으로 만드는 방법은 없습니다. 줄일 수 있는 부분이 어디인지만 고를 수 있을 뿐입니다.

퀄리티 편차는 업무 유형에서 생각보다 덜 갈립니다

상세페이지는 어렵고 배너는 쉽다는 통념이 있습니다. 실제로 유형별 평균에는 순서가 있지만 폭은 좁습니다.

맨 위와 맨 아래의 차이가 0.33점입니다. 회사별 평균이 벌어진 1.55점과 견주면 작은 폭입니다. 인쇄물과 배너는 평가가 100건이 안 되니 평균값 자체를 무겁게 받아들일 필요는 없습니다. 순서보다는 폭이 좁다는 쪽이 요점입니다.

한 사람 안에서도 마찬가지였습니다. 여러 종류의 일을 다섯 건 이상씩 맡은 디자이너만 골라 그 사람의 유형별 평균을 봤더니 최고와 최저의 차이가 중앙값 기준 0.16점이었습니다. 특정 유형에서만 유난히 무너지는 디자이너는 잘 보이지 않았습니다.

발주 담당자가 통제할 수 있는 것과 없는 것

요청할 때 담당자가 직접 정하는 항목을 하나씩 놓고 그것이 점수를 갈랐는지 확인했습니다.

다만 전체를 한 덩어리로 평균 내면 방향을 반대로 읽게 되는 항목이 있습니다. 어려운 일일수록 요청서가 길어지고 요청서가 긴 회사가 점수도 짜게 주기 때문입니다. 그래서 모든 항목을 같은 회사 안에서 다시 비교했습니다.

요청서를 길게 쓴다고 결과가 좋아지지는 않았습니다. 전체를 한 줄로 세우면 짧은 요청(72자 미만) 4.97점, 긴 요청(344자 이상) 4.52점으로 크게 벌어집니다. 그런데 같은 회사 안에서 그 회사의 중앙값을 기준으로 짧은 절반과 긴 절반을 비교하면 4.80점과 4.83점으로 차이가 사라집니다. 회사별로 봐도 긴 쪽이 더 높은 곳과 더 낮은 곳이 섞여 있었습니다. 앞의 0.45점은 어려운 일이 몰린 회사가 만든 숫자였습니다.

첨부파일 개수와 마감까지 남은 날짜도 마찬가지였습니다. 오히려 촉박한 건의 점수가 더 낮지 않았습니다. 접수부터 납기까지 사흘 이내인 건은 4.79점, 나흘 이상 여유가 있던 건은 4.70점입니다. 급하게 맡기면 퀄리티가 떨어진다는 통념은 이 데이터에서는 확인되지 않았습니다. 마감이 짧은 업무는 대체로 단순하기 때문으로 보입니다. 급한 발주를 어떻게 받아 내는지는 급한 디자인 요청을 다룬 글에 따로 정리해 뒀습니다.

실제로 갈린 두 가지 — 초반 세 건과 디자이너 지정

첫째, 처음 세 건이 유난히 흔들립니다

평가가 열 건 이상 쌓인 회사를 대상으로 각 회사가 맡긴 순서대로 줄을 세웠습니다. 그 회사의 첫 세 건은 평균 4.61점이고 3점 이하가 11.1%인 반면, 네 번째 이후는 4.84점에 3점 이하 4.7%였습니다. 같은 회사 안에서 비교한 값이라 회사별 채점 성향 차이는 빠져 있습니다.

초반에 편차가 큰 이유는 여러 가지겠지만 결론은 단순합니다. 첫 몇 건을 보고 이 방식이 우리에게 맞는지 판단하면 실제보다 나쁘게 보입니다. 반대로 그 구간을 넘기면 편차가 눈에 띄게 줄어듭니다. 처음 맡길 때 규모가 큰 건부터 올리지 않는 편이 안전한 것도 이 때문입니다.

둘째, 디자이너를 지정한 건과 아닌 건이 다릅니다

저희 쪽에 업무를 올릴 때는 디자이너를 직접 고르거나, 미리 정해 둔 전담 팀에 맡기거나, 조건만 적고 배정을 맡길 수 있습니다.

폭이 큽니다. 다만 이건 그대로 믿기 어려운 숫자입니다. 만족했던 사람을 다시 지정하는 것이니 순서가 거꾸로일 수 있습니다. 지정 발주는 거래가 쌓인 뒤에 많아지니 앞의 초반 구간 효과와도 겹칩니다.

그래서 발주 순번을 나눠 각 구간 안에서 다시 봤습니다. 첫 세 건 구간에서도, 네 번째부터 열 번째 구간에서도, 열한 번째 이후 구간에서도 지정한 쪽 평균이 더 높았습니다. 다만 같은 회사 안에서 두 방식을 모두 써 본 곳만 골라 회사별로 비교하면 결과가 달랐습니다. 지정 쪽이 높은 회사가 다섯 곳 중 두 곳이고 차이가 거의 없는 곳이 절반, 지정 쪽이 오히려 낮은 곳도 있었습니다.

지정해서 맡긴 쪽 평균이 높은 것은 맞지만 모든 회사에서 그렇지는 않았습니다. 어떤 기준으로 디자이너가 배정되는지는 배정 방식을 설명한 글에 정리돼 있습니다.

낮은 점수는 흩어져 있지 않고 몰려 있습니다

3점 이하 104건이 어디에서 나왔는지 세어 봤습니다. 이 104건의 41%가 다섯 회사에서 나왔고 열 회사까지 넓히면 58%입니다. 반대로 3점 이하를 한 번이라도 받아 본 회사 가운데 3분의 2는 그런 평가가 딱 한 건뿐이었습니다.

디자이너 쪽도 비슷하게 쏠립니다. 104건의 44%가 다섯 명에게서 나왔습니다. 사람도 회사도 편차를 겪는 쪽은 소수에 몰려 있습니다.

낮은 점수가 한두 번 나왔다면 그건 대부분 그 한 건에서 끝납니다. 같은 일이 세 번 반복된다면 그때는 맡기는 방식 쪽을 봐야 할 신호입니다. 무엇을 어떤 주기로 볼지는 디자인 병목을 측정하는 지표를 다룬 글을 참고하세요.

퀄리티 편차를 줄이려면 어디부터 손대야 하나

회사마다 다른 요인 중에 문서로 고정할 수 있는 부분은 미리 적어 두면 반복해서 설명하지 않아도 됩니다. 브랜드 톤처럼 매번 말로 전달하던 항목을 어떻게 남기는지는 브랜드 가이드 한 장을 다룬 글에 정리했습니다.

플로우웍스에는 지금까지 2,460곳의 고객사와 1,242명의 디자이너가 가입했고 완료된 업무는 11,404건입니다. 이 업무들에 남은 고객 평가 6,390건의 평균은 품질 4.72점, 소통 4.81점, 일정 준수 4.88점입니다. 디자이너를 어떤 절차로 선발하는지는 선발 기준을 설명한 글에 적어 뒀습니다.

자주 묻는 질문 (FAQ)