기술과 과학
미국의 업무를 고르게 담지 못한 인공지능 평가 29개
같은 법률 분야에서도 변호사와 법원 서기의 업무는 평가에서 다르게 다뤄졌다.
미국 전체 노동 시간의 90%를 차지하는 업무가 인공지능 벤치마크 29개에서 충분히 다뤄지지 않는다는 잠정 추정 결과가 나왔다. 인공지능 평가 범위를 조사한 머코(Mercor) 연구진이 선정한 벤치마크를 미국 노동부 직업분류체계의 923개 직업, 1만 8,797개 세부 업무와 대조한 결과다.
연구진은 업무별로 얼마나 시간을 쓰는지에 관한 별도의 언어모델 추정치를 함께 활용해 각 업무가 전체 노동 시간에서 차지하는 비중을 계산했다. 연구진은 선정한 벤치마크 목록이 완전하지 않아 실제보다 평가 범위를 좁게 추정했을 수 있다고 밝혔다.
인공지능 벤치마크는 모델에 문제나 과제를 주고 수행 결과를 바탕으로 능력을 평가하는 테스트다. 연구진은 언어모델을 이용해 시험 문제와 직업별 세부 업무의 관련성을 판단하고, 관련 문항이 5개 이상인 업무를 평가 대상에 포함된 것으로 집계했다.
이런 업무가 하나 이상인 직업은 208개로, 조사 대상 직업 종류의 22.5%였다. 전체 22개 대직군 가운데 6개에는 관련 문항이 5개 이상인 업무가 있는 직업이 없었다. 직업의 포함 여부는 이 문항 수를 기준으로 판단했고 노동 시간 비중을 계산할 때는 각 업무에 쓰는 시간도 고려했다.
평가에 포함된 정도는 업무의 인공지능 노출도에 따라서도 차이가 났다. 여기서 노출도는 언어모델이나 이를 활용한 도구로 같은 품질을 유지하면서 업무 시간을 절반 이상 줄일 잠재력을 뜻한다. 인공지능에 노출된 것으로 분류된 업무는 그렇지 않은 업무보다 선정한 벤치마크에 포함될 확률이 약 6배 높았다.
노출도 차이를 감안해도 직종 전체에 지급되는 임금 총액이 큰 직종의 업무가 평가에 더 많이 포함됐다. 변호사 업무는 많이 다뤄졌지만 비슷한 노출도를 지닌 법률 비서나 법원 서기의 업무는 거의 다뤄지지 않았다.
실제 과제를 보면 벤치마크에서 어떤 업무를 평가하는지 더 구체적으로 알 수 있다. 선정 목록에 있는 IBM의 AssetOpsBench는 산업 설비의 운영과 유지보수를 평가하는 벤치마크다. 이 벤치마크에서는 모의 산업 환경에서 펌프의 알려진 고장 유형을 조회하거나 냉각기 이상 탐지에 관한 작업 지시서를 작성하도록 한다.
연구진이 업무별 평가 범위를 정리한 지도에서 트럭 운전과 가스 플랜트 운영 업무는 소프트웨어 개발과 금융 분석 업무보다 평가에 포함된 경우가 적었다. 설비 관리에 관한 디지털 과제가 포함돼 있어도 현장에서 이뤄지는 여러 업무가 고르게 평가되는 것은 아니다.
물리적 활동을 평가에 포함하기도 여전히 어렵다. 2020년 미국의 재택근무 가능성을 분석한 연구에서는 일자리의 37%를 전적으로 집에서 수행할 수 있다고 추정했다. 머코 연구진은 이 결과를 바탕으로 나머지 63%의 일자리에는 물리적 활동이 필요한 업무가 일부 포함돼 있을 것으로 해석하고 이런 물리적 활동을 현재 벤치마크에 포함하기 어렵다고 봤다.
법률 분야의 평가 범위 격차를 보면 시험 성적으로 실제 업무 수행 능력을 판단할 때 어떤 문제가 생기는지 알 수 있다. 직업별 업무를 안내하는 미국 노동부 직업정보망에서는 법원 서기 등의 업무로 재판 일정표 작성과 재판 결과 기록을 제시한다.
모델이 변호사 업무 평가에서 높은 성적을 받았더라도 그 점수로 법원 서기 등의 업무 수행 능력까지 판단하기는 어렵다. 평가 문항이 충분한 업무에서는 성적을 모델 비교에 활용할 수 있지만, 법원 행정에 쓸 모델을 고르는 데에는 재판 기록과 일정 관리 등 법원 행정 업무의 수행 결과가 별도로 필요하다.
이 글이 어땠나요?
눌러 주시면 다음 글을 쓸 때 소중한 참고가 됩니다.