리지 경제학

기술과 과학

인터넷 아카이브 25달러 기부와 AI의 무임승차

210페타바이트 웹 기억에 429 오류 속출...시민 후원 벅찬데 상업 AI는 공짜 수집

리지

웹 아카이브2분

Illustration by Gemini

인터넷 아카이브는 전 세계 웹의 역사를 보존하는 디지털 도서관이다. 이곳에 축적된 데이터만 210페타바이트에 이른다. 이처럼 방대한 자료를 보관하면서도 기업의 상업용 클라우드는 쓰지 않는다. 대신 자체 서버와 저장장치, 냉각 설비를 갖춰 직접 시스템을 운영한다. 운영비를 벌기 위한 상업 광고를 싣지 않고 이용자 정보를 외부에 팔지도 않는다. 그러면서도 누구나 무료로 지식을 이용할 수 있도록 문을 열었다. 1인당 평균 25달러를 건네는 시민의 소액 기부가 이 거대한 공공 인프라를 떠받쳐 왔다.

언제든 웹의 과거를 무료로 살펴볼 수 있다는 믿음은 인터넷 세계의 상식이 되었다. 이용자들은 링크가 끊기면 아카이브를 찾고, 사라진 웹페이지를 복원하려 이곳의 웹 저장 서비스인 웨이백 머신을 찾는다. 이러한 무료 이용이 일상으로 굳어지면서 사람들은 도서관을 운영하는 데 드는 현실의 비용을 잊었다. 무료 서비스가 상식이 되자 이용 생태계는 그 편리함에 젖어들었다. 하지만 210페타바이트의 웹 기억을 유지하는 비용은 매달 늘어났다. 수천 대의 서버가 뿜어내는 열기를 식힐 전기료와 망 사용료 청구서가 쉼 없이 밀려들었다.

생성형 인공지능(AI)이 등장하면서 이 위태로운 균형이 깨졌다. 거대언어모델을 학습시키려는 테크 기업들의 수집 로봇이 아카이브로 쇄도했다. 이들은 기계가 만들어낸 글 대신 사람이 직접 썼던 과거의 원본 문장을 확보하고자 했다. 수많은 데이터 수집 프로그램이 밤낮없이 서버를 훑었다. 그 여파로 웨이백 머신 화면에는 접속 지연과 함께 429 요청 차단 오류가 수시로 떴다. 오류를 마주한 이용자들은 서비스가 멈췄다며 불만을 쏟아냈다. 인공지능 기업들이 공유지의 데이터를 무료 원자재 삼아 퍼가는 사이, 서버의 과열을 막는 비용은 고스란히 도서관에 쌓였다.

문제는 이 같은 서버 과부하 하나에 그치지 않았다. 여기에 대형 출판사와 음반사들이 제기한 저작권 침해 소송까지 잇따랐다. 아카이브가 종이책을 디지털로 스캔해 빌려주던 사업이 법적 분쟁에 휘말렸다. 거액의 배상 판결 위험과 소송 비용 부담으로 재정 압박이 극에 달했다. 서버 인프라를 보강해야 할 자금이 법정 방어 비용으로 소진됐다. 그사이에도 상업적 인공지능은 데이터만 가져가고 망 비용은 치르지 않았다. 반면 저작권자들은 디지털 대출의 문을 닫으라며 소송전을 이어갔다. 웹의 역사를 지키는 비영리 도서관이 안팎의 거센 압박에 직면했다.

다급해진 인터넷 아카이브는 9월 한 달 동안 서버 유지비를 마련하기 위한 특별 모금에 나섰다. 시민이 25달러 이상 정기 기부를 신청하면 외부 기금이 두 배인 50달러를 더 보태 총 75달러를 채우는 매칭 방식이다. 급증하는 인프라 유지 비용을 시민 소액 연대로 버텨내겠다는 자구책이다. 하지만 선의에 기댄 모금만으로 디지털 공유지를 지키기에는 한계가 뚜렷하다. 공공 기억을 가장 적극적으로 소비하는 인공지능 산업이 그 인프라의 존속 비용을 외면하고 있기 때문이다.

지식의 보편적 접근이라는 이상은 서버와 저장장치, 전력망이라는 현실의 무게를 딛고 선다. 거대언어모델의 학습 재료가 된 수억 건의 웹페이지 뒤에는 누군가의 비용 지출과 유지 보수 노동이 버티고 있다. 인터넷 아카이브는 이번 9월에도 평균 25달러를 보태는 시민의 정기 후원금으로 210페타바이트 서버의 전원과 냉각 장치를 돌리고 있다.

이 글이 어땠나요?

눌러 주시면 다음 글을 쓸 때 소중한 참고가 됩니다.