"월 70원 쓰는데 3조원 요금폭탄"...AWS 비용 예상 버그에 고객 '패닉'

[지디넷코리아]아마존웹서비스(AWS) 청구 시스템 오류로 일부 고객 계정에 수조원에 달하는 예상 사용 요금이 표시되는 일이 발생했다.실제 과금에는 영향이 없었지만 평소 수십원 수준의 서비스를 쓰던 이용자 계정에 막대한 예상 청구액으로 표시되면서 고객은 큰 혼란을 겪었다.AWS는 18일(현지시간) 서비스 상태 페이지를 통해 AWS 빌링 및 비용 관리 콘솔과 비용 및 사용량 보고서(CUR) 에서 잘못된 예상 비용 및 사용량 데이터가 표시되는 문제가 발생했으며 현재는 복구를 완료했다고 밝혔다.장애는 미국 서부시간(PDT) 기준 16일 오후 7시 38분부터 17일 오전 6시까지 발생했다.

한국시간으로는 17일 오전 11시 38분부터 같은 날 오후 10시까지다.

이 기간 고객은 실제보다 과도하게 증가한 예상 비용을 확인했으며 AWS 예산(AWS Budget) 과 비용 이상 탐지(Cost Anomaly Detection) 기능을 통해 예산 초과 및 이상 비용 경고도 수신했다.문제는 AWS 사용자 커뮤니티를 중심으로 빠르게 확산됐다.

레딧 AWS 커뮤니티에는 한 사용자가 평소 월 0.05달러(약 70원) 수준의 서비스를 이용해왔는데 이번 달 예상 청구액이 약 24억9000만달러(약 3조4000억원) 로 표시됐다고 주장하는 게시물이 올라와 화제가 됐다.다른 이용자들도 수백만달러에서 많게는 수십억달러대 비용이 표시됐다는 사례를 잇달아 공유했다.

일부는 사용하지 않은 서비스 비용까지 잡힌 것처럼 보였다고 주장했다.

다만 이는 커뮤니티에 올라온 사용자 사례로 개별 화면에 표시된 금액이 실제 청구서로 확정됐다는 뜻은 아니다.AWS는 해당 수치가 실제 청구 금액이 아닌 예상 비용 데이터 오류라고 설명했다.

회사 측에 따르면 실제 고객 청구서(invoice)와 과금 내역에는 영향을 주지 않았으며, 잘못된 데이터는 비용 분석 도구와 청구 콘솔에 반영됐다.원인은 청구 계산 시스템의 설정 변경 과정에서 발생한 오류로 파악됐다.

AWS는 서비스별 요금을 계산하기 위해 단위 변환(Unit Conversion) 데이터를 활용하는데, 관련 구성 변경 과정에서 데이터 업데이트가 실패하면서 일부 비용 항목이 비정상적으로 부풀려졌다고 설명했다.논란이 커진 것은 AWS 내부 감시 체계도 즉시 작동하지 않았기 때문이다.

AWS는 내부 경보 시스템이 비용 이상 현상을 감지했음에도 예상 청구 생성 프로세스를 자동으로 중단하거나 엔지니어링 조직에 즉시 경고를 전달하지 못했다고 밝혔다.

결국 고객 문의가 접수된 뒤에야 엔지니어들이 문제를 인지하고 조사에 착수했다.AWS는 이후 예상 청구 데이터 생성을 일시 중단하고, 예산 및 비용 이상 탐지 기능도 예방 차원에서 비활성화한 뒤 전체 고객 계정의 비용 데이터를 재처리했다.

AWS에 따르면 대다수 계정은 미국 서부시간 기준 18일 오전 6시, 한국시간 기준 18일 오후 10시까지 정상 상태로 복구됐다.

일부 소수 계정은 후속 처리 중이며, 관련 안내는 'Personal Health Dashboard'를 통해 제공될 예정이다.AWS는 "잘못된 예상 비용 데이터로 고객들에게 혼란을 끼친 점을 사과한다"며 "유사한 문제가 발생할 경우 즉시 청구 계산을 중단하고 엔지니어링 팀에 알릴 수 있도록 내부 경보 체계를 개선했다"고 밝혔다. ...