6월 15일 AWS 데이터베이스 강제 업데이트로 인한 서버 장애 및 보상 안내 [내용 추가]

공지사항
#1

안녕하세요. 게임서버 뒤끝 대표 권오현입니다.
뒤끝 서버와 함께 성공을 만들어나가고 계신 개발자 여러분께 감사 말씀을 드립니다.
지난 6월 15일, AWS의 강제 데이터베이스 업데이트 진행의 사이드이펙트로 서버 장애가 발생하였습니다.
온전한 서비스를 제공해 드리지 못한 점 먼저 사과드립니다.
확인한 발생 경위와 재발 방지의 방법, 보상 정책 등을 개발자 여러분께 안내드립니다.

장애 내용

  • 발생 일시 : 6월 15일 (목) 04시 10분 ~ 04시 30분
    • 원인 : AWS의 데이터 베이스 강제 업데이트 진행, 이후 사이드 이펙트 발생
      • 모든 데이터 베이스 인스턴스의 순차적인 재시작 수행
    • 증상 : 재시작 중인 인스턴스에 접근 시 500번대 에러 발생
    • 해결 : 데이터 베이스 강제 업데이트 완료 이후 정상화
  • 발생 일시 : 6월 15일 (목) 04시 10분 ~ 6월 16일 (금) 12시 46분
    • 원인 : AWS의 데이터베이스 강제 업데이트 진행, 이후 사이드 이펙트 발생
      1. 강제 업데이트 과정 중 인스턴스 순서 변경
      2. 순서 변경 이후 특정 인스턴스에서 간헐적 슬로우 쿼리 현상 발생
    • 증상 : 슬로우 쿼리 발생 인스턴스로 요청된 영수증 검증 기능의 응답시간 증가
    • 해결 : 슬로우 쿼리 현상 해결 핫픽스 진행

장애 보상 정책

이번 장애는 AWS의 강제 업데이트로 인해 발생, 서비스 수준 협약 제 3조 2항에 따라 보상의 대상에 해당하지 않습니다.

하지만, 대응 방법 등을 미리 안내해 드렸다면 피해 범위를 최소화할 수 있었을 것입니다.
AWS의 강제 업데이트 진행 일정을 사전에 공지하지 못한 책임을 통감하며 서버 가동률 95.472%에 해당하는 SLA 2단계 보상을 진행할 예정입니다.

월 가동률(%) 손해 배상액
99.0% 이상 ~ 99.5% 미만 해당 월 이용요금의 10%
95.0% 이상 ~ 99.0% 미만 해당 월 이용요금의 20%
95.0% 미만 해당 월 이용요금의 30%

금번 영수증 검증 장애의 영향을 받은 프로젝트는 6월 이용 요금의 20%가 7월 4일 중 뒤끝 크레딧으로 지급됩니다.

향후 대응

이후에도 비슷한 유형의 강제 업데이트를 AWS가 진행할 수 있습니다.
추후 진행되는 AWS발 점검 및 업데이트는 AWS와의 긴밀한 협의를 통해, 정확한 진행 일시를 공유받고 시스템 점검을 사전에 공지하여 개발사 여러분의 피해를 최소화할 수 있도록 하겠습니다.

뒤끝을 이용해주시는 개발사 여러분의 성공을 완전히 지원하지 못한 점 다시 한번 고개 숙여 깊이 사과드립니다.
더욱 안정적인 서비스를 제공하는 뒤끝이 되겠습니다.





안녕하세요. 게임 서버 뒤끝입니다.
일부 유저를 대상으로 인앱결제 후 상품이 미지급되는 현상이 발생하여 긴급 대응이 이루어졌습니다.
장애 발생 원인과 대응 내역을 안내해 드립니다.

  • 발생 일시

    • 23년 6월 15일(목) 04시 10분 ~ 6월 16일(금) 12시 46분

  • 발생 원인

    • AWS의 데이터베이스 강제 업데이트 시행에 따른 사이드 이펙트
    1. 강제 업데이트 과정 중 인스턴스 순서 변경
    2. 순서 변경 이후 특정 인스턴스에서 간헐적 슬로우 쿼리 발생

  • 해결

    • 슬로우 쿼리 수정 핫픽스 진행

AWS의 데이터베이스 강제 업데이트 이후 발생한 장애 대처 과정에서 보다 면밀히 살피지 못해 불편을 드리게 된 점 깊이 사과드립니다.
강제 업데이트 이후 AWS 모니터링 지표의 불안정함이 확인되고 있어 AWS 게임테크팀에 확인을 진행 중입니다.
AWS와 계속적으로 긴밀하게 소통하며 강제 업데이트 이후 보고된 문제점의 유무 등을 확인하고 대응할 수 있도록 하겠습니다.
다시 한번 이용에 불편을 드려 대단히 죄송합니다.

문제 상황과 관련하여 서버 내에서 확인이 가능한 결제 로그들에 대해서는 취합하여 개별적으로 전달드릴 수 있도록 하겠습니다.
취합 과정에서 다소 시간이 소요될 수 있는 점 양해해 주시면 감사하겠습니다.

12시 46분 기준 문제 상황 해결되었습니다.
원인 및 조치내용 후속 공지를 통해 상세히 안내드릴 수 있도록 하겠습니다.

안녕하세요, 게임서버 뒤끝입니다.
일부 유저를 대상으로 인앱 결제 후 상품이 지급되지 않는 현상을 확인하여 긴급 대응중에 있습니다.
이용에 불편을 드려 대단히 죄송합니다.
신속하게 조치한 후 후속 공지를 통해 상세히 안내드릴 수 있도록 하겠습니다.

안녕하세요. 게임 서버 뒤끝입니다.
23년 6월 15일(목) AWS의 강제 업데이트 시행으로 인해 뒤끝 서버 장애가 발생하였습니다.
장애 원인과 대응, 추후 보완 사항을 안내해 드립니다.

  • 발생 일시
    • 23년 6월 15일(목) 04시 10분 ~ 04시 30분
  • 발생 원인
    • AWS의 데이터베이스 강제 업데이트 시행
    1. 5월 31일 AWS 데이터베이스 업데이트 공지 (일정 미공유)
    2. AWS측에서 6월 15일 오전시간(장애 발생시간) 순차적으로 데이터베이스 순환 업데이트 진행
    3. 재시작이 이루어지는 인스턴스의 데이터(게임정보관리)에 접근이 시도된 경우 500번대 에러 발생
  • 해결
    AWS 업데이트 작업이 순차적으로 완료되어 정상화

장애 발생 상황을 빠르게 확인하고 대응하지 못한 점,
그리고 AWS를 통해 정확한 업데이트 일정을 확인하고 사전에 공지하지 못한 점 대단히 죄송합니다.
추후 진행되는 AWS 점검 및 업데이트에 대해서는 AWS와의 긴밀한 협의를 통해, 정확한 업데이트 진행 일시를 공유받고 시스템 점검을 사전에 공지하여 고객사의 피해를 최소화할 수 있도록 하겠습니다.
뒤끝을 이용해주시는 고객사 여러분들께 불편을 드린 점 다시 한번 고개 숙여 깊이 사과드립니다.

오늘 새벽 4시경