2023년 Backblaze 드라이브 통계

시게이트 14TB는 ㄷㄷ

 

---

 

 

2023년 12월 31일 현재 관리 중인 드라이브는 274,622개입니다. 그 중 부팅 드라이브는 4,400개, 데이터 드라이브는 270,222개였습니다. 이 보고서는 데이터 드라이브에 중점을 둘 것입니다. 우리는 2023년의 하드 드라이브 오류율을 검토하고, 해당 비율을 이전 연도와 비교하고, 2023년 말 현재 데이터 센터에서 활성화된 모든 하드 드라이브 모델에 대한 수명 오류 통계를 제시할 것입니다. 그 과정에서 우리는 관찰 내용을 공유하고 제시된 데이터에 대한 통찰력을 얻으시고, 언제나 그렇듯이 게시물 끝 부분의 댓글 섹션에서도 동일한 결과를 얻으실 수 있기를 기대합니다.

2023년 하드 드라이브 고장률

2023년 말 기준으로 Backblaze는 데이터 저장에 사용되는 270,222개의 하드 드라이브를 모니터링하고 있었습니다. 평가를 위해 나중에 논의할 고려 사항에서 466개의 드라이브를 제외했습니다. 따라서 이 보고서를 위해 분석할 수 있는 35개 드라이브 모델을 포함하는 269,756개의 하드 드라이브가 남습니다. 아래 표는 이 드라이브 컬렉션에 대한 2023년 AFR(연간 고장률)을 보여줍니다.

메모 및 관찰

1년 내내 제로(0) : 2023년에는 단 하나의 드라이브 모델인 8TB Seagate(모델: ST8000NM000A)만이 무고장을 기록했습니다. 실제로 해당 드라이브 모델은 2022년 3분기에 배포를 시작한 이래로 우리 환경에서 오류가 전혀 발생하지 않았습니다. "0"에는 몇 가지 주의 사항이 있습니다. 서비스 중인 드라이브는 204개뿐이고 드라이브의 드라이브 일수는 제한되어 있습니다( 52,876), 하지만 18개월 동안 오류가 발생하지 않은 것은 좋은 시작입니다.

올해 고장 : 2023년에는 4,189개의 드라이브가 고장났습니다. 약간의 계산을 해 보면 작년 평균적으로 2시간 5분마다 고장난 드라이브를 교체했습니다. 근무 시간을 주당 40시간으로 제한하면 30분마다 고장난 드라이브를 교체하게 됩니다.

더 많은 드라이브 모델: 2023년에 목록에 6개의 드라이브 모델을 추가하고 0개를 폐기하여 추적 중인 총 35개의 다양한 모델을 제공합니다. 

모델 중 2개는 한동안 우리 환경에 있었지만 마침내 2023년 말까지 생산 드라이브가 60개에 도달했습니다.

1. Toshiba 8TB, 모델 HDWF180: 드라이브 60개.
2. Seagate 18TB, 모델 ST18000NM000J: 드라이브 60개.

모델 중 4개는 우리 생산 환경에 새로운 것이며 2023년 말까지 60개 이상의 드라이브를 생산할 예정입니다.

1. Seagate 12TB, 모델 ST12000NM000J: 드라이브 195개.
2. Seagate 14TB, 모델 ST14000NM000J: 드라이브 77개.
3. Seagate 14TB, 모델 ST14000NM0018: 드라이브 66개.
4. WDC 22TB, 모델 WUH722222ALE6L4: 2,442개 드라이브.

세 가지 Seagate 모델용 드라이브는 고장난 12TB 및 14TB 드라이브를 교체하는 데 사용됩니다. 22TB WDC 드라이브는 주로 각각 1,200개 드라이브로 구성된 2개의 새로운 Backblaze Vault로 추가된 새로운 모델입니다.

드라이브 모델 혼합 및 매칭

고장난 드라이브를 동일한 드라이브 모델로 교체할 수 있도록 특정 모델의 추가 드라이브를 구입한 적이 있었습니다. 예를 들어 Backblaze Vault에 1,200개의 드라이브가 필요한 경우 1,300개를 구매하여 100개의 예비 부품을 확보합니다. 시간이 지남에 따라 처리량과 성능에 영향이 없는지 확인하기 위해 다양한 드라이브 모델의 조합을 테스트했습니다. 이를 통해 앞서 언급한 Seagate 드라이브와 같이 필요에 따라 드라이브를 구입할 수 있었습니다. 이를 통해 동일한 드라이브 모델이 고장날 때까지 몇 달 또는 몇 년 동안 기다리기 위해 드라이브를 구입하는 비용을 절약할 수 있었습니다.

이 검토에 포함되지 않은 드라이브

앞서 이 검토에서 고려 대상에서 제외된 466개의 드라이브가 있음을 언급했습니다. 이러한 드라이브는 세 가지 범주로 분류됩니다.

• 테스트 : 이는 드라이브 통계 데이터를 모니터링하고 수집하는 특정 모델의 드라이브이지만 프로덕션 드라이브로 인증받는 과정에 있습니다. 예를 들어, 4분기에는 4개의 20TB Toshiba 드라이브가 평가되었습니다.
• 핫 드라이브 : 작동 중 고온에 노출된 드라이브입니다. 이 리뷰에서는 해당 항목을 제거했지만 드라이브가 열을 얼마나 잘 흡수하는지 자세히 알아보기 위해 별도로 팔로우하고 있습니다. 우리는 2023년 3분기 드라이브 통계 보고서 에서 이 주제를 자세히 다루었습니다 . 
• 60개 미만 드라이브 : 이는 60개 드라이브로 구성된 단일 스토리지 서버를 사용하여 우리에게 전송된 데이터 덩어리를 저장했을 때부터 유지된 것입니다. 현재 우리는 동일한 Blob을 20개의 서버, 즉 Backblaze Vault로 나누어 데이터의 내구성을 극적으로 향상시켰습니다. 2024년에 우리는 60개의 운전 기준을 검토할 예정이며, 이 표준을 검토의 일부가 될 특정 기간의 최소 운전 일수로 대체할 가능성이 높습니다. 

그럼에도 불구하고 2023년 4분기 드라이브 통계 데이터 에서는 검토에 사용된 269,756개 드라이브에 대한 데이터와 함께 이러한 466개 드라이브를 찾을 수 있습니다.

2021년, 2022년, 2023년의 드라이브 통계 비교

아래 표는 지난 3년 동안의 AFR을 비교한 것입니다. 이 표에는 2023년에 운전 일수가 200,000일 이상인 드라이브 모델만 포함되어 있습니다. 각 연도의 데이터에는 매년 말에 존재하는 작동 드라이브 모델에 대해서만 해당 연도가 포함됩니다. 테이블은 드라이브 크기를 기준으로 정렬된 다음 AFR을 기준으로 정렬됩니다.

메모 및 관찰

무엇이 빠졌나요? : 언급한 바와 같이, 목록에 오르려면 2023년에 드라이브 모델이 200,000일 이상의 운전 일수가 필요합니다. 드라이브 일수가 126,956일인 22TB WDC 모델과 오류가 전혀 없는 8TB Seagate와 같은 드라이브는 있지만 드라이브 일수는 52,876일에 불과했습니다. 왜 200,000인가요? 매 분기마다 통계적으로 관련성이 있는 것으로 간주되기 위한 최소 운전 일수로 50,000일을 사용합니다. 완벽한 지표는 아니지만, 운전 일수가 적은 드라이브 모델과 관련된 변동성을 최소화하는 경우도 있습니다.

2023년 AFR이 상승했습니다 . 나열된 모든 드라이브 모델의 AFR은 2023년 1.70%였습니다. 이는 2022년 1.37%, 2021년 1.01%와 비교됩니다. 2023년 내내 드라이브 제품군의 평균 연령이 증가함에 따라 AFR이 상승한 것을 확인했습니다. . 현재 평균 수명이 6년 이상인 드라이브 모델은 9개입니다. 9개 모델이 생산되는 드라이브의 거의 20%를 차지합니다. 2분기부터 우리는 일반적으로 크기가 4TB인 구형 드라이브 모델에서 일반적으로 크기가 16TB인 새 드라이브 모델로의 마이그레이션을 가속화했습니다. 이 프로그램은 2024년과 그 이후에도 계속됩니다.

연간 실패율과 드라이브 크기 비교

이제 우리가 무엇을 더 배울 수 있는지 알아보기 위해 숫자를 자세히 살펴보겠습니다. 먼저 지난 3년 동안의 드라이브 크기별 분기별 AFR을 살펴보겠습니다.

우선 10TB 드라이브(금색 선)에 대한 AFR이 분명히 증가하고 있으며, 8TB 드라이브(회색 선) 및 12TB 드라이브(보라색 선)도 마찬가지입니다. 이들 그룹은 각각 2023년 4분기에 2% 이상의 AFR로 마감했으며, 2021년 2분기에는 약 1%의 AFR로 시작했습니다. 반면, 4TB 드라이브(파란색 선)의 AFR은 처음에 상승하여 2022년에 정점에 달했습니다. 그 이후로 감소했습니다. 나머지 세 가지 드라이브 크기(6TB, 14TB, 16TB)는 전체 기간 동안 약 1%의 AFR을 보였습니다. 

 

축소하면 연간 단위로 드라이브 크기에 따른 AFR의 변화를 확인할 수 있습니다. 2022년부터 2023년까지의 연간 AFR 결과를 비교하면 아래 표를 얻을 수 있습니다. 각 연도의 결과는 해당 연도의 데이터만을 기반으로 합니다.

 

언뜻 보면 4TB 드라이브의 AFR이 낮아지는 것이 이상해 보일 수 있습니다. 특히 각 4TB 드라이브 모델의 평균 수명이 6년 이상이며 점점 더 오래되고 있다는 점을 고려하면 더욱 그렇습니다. 그 이유는 2023년에 4TB 드라이브에서 16TB 드라이브로 마이그레이션하는 데 중점을 둔 것과 관련이 있을 것입니다. 일반적으로 가장 오래된 드라이브, 즉 가까운 장래에 오류가 발생할 가능성이 높은 드라이브를 먼저 마이그레이션합니다. 가장 오래된 드라이브를 선별하는 이 프로세스는 드라이브가 오래됨에 따라 예상되는 오류율 증가를 완화하는 것으로 보입니다. 

 

그러나 모든 드라이브 모델이 작동하는 것은 아닙니다. 6TB Seagate 드라이브는 평균 8.6년이 넘었으며, 2023년에는 모든 드라이브 크기 그룹에 대해 AFR이 가장 낮으며 적어도 지난 1년 동안 수명이 고장과 관련이 있다는 이론을 조롱할 가능성이 있습니다. 이것이 우리 드라이브의 수명 실패율에 적용되는지 살펴보겠습니다.

 

평생 하드 드라이브 통계

우리는 평생 AFR 검토를 위해 35개 드라이브 모델의 269,756개 드라이브를 평가했습니다. 아래 표에는 2013년 4월부터 2023년 4분기 말까지의 평생 운전 통계 데이터가 요약되어 있습니다. 

모든 드라이브의 현재 수명 AFR은 1.46%입니다. 이는 작년 말(2022년 4분기) 1.39%보다 증가한 수치입니다. 앞서 문서화한 바와 같이 2023년에 비해 AFR이 분기별로 증가했다는 점을 고려하면 이는 타당합니다. 이는 또한 2021년 1분기(1.49%) 이후 평생 AFR 중 가장 높은 수치입니다. 

 

위 표에는 2023년 12월 31일 현재 활성화된 모든 드라이브 모델이 포함되어 있습니다. 목록을 정리하기 위해 통계적으로 관련될 만큼 데이터가 충분하지 않은 모델을 제거할 수 있습니다. 이는 위에 표시된 AFR이 올바르지 않다는 의미가 아니라, 우리가 나열한 실패율에 대해 확신을 갖기 위해 더 많은 데이터를 갖고 싶다는 의미입니다. 이를 위해 아래 표에는 수명 기간 동안 200만 일 이상의 운전 일수를 가진 드라이브 모델만 포함되어 있으며 검토할 수 있는 23개 드라이브 모델의 관리 가능한 목록을 제공합니다.

위의 표를 사용하여 다양한 드라이브 모델의 수명 드라이브 고장률을 비교할 수 있습니다. 아래 차트에서는 드라이브 모델을 제조업체별로 그룹화한 다음 드라이브 모델 AFR과 각 드라이브 모델의 평균 수명(월)을 표시합니다. 각 원의 상대적 크기는 각 집단의 드라이브 수를 나타냅니다. 각 제조업체 차트의 수평 및 수직 척도는 동일합니다.

메모 및 관찰

드라이브 마이그레이션 : 마이그레이션할 드라이브 모델을 선택할 때 가장 오래된 드라이브 모델을 먼저 교체하면 됩니다. 이 경우 6TB Seagate 드라이브가 사용됩니다. 드라이브가 882개(Backblaze Vault 1개 미만)뿐이라는 점을 고려하면 오류율에 미치는 영향은 최소화됩니다. 그 외에도 차트에서는 어떤 드라이브가 어떤 스토리지 서버에 있는지에 대한 최근 게시물 에서 논의한 대로 4TB 드라이브를 계속 마이그레이션해야 한다는 점을 분명히 보여줍니다 . 이 게시물에는 서버 수명, 서버 크기(드라이브 45개 대 60개), 서버 오류율 등 결정을 내리는 데 도움이 되는 다른 요소도 있습니다. 

 

HGST : 아래 왼쪽 차트는 모든 HGST 모델에 대한 AFR 추세선(2차 다항식)을 보여줍니다. 드라이브 고장은 연령이 높아짐에 따라 지속적으로 증가하는 것으로 보이지 않습니다. 오른쪽 차트는 HGST 4TB 드라이브 모델을 제거한 동일한 데이터를 보여줍니다. 결과는 시간이 지남에 따라 드라이브 오류가 증가한다는 우리의 예상과 더 일치합니다. 4TB 드라이브의 성능은 훌륭하지만 최신/대형 드라이브에 대한 AFR 벤치마크는 아닌 것 같습니다.

여기서 다루지 않은 또 다른 잠재적 요인은 8TB 드라이브 모델부터 드라이브 내부에 헬륨이 사용되었고 드라이브가 밀봉되었다는 것입니다. 그 전에는 공냉식이었고 밀봉되지 않았습니다. 그렇다면 드라이브 내부의 헬륨으로 전환하면 HGST 드라이브의 고장 프로필에 영향을 미쳤습니까? 흥미로운 질문입니다. 하지만 우리가 보유하고 있는 데이터로는 이에 답할 수 있을지 확신할 수 없습니다. 헬륨이 여기에 있기 때문에 그것이 더 이상 중요할지 모르겠습니다.

 

Seagate : 아래 왼쪽 차트는 Seagate 모델의 AFR 추세선(2차 다항식)을 보여줍니다. HGST 모델과 마찬가지로 드라이브 고장은 나이가 들수록 계속해서 증가하는 것으로 보이지 않습니다. 오른쪽 차트에서는 7년(평균 연령)이 넘은 드라이브 모델을 제거했습니다.

흥미롭게도 두 차트의 추세선은 기본적으로 6년 시점까지 동일합니다. 8TB 및 12TB 드라이브에 대해 그 이상을 예상하려고 하면 명확한 방향이 없습니다. 상황을 더욱 혼란스럽게 만드는 것은 7년이 넘었기 때문에 제거한 세 가지 모델이 모두 소비자 드라이브 모델이고 나머지 드라이브 모델은 모두 기업용 드라이브 모델이라는 사실입니다. 7년, 8년, 심지어 9년 서비스를 받을 때 기업용 드라이브 모델의 고장률에 차이가 있습니까? 계속 지켜봐 주시기 바랍니다.

Toshiba 및 WDC : Toshia 및 WDC 드라이브 모델의 경우 3년이 조금 넘는 데이터가 있으며 식별 가능한 패턴이 나타나지 않습니다. 각 제조업체의 모든 드라이브는 현재까지 좋은 성능을 발휘하고 있습니다.

드라이브 장애 및 드라이브 마이그레이션

위에서 본 것 중 하나는 드라이브 오류 예측이 일반적으로 드라이브 모델에 따라 다르다는 것입니다. 하지만 드라이브 모델을 그룹으로 마이그레이션하지 않고 대신 스토리지 서버 또는 Backblaze Vault의 모든 드라이브를 마이그레이션합니다 . 특정 서버 또는 Vault의 드라이브는 동일한 모델이 아닐 수 있습니다. 마이그레이션할 서버와 Vault를 선택하는 방법은 향후 게시물에서 다루겠지만 지금은 드라이브 오류가 전부가 아니라는 점만 말씀드리겠습니다.

하드 드라이브 통계 데이터

이 보고서의 표와 차트를 만드는 데 사용된 전체 데이터 세트는  하드 드라이브 테스트 데이터  페이지에서 확인할 수 있습니다. 귀하는 귀하의 목적에 따라 이 데이터를 무료로 다운로드하여 사용할 수 있습니다. 우리가 요구하는 것은 세 가지입니다: 1) 데이터를 사용하는 경우 Backblaze를 소스로 인용합니다. 2) 데이터 사용 방법에 대한 책임은 전적으로 귀하에게 있음을 인정합니다. 3) 이 데이터 자체를 누구에게도 판매하지 않습니다. 공짜 야.