Soru Bir donanım SATA RAID-10 dizisindeki tek bir disk tüm diziyi bir çığlık atmasına nasıl getirebilir?


Prelude:

Küçük şirketimin SysAdmin görevlerini giderek artan bir kod maymunuyum. Kodum bizim ürünümüzdür ve giderek SaaS ile aynı uygulamayı sunuyoruz.

Yaklaşık 18 ay önce, sunucularımızı birinci sınıf bir hosting merkezli satıcıdan IV. Seviye veri merkezinde bir barebon raf iticiye taşıdım. (Tam anlamıyla caddenin karşısında.) Bu iş kendimizi çok daha fazla yapıyor - ağ oluşturma, depolama ve izleme gibi şeyler.

Büyük bir hamle olarak, kiralanan doğrudan ekli depolama alanımızı barındırma şirketimizden değiştirmek için, SuperMicro şasileri, 3ware RAID kartları, Ubuntu 10.04, iki düzine SATA diski, DRBD ve 9 tabanlı iki düğümlü bir NAS oluşturdum. Hepsi üç blog yayında belgelenmiştir: Yeni bir 9TB SATA RAID10 NFSv4 NAS'ın kurulması ve test edilmesi: Bölüm I, Bölüm II ve Bölüm III.

Ayrıca bir Cacit izleme sistemi kuruyoruz. Kısa süre önce, SMART değerleri gibi daha fazla veri noktası ekledik.

Tüm bunları yapamadım. müthiş  boffins  en  ServerFault. Eğlenceli ve eğitici bir deneyim oldu. Patronum mutlu (Dolardaki kova yüklerini kaydettik), müşterilerimiz mutluyuz (depolama maliyetleri düştü), Mutluyum (eğlence eğlence Eğlence).

Düne kadar.

Kesinti ve kurtarma:

Öğle yemeğinden bir süre sonra, isteğe bağlı bir akış medyası olan CMS'den, uygulamamızdan gelen durgun performans raporlarını almaya başladık. Aynı zamanda Kaktüs izleme sistemimiz bir e-posta karışımı gönderdi. Daha önemli uyarılardan biri de iostatın beklediği bir grafikti.

enter image description here

Performans o kadar azaldı ki, Pingdom "server down" bildirimlerini göndermeye başladı. Genel yük orta, trafik artışı yoktu.

NAS'ın NFS istemcileri, uygulama sunucularına giriş yaptıktan sonra, hemen hemen her şeyin son derece kesintili ve delice uzun IO bekleme sürelerini yaşadığını doğruladım. Ve birincil NAS düğümünün kendisine geçtikten sonra, problem dizisinin dosya sisteminde gezinmeye çalışırken aynı gecikmeler belirgindi.

Başarısız kalma zamanı, iyi gitti. 20 dakika içinde her şeyin mükemmel bir şekilde yedeklendiği ve çalıştığı doğrulandı.

Post-Mortem:

Herhangi bir sistem hatası sonrasında, hata nedenini belirlemek için bir otopsi gerçekleştiririm. Yaptığım ilk şey kutuya geri ssh ve günlükleri incelemeye başladı. Tamamen çevrimdışıydı. Veri merkezine bir gezi zamanı. Donanım sıfırlama, yedekleme ve çalışıyor.

İçinde /var/syslog Bu korkunç görünümlü girişi buldum:

Nov 15 06:49:44 umbilo smartd[2827]: Device: /dev/twa0 [3ware_disk_00], 6 Currently unreadable (pending) sectors
Nov 15 06:49:44 umbilo smartd[2827]: Device: /dev/twa0 [3ware_disk_07], SMART Prefailure Attribute: 1 Raw_Read_Error_Rate changed from 171 to 170
Nov 15 06:49:45 umbilo smartd[2827]: Device: /dev/twa0 [3ware_disk_10], 16 Currently unreadable (pending) sectors
Nov 15 06:49:45 umbilo smartd[2827]: Device: /dev/twa0 [3ware_disk_10], 4 Offline uncorrectable sectors
Nov 15 06:49:45 umbilo smartd[2827]: Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
Nov 15 06:49:45 umbilo smartd[2827]: # 1  Short offline       Completed: read failure       90%      6576         3421766910
Nov 15 06:49:45 umbilo smartd[2827]: # 2  Short offline       Completed: read failure       90%      6087         3421766910
Nov 15 06:49:45 umbilo smartd[2827]: # 3  Short offline       Completed: read failure       10%      5901         656821791
Nov 15 06:49:45 umbilo smartd[2827]: # 4  Short offline       Completed: read failure       90%      5818         651637856
Nov 15 06:49:45 umbilo smartd[2827]:

Bu yüzden dizideki diskler için Cacti grafiklerini kontrol etmeye gittim. Burada görüyoruz, evet, disk 7 syslog'un dediği gibi kayıyor. Ancak disk 8'in SMART Read Erros'unun dalgalandığını da görüyoruz.

enter image description here

Syslog içindeki disk 8 hakkında mesaj yok. Daha ilginç olan disk 8 için dalgalı değerler, yüksek IO bekleme süreleri ile doğrudan ilişkilidir!  Benim yorumum şu:

  • Disk 8, aralıklı uzun çalışma süreleriyle sonuçlanan garip bir donanım arızası yaşıyor.
  • Bir şekilde diskteki bu hata koşulu tüm diziyi kilitliyor

Belki daha doğru veya doğru bir açıklama vardır, ancak net sonuç, bir diskin tüm dizinin performansını etkilediği olmuştur.

Sorular)

  • Bir donanım SATA RAID-10 dizisindeki tek bir disk tüm diziyi bir çığlık atmasına nasıl getirebilir?
  • RAID kartın bununla ilgilenmesi gerektiğini düşünecek kadar saf mıyım?
  • Tek bir aksak diskin tüm diziyi etkilemesini nasıl engelleyebilirim?
  • Bir şey mi eksik?

99
2017-11-16 11:14


Menşei


Senden başka iyi yazılmış bir soru, +1. Okumak için her zaman bir zevk (ama maalesef benim için bir fikrim bile var). - tombull89
@daff: Bu kurulumda bütçeyi satın aldığınızda, HP ile karşılaştırılabilir bir% 66'lık bir tasarruf sağladık. Bu kutuya bir yıl ömrü koyduk, daha uzun sürmesine gerek yok. Bunun bir saklama kutusu olduğunu ve yılbaşında bir zarara neden olduğunu unutmayın. - Stu Thompson
3Ware başına kötü değil. Dell sistemindeki bir PERC kartından, iyi bir sunucu donanımı olması beklenen büyük bir davranış sergiledim. 3Ware kartta batarya ve benzeri bir pil bulunmalı, bu yüzden karar konusunda çok kötü hissetmiyorum. Tamam, SAS vs SATA kararına çarptırılmış olabilirsiniz, fakat veri kaybetmiyorsunuz ve sorunuzdan, yedeklemeleriniz ve yerinde izleme yapıyormuşsunuz gibi konuşuyorsunuz, bu yüzden oldukça iyi çalışıyorsunuz :-) - Bart Silverstrim
@StuThompson: elbette bütçeye gitmek ve tüketici donanımını kullanmak daha ucuz ve çoğu durumda, özellikle de sizin durumunuzda olduğu gibi, iyi bir HA konsepti olduğunda, iyi performans gösterecektir. Ancak, gösterdiğiniz gibi, tüketici donanımının kötü şeyler olduğunda onu kesmediği durumlar var. İyi bir PERC (Dell) veya SmartArray (HP) denetleyicisindeki tek bir arızalı SAS diskin, yedek bir disk almak için bir destek çağrısından başka bir soruna neden olmamasını garanti edebilirim. Üretimde yıllar boyunca çok sayıda ölü SAS diskimiz vardı, ancak hiç bir sunucu almamıştı. - daff
Çoğu SATA diski TLER (Zaman Sınırlı Hata Kurtarma) özelliğini desteklemez. Tipik bir SATA diski fiziksel bir problemle karşılaştığında, disk alt sistemine (bunun genellikle söylendiği gibi) "bu iş üzerinde çalışırken beklemeye" gönderir. Disk, daha sonra "öldüm" eşiğine ulaşana kadar her hatada 10-30 saniye (genellikle) harcayacaktır. TLER'yi destekleyen SAS diskleri ve SATA diskleri, HBA tarafından disk alt sistemini anlatmak için yapılandırıldı "Bir sorunum var, ne yapmalıyım?" HBA, uygun eylemi hemen temel olarak belirleyebilir. (Kısalık için basitleştirilmiş) - Chris S


Cevaplar:


Kritik üretim ortamlarında "SATA kullanmayın" demekten nefret ediyorum, ancak bu durumu oldukça sık görüyorum. SATA diskleri genellikle sizin tarif ettiğin görev döngüsü için değil, özel olarak 24x7 operasyon için puan sürücüler senin kurulumunda. Benim deneyimim, SATA sürücülerinin, yaptığınız gibi RAID 1 + 0 kullanıyor olsanız bile, çoğu zaman tüm depolama dizisini etkileyecek şekilde, öngörülemeyen şekillerde başarısız olabilir. Bazen sürücüler, tüm veriyolunu durduracak şekilde başarısız olur. Unutulmaması gereken bir şey, kurulumunuzda SAS genişletici kullanmanızdır. Bu, kalan disklerin bir sürücü arızasından nasıl etkilendiğiyle ilgili bir fark yaratabilir.

Ama gitmesi daha mantıklı olabilir. orta hatta / nearline (7200 RPM) SAS sürücüleri SATA'ya karşı. SATA'ya göre küçük bir fiyat primi var, ancak sürücüler daha tahmin edilebilir şekilde çalışacak / başarısız olacak. SAS arayüzü / protokolündeki hata düzeltme ve raporlama, SATA setinden daha sağlamdır. Yani sürücülerle bile kimin mekaniği aynıdırSAS protokol farkı, sürücü arızanız sırasında yaşadığınız acıyı önleyebilir.


47
2017-11-16 11:48



Ben sadece soruyu yazarken biliyordum SAS seçimim gelecekti. : / IOPS ve verim, kurulumumun özellikleri dahilindedir. Ama ben daha ince farklılıkların bazılarını tam olarak anlamıyordum. Bu kutuya 3 yıllık bir ömür sürüyoruz. Bir dahaki sefere SAS'ı kullanacağınızdan emin olabilirsiniz. - Stu Thompson
Evet, bir dahaki sefere düşünmek için bir şey. Bahsettiğim nearline SAS sürücüleri, SATA'dan daha iyi performans göstermiyor, ancak SAS'ın daha kolay yönetilebildiği hata kurtarma ve sürücü hataları gibi şeyler. 6 kontrolörlü bir Sun Fire x4540 48-sürücülü SATA depolama sistemim var ve sunucuyu kilitleme eğilimi olan bireysel tahrik hataları. Zor ders. - ewwhite
İyi bir arkadaşım kurumsal depolama dünyasında. Bütün bunları okudu ve diyor "bu adam haklı. Bu, SATA'nın tam bir arızayı belirtmek için tasarlandığını ve kesintili bir yük devretmeyi önleme ile veriyolunu istemek üzere tasarlandı. Bu, çoğu SATA yapılandırmasının tek bir sürücü olduğu için hiç görülmez" - Stu Thompson
@StuThompson Yakın zamanda SAS ile yeni bir kutu oluşturdunuz mu? Deneyimlerinizi okumak isterim. Sorunuz bana çok yardımcı oldu, yakın gelecekte benzer bir kutu inşa ediyorum. - chrishiestand
@chrishiestand Hayır, ben yapmadım. 13 Ocak'ta şirketten ayrıldım. Eğer kalmış olsaydım, değiştirme kutusunu yakın hatta kurardık. Ne yazık ki, NAS'ın varlığı kendi kendime çok yakından bağlıydı ve veriler bir servis sağlayıcının SAN'sine taşındı. - Stu Thompson


Tek bir disk diziyi nasıl indirebilir? Cevap şu ki olmaması gerekiyor, ama bu durum kesintiye neden olan şeylere bağlı. Disk, davrandığı şekilde ölürse, onu almamalıdır. Ancak, denetleyicinin başa çıkamayacağı bir "kenar durumda" başarısız olması olasıdır.

Bunun olmaması gerektiğini düşünmek için naif misin? Hayır, öyle düşünmüyorum. Böyle bir donanım RAID kartı çoğu sorunu ele almalıdır.

Nasıl önlenir? Böyle garip kenar vakalarını tahmin edemezsiniz. Bu bir sysadmin olmanın bir parçasıdır ... ancak işinizi etkilemesini önlemek için kurtarma prosedürleri üzerinde çalışabilirsiniz. Şu an bunu düzeltmeyi denemenin tek yolu, SAS'ın daha güçlü olup olmadığını görmek için başka bir donanım kartını denemek (muhtemelen ne yapmak istemiyor olmanız) veya sürücülerinizi SATA yerine SAS sürücülerine dönüştürmektir. Ayrıca, RAID kartınızın satıcısına başvurabilir ve neler olduğunu anlatabilir ve ne söylediklerini görebilirsiniz; Sonuçta, her şeyden önce, wonky sürücü elektroniğinin giriş ve çıkışlarını bilme konusunda uzman olan bir şirket. Doğru insanlarla konuşabiliyorsanız, sürücülerin güvenilirliğin yanı sıra nasıl çalıştığı konusunda daha fazla teknik tavsiyeye sahip olabilirler.

Bir şey özledin mi? Sürücünün bir uç dava hatası olduğunu doğrulamak isterseniz, diziden çekin. Dizi bozulur ancak daha fazla tuhaf yavaşlama ve hatalara sahip olmamanız gerekir (bozulmuş dizi durumunun dışında). Şu anda bunun iyi çalışıyor gibi göründüğünü söylüyorsunuz, ancak disk okuma hataları yaşıyorsa, sürücüyü değiştirebilirsiniz. Yüksek kapasiteye sahip sürücüler bazen başka bir sürücü arızalanana kadar gösterilmeyen URE hataları (RAID 5'i çalıştırmamak için en iyi neden, yan not) olabilir. Ve bu bir sürücüden gelen büyük / küçük harekette davranışlar yaşıyorsanız, bozuk verilerin dizideki diğer sürücülere aktarılmasını istemezsiniz.


17
2017-11-16 11:58



Evet ... zaten yeni bir değiştirme politikasına girdik "eğer okuma hataları dalgalanırsa o zaman yankı". Şimdi bunun hakkında düşündüğümde, bu sürücüler üzerinde oldukça yüksek bir başarısızlık oranımız vardı. 18 ayda 22, 4 Hmmm .... - Stu Thompson
18 ayda 4 sürücü mü? Bu oldukça yüksek bir oran var ... özel olarak olmayan sürücüler olabileceği gibi, bakmak için de bir soğutma / hava akımı sorunu olabilir. Ya da denetleyici ile garip bir şey. Sadece bazı düşünceler ... kayıtlara göz kulak ol. 3Ware'de herhangi bir kişiyle iletişim kurabiliyorsanız kartlar üzerinde gerçek bir çalışma ve sadece bir betikle bağlantı kuramıyorsanız, bunu kendi başlarına çalıştırmak ve ne söylediklerini görmek isteyebilirsiniz. - Bart Silverstrim
Hataları gördüğünüz kümeye bağlı olarak, kablolarla da kazıklı veya marjinal bir şey olmadığını da kontrol edebilirsiniz. Hatalar aynı portta yoğunlaşmış gibi görünüyorsa, rastlantısal bir dizi hatadan daha az olabilir. - Bart Silverstrim
Ben sadece bu serseri sürücü için SMART değerlerinin ~ 31 ° C'de ya da diğer tüm sürücülerden 4 ° C daha iyi çalıştığını gördüm. Sizi hmmmm yapan şeyler .... - Stu Thompson
@DanNeely: 14 sürücüden (11 veri, 3 sistem) daha yüksek sıcaklıktaki tek sistemdi. Hava akışının iyi olduğuna kesin olarak inanıyorum ama yarın açıkça kontrol edeceğim. - Stu Thompson


Ben uzman değilim, ama RAID denetleyicileri ve depolama dizileri ile ilgili deneyimlerime dayanarak karanlıkta vahşi bir çekim yapacağım.

Diskler birçok farklı şekilde başarısız. Ne yazık ki, diskler performanslarının ciddi olarak etkilendiği yerlerde başarısız olabilir veya hatalı olabilir, ancak RAID denetleyicisi bir hata olarak görülmez.

Bir disk, bariz bir şekilde başarısız olursa, herhangi bir RAID denetleyici yazılımı, diskten yanıt alınamadığını algılayarak havuzdan kaldırıp tüm bildirimleri ateşlemede oldukça iyi olmalıdır. Ancak, burada neler olup bittiğine dair tahminim, diskin kontrolör tarafında bir arıza tetiklememesinin olağan dışı bir hataya maruz kalmasıdır. Bu nedenle, denetleyici bir yazma sifonu ya da etkilenen diskten okunduğunda, geri gelmek için uzun bir zaman alır ve sırayla IO'nun çalışmasını ve dolayısıyla diziyi asar. Sebep ne olursa olsun, RAID denetleyicisinin "ah, başarısız disk" e gitmesi yeterli değildir, çünkü muhtemelen sonuçta veri geri gelecektir.

Benim tavsiyem başarısız diskin hemen yerine geçmek olacaktır. Bundan sonra, RAID kartınızın konfigürasyonuna bir göz attım (3ware, oldukça iyi olduklarını düşündüm) ve başarısız bir diskin ne olduğunu düşündüklerini öğrenirim.

Not; SMART'ı kaktüslere aktarmanın güzel bir fikri.


10
2017-11-16 11:57



Noktaları bağladığımda, ilk yaptığım şey diski diziden kaldırmaktı; Sıcak yedek dolu. Dün gece oldu. Bugün diski çektim ve RMA onu aldım. Rahatsız edici sürücü: geekomatic.ch/images/wd-re4-flux-read-error.jpg - Stu Thompson
Her görev kritik sisteminin veriyi ovalayan bir karta sahip olması gerektiğini düşündüğüm sebeplerden biri. Bunu, özellikle SATA dizilerinde saymak için çok fazla kez gördüm, ancak daha yüksek uç SAS disklerinin, denetleyiciyi tetiklemeden başarısız olduğu biliniyordu. - Jens Ehrich


Kurumsal sınıf depolama cihazlarının özelliklerine ihtiyacınız var. Özellikle, WD RE 4 kurumsal sürücüler, RAID Dizilerinde bu davranışı önlemek için gereken iki özelliğe sahiptir. Aşağıda listelenen ilk teknoloji, rotasyonel harmonik titreşimin, sabit sürücü mekanik bileşenlerinde gereksiz aşınmaya neden olmasını önler. İkinci teknoloji probleminize neden olan şeydir, SATA protokolü bu özelliğe sahip değildir. Bu özelliklere sahip olmanız için SAS'a ihtiyacınız var ve SATA sürücülerinde ısrar ederseniz, LSISS9252 gibi SAS SATA Interposer kartlarını satın alabilirsiniz.

Gelişmiş RAFF teknolojisi Gelişmiş elektronik sistemler sürücüyü izler ve gerçek zamanlı olarak hem doğrusal hem de dönüşlü titreşimi düzeltir. Sonuç, önceki nesil sürücülere göre yüksek titreşimli ortamlarda önemli bir performans artışıdır.

RAID'e özel, zaman sınırlı hata giderme (TLER) Masaüstü sürücüler için yaygın olarak kullanılan genişletilmiş sabit sürücü hata giderme işlemlerinin neden olduğu sürücü hatalarını önler.

http://en.wikipedia.org/wiki/Error_recovery_control#Overview

Ayrıca lütfen aşağıdaki bağlantıya bakınız:

http://en.wikipedia.org/wiki/Error_recovery_control#Raid_Controllers

Ayrıca bakınız: Hata giderme işlemini derinlemesine açıklayan Western Digital TLER Belgesi. WD Caviar RAID Edition Seri ATA Sabit Sürücülerde Hata Giderme Fallout Önleme:

http://www.3dfxzone.it/public/files/2579-001098.pdf


7
2018-02-25 19:34





Sadece bir tahmin: harddisks bir hata bildirmek yerine okuma hataları üzerinde yeniden denemek için yapılandırılmıştır. Bu, bir masaüstü ortamında istenen bir davranış olsa da, bir RAID'de (diğer bir deyişle, diskin diğer disklerden okuyamayan herhangi bir sektörü yeniden yazması gerektiğinde) tersine çevrilebilir.


6
2017-11-16 13:30



Çok mümkün. Eğer öyleyse, bu "RAID baskı" birimleri olarak belirtildiği gibi meydan okurcasına değil. : | - Stu Thompson
Kesinlikle hoş değil, çünkü bu ayar "RAID baskısı" nın çok tanımıdır :) - Simon Richter


karanlıkta atışım:

  • 7 numaralı sürücü çalışmıyor. Kullanılamadığı bazı hata pencereleri var.

  • 8 sürücüsünde de bazı 'daha hafif' hatalar var; yeniden denenerek düzeltildi.

  • RAID10 genellikle "birkaç RAID1 çiftinin RAID0", aynı çiftin sürücü 7 ve 8 üyesidir?

eğer öyleyse, o zaman aynı çiftte iki-disk arızası durumunda "olmamalı" davası vuruyormuş gibi görünüyor. RAID10'u öldüren neredeyse tek şey. Ne yazık ki, tüm sürücüleriniz aynı nakliye lotundan geliyorsa, bu durum aynı anda ölme olasılığı daha yüksektir.

Bir sürücü 7 başarısızlığı sırasında, denetleyicinin tüm okumaları 8 sürücüsüne yeniden yönlendirdiğini, dolayısıyla herhangi bir hata-yeniden deneme, donmuş görevlerin bir çığ olmasına neden olan büyük gecikmelere neden oldu ve bir süre için performansı öldürdü.

8 no'lu sürücünün henüz ölmediği için şanslısınız, bu yüzden detaloss olmadan düzeltme yapabilmeniz gerekir.

Her iki sürücüyü de değiştirerek başlarım ve kablolamayı kontrol etmeyi unutmayın. gevşek bir bağlantı buna sebep olabilir ve sıkıca yönlendirilmediyse, bitişik disklerde meydana gelme olasılığı daha yüksektir. Ayrıca, bazı çoklu kartların birkaç bağlantı noktası konektörü vardır, eğer sürücü 7 ve sürücü 8 aynıysa, bu sizin sorununuzun kaynağı olabilir.


6
2017-11-16 14:11



Sürücü 8 hizmet kesintisine ne sebep oluyor, ben zaten çektim. Sürücü 7, bir süre için bu durumda olduğu gibi bazı sektors kaybetti ve hala iyi performans gösteriyor. Hayır, sürücüler farklı çiftlerde. (Bu benim Cacti / SNMP sorgularımın olası bir yanlış hizalaması ile birlikte düşündüğüm bir şeydi.)  Kartta 16 port, 4 kablo, arka panelde kablo başına 4 port bulunur. Eğer sorun kart 8, kabloyu veya backpane ise sürücü 8'in yerini aldığımda çok yakında tanıyacağım. - Stu Thompson


SATA Interposer Kartları başka bir çözümdür.

Son zamanlarda aynı kaderi çoktan deneyimledim ve bu parçayı buldum. Genel tenor SAS'tır protokol RAA için SATA'dan daha uygundur, çünkü SATA'nın özellikleri eksiktir. Bu nedenle aynı fiziksel sürücüler, SAS denetleyicileriyle donatıldı, ardından Nearline SAS olarak satıldı.

Daha fazla arama yaparken buldum:

http://www.lsi.com/products/storagecomponents/Pages/LSISS9252.aspx

Depolarımdan birini bir grupla yükseltmeyi araştırıyorum. Şu anda, 3 TB SATA ve SAS arasındaki fiyat farkı% 400'dür (vanilya fiyatı, aynı marka, spesifikasyonlar ve dükkan, Almanya). Açıkçası bu stratejinin işe yarayıp yaramadığını söyleyemem ama denemeye değer.

Yorumlar çok hoş :-)


3
2018-02-22 19:12



Güzel teori. Bazı bilgileri topladıktan sonra, yalnızca depolama tepsisi üreticileri bu kartları bütünleştirebilir ve ekleyerek daha iyi hata işleme anlamına gelmez. - korkman


Sabit bir elektronik ile bir SATA diski bir Areca 12 firmware init'i kilitledik katı bir şekilde görüyorum, BIOS'u herhangi bir ortamdan herhangi bir ortamdan önyükleme yapmanın bir yolu yoktu. moda ara.


2
2018-05-06 18:57