Soru 20 + TB veri nasıl yedeklenir?


Fotoğraf oturumlarını saklamak için kullanılmakta olduğum şirkette bir NAS sunucumuz var. Her seans yaklaşık 100 gramdır. Son birkaç yıl içinde bu sunucu 10+ TB veri topladı ve kat kat artarak photoshoots miktarını arttırıyoruz. Gelecek yıl sonuna kadar bu NAS üzerinde 20+ TB depolayacağımızı tahmin ediyorum. Şu anda bu sunucuyu Symantec BackupExec ile LTO-5 bantlarını kullanarak destekliyoruz. Bu sunucunun boyutu büyüdüğünden, bu sunucunun tam yedeklemeleri bir gecede tamamlanmıyor. Bu miktardaki verilerin nasıl yedekleneceği konusunda herhangi bir öneri var mı? Kasete yedeklemeli miyiz? Daha iyi olabilecek başka seçenekler var mı?


82
2017-12-12 03:50


Menşei


Neden her gece Tam yedekleme yapıyorsun? Neden haftada bir Tam yedekleme yapmıyorsunuz ve haftada kalan 6 günü Artan yedeklemeyi çalıştırmıyorsunuz? - joeqwerty
Yaptığımız şey budur, üzgünüm, bahsetmedim ki ... ... haftalık tam, tamamlanmayan. - Jesus Fidalgo
Haftalık tam bir gecede tamamlanması gerekiyor mu? Yeterince büyük bir veri kümesi için haftalarca daha fazla zaman harcamak alışılmadık değildir. - Stefan Lasiewski
Ne tür bir NAS kullanıyorsunuz? - ewwhite
Fotoğraflardaki artıştan emin misiniz? üstel? - gerrit


Cevaplar:


Bir adım geri çekilmeli ve "NAS'ım üzerinde 20TB'im var, yedeklemem gerekiyor!" ve verilerinizin doğasını hesaba katan bir depolama stratejisi geliştirin:

  • Nereden geliyor ve ne kadar yeni veri alıyorsunuz? (bunu sorunuzda var)
  • Verilere sahip olduğunuzda nasıl kullanılır? İnsanlar resimleri mi düzenliyorlar? Orijinalleri saklıyor ve düzenlenmiş sürümler oluşturuyor musunuz?
  • Tüm verileri saklamak için ne kadar zamana ihtiyacın var? İnsanlar hala 2 yıl önce resimlerde değişiklik yapıyor mu?

Son iki sorunun cevabına bağlı olarak, muhtemelen daha fazlasına ihtiyacınız var. Arşivleme Sistemi radikal olarak farklı bir yedekleme sistemi.

Statik olan veriler (örneğin, her ihtimale karşı "sakladığınız 2 yıllık resimler) her gece, hatta her hafta yedeklenmeye ihtiyaç duymaz, arşivlenmesi gerekir. Gerçekte yaptığınız şey daha karmaşık olabilir, ancak kavramsal olarak, tüm eski resimler teybe (çoklu kopya!) Yazılabilir ve artık yedeklenemez.

Yorumlarınıza dayanarak, bazı ek düşünceler:

  • Her çekimin orijinalini el değmeden sakladığınızdan ve bir kopya üzerinde çalıştığınızdan ve orijinal resimlerden en az bir kısmının dud olduğunu varsayarak, yedeklenecek veri miktarını ikiye bölebilirdiniz.

  • Halihazırda ne zaman bir pencere içinde tam bir yedeklemeyi tamamlayamıyorsanız, bir şeyleri hızlandırmanın ortak bir yolu, önce bir diskten diske yedekleme yapmak ve daha sonra yedekleme setini teybe kopyalamaktır.


110
2017-12-12 04:19



Orijinal çekime dokunulmamış olarak kaydedilir, daha sonra photoshoot'un başka bir kopyası düzenleme için kullanılır. Verilerin 2 yıl civarında tutulması gerekebilir. - Jesus Fidalgo
+1 İyi dedi. Yedekleme ve Arşivleme arasındaki farkın genel olarak ne kadar zayıf anlaşıldığına şaşıyorum. Sistemimin ve e-posta ve belgeler gibi geçici verilerimin tam ve artımlı yedeklemelerini yapıyorum ancak fotoğrafımı arşivliyorum (1.2TB ve büyüyen :-)). Keşke disk-disk önerisi için başka bir +1 verebilirdim. - Ex Umbris
+1 İddia ediyorum ki, NAS'daki verilerin% 80'i bir kereden fazla kullanılmaz. - Stefan Lasiewski
+1 Buradaki en iyi seçenek, değişiklikleri kaydetmek için disk delta transferlerine günlük ve hatta saatlik disk yapmak ve daha sonra, tam veya artımlı yedeklemeleri bir arşive ya da saha dışı sağlayıcıya / yere haftalık ya da altı haftalık olarak göndermek. Bir DR senaryosundaki veri kaybı miktarını azaltmak için SQL dosyalarımızın her 15 dakikada bir delta yedeklemesini alırdık. - Brent Pabst


İki seçeneğiniz var:

Seçenek 1:

  1. Başka bir NAS satın al
  2. Kullanıcılarınıza new_NAS'a RO erişimi verin
  3. 2 yıldan eski tüm dosyaları new_NAS'a taşı
  4. Eski_NAS'ı her zamanki gibi yedeklemeye devam et
  5. Her 6 ayda bir, 2 yıldan eski dosyaları new_NAS'e taşıyın

Seçenek 2:

  1. Başka bir NAS satın al
  2. Koşmak rsync her saat: old_NAS -> new_NAS

    ya da daha iyi bir şey gibi kullanın rdiff-backup rsync +, dosya değişikliklerine sahip deltaları saklar (dosyaların eski sürümlerini geri yükleyebilirsiniz)

    rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
    
  3. Her 6 ayda bir gibi eski dosyaları temizleyin:

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
    

12
2017-12-12 15:07





Yedeklemeleriniz neden bir gecede tamamlanmak zorunda? Dosya sunucusu performansı? Gün boyunca etkisini sınırlamak için yedekleme yazılımınızın bant genişliğini kısıtlayabilirsiniz. Veya NAS'ınız üzerinde başka bir trafik üzerindeki etkiyi sınırlamak için bant sürücüsüyle konuşmak için bir arabirim ayırın.

Hafta sonları tam dökümler çalıştırabilir ve hafta boyunca sadece artışlar yapabilir misiniz? Sorun hafta sonu hiç kimsenin olmadığı zamanlarda bantları değiştiriyorsa, ucuz bir teyp kütüphanesi / otomatik değiştirici, birileri bant değiştirmeye ödeyecek kadar ucuzdur.

Verilerinizi, yedek pencerenizde tamamlayacak kadar küçük birden çok gruba ayırabilir misiniz?

NAS'ımızla ilgili yaklaşık 50 TB veriye sahibiz ve 2 teyp sürücüsünü kullanarak tüm şeyin tam bir dökümünü almak için bir haftadan uzun sürüyor (bir birim çok küçük dosyalar içerdiği için neredeyse bir hafta alıyor). Yaptığımız veriler ikinci bir NAS'a kopyalanıyor. İkincil NAS'miz yerinde (ancak birincilden farklı bir veri merkezinde), bu yüzden verileri saha dışı yedekleme için banttan ayırıyoruz. Bu ikincil NAS'dan yedekler çalıştırıyoruz, böylece yedekler kimseyi yavaşlatmıyor.

İkincil NAS'ınızı yeterince uzağa götürebilirseniz, bu sizin yedeklemeniz olabilir, kasete gerek yoktur.


2
2017-12-12 18:47





Her çekim seansının büyüklüğünden şüphe duyuyorum, gerçekten 100gb / seans mı? Şirketiniz her ay kaç seans yapıyor?

Çoğunlukla sık sık kullanılmayacak olan eski oturumları depoladığınızdan, vb. Ve bu bilgileri sık sık kurtarmanız gerekmediğinden, bu görevi sizin için halletmek için bazı şirketlerden hizmet almanızı öneririm. .

Örneğin, bu 20 TB'ı Amazon Glacier gibi bir çevrimiçi hizmeti kullanarak saklamak, 200 $ / aydan biraz daha pahalıya mal olacaktır. Bu arşivleri sık sık almanız gerekiyorsa veya daha sonra tam olarak kurtarmanız gerekiyorsa, zaman / maliyet sınırlaması düşecektir. Bu şeyleri "depolandıklarından emin olmak için" saklarsanız, belki de üçüncü bir parçayı kullanmanız hayatınızı kolaylaştırabilir (hatta başka bir NAS, kaset, vs. satın almaktan bile daha ucuz olabilir).


1
2017-12-12 12:15



Seans başına 100 GB bana biraz yüksek geliyor, ama mantıksız değil. Yaygın olarak çalıştığım 32+ GB seansımız vardı ve ekipmanımız orta seviyedeydi. - Tom Marthenal


full backups of this server are not completing overnight
Ardından artımlı yedeklemeyi deneyin. Her xx günde bir tam yedekleme, geri kalanını artırın.

Harddiskler ucuzdur, bantlardan daha hızlıdır ve yedekleme için kullanılabilir.

Ayrıca bulut yedeklemeleri için iyi alternatifler var, böylece daha fazla ve daha hızlı şerit eklemeye devam etmesi gerekmiyor.
Örneğin:


1
2017-12-12 13:47



Yorumlara bakın - tamamlanmayan haftalık dolgular. Ek olarak, 20 TB veri için bulut yedekleri ... iyi bir fikir değil. Amazon Glacier'in "ucuz" seçeneği ~ 2500 / yıl'a mal olacak ve tüm bu verilerin getirilmesi $ 36,000'e mal olacak. - HopelessN00b
Bu aslında pek de değil. - Sirex
Eğer 2400 $ / yıl nispeten güvenli ve tamamen bakım gerektirmeyen depolama için 20TB çok ise bir fikir meselesi sanırım. Güç tüketimi yok, soğutma yok, arızalı donanım yok, SLA yok, raf alanını kaplamıyor. Ve çoğu sistemde olduğu gibi yaklaşık 0 tam kurtarma işlemi beklemeniz gerekir. Ve eğer bir iyileşmeye ihtiyacınız varsa, fiyat, 18000 $ 'dan daha fazladır (bu rakamı nereden aldığınızdan emin değil). - Tedd Hansen
Buzul için, $ 36K oldukça yakın. Ben 20TB üzerinde alma maliyetleri için yaklaşık 42K $ olarak hesaplayın. Yine de çok değil. Bant genişliği daha fazla sorun. - Sirex


Bunun için en iyi çözüm bordro verilerimizle yaptığımız şeydir, bu da sizin uygulamanız için çok az çaba sarfetmelidir.

  • Başlangıçta günlük olarak yedeklenen sunucu verilerinin geri kalanıyla saklanır. Bu yedeklemelerdeki saklama süremiz 13 ay.

  • Verilerin artık değiştirilmesinin gerekmediğini (iki ödeme dönemi sonra, IIRC) beklediğimizde, veriler (komut dosyası aracılığıyla) normal yedeklemelerden hariç tutulan bir arşiv hacmine kaydedilir.

  • Arşiv hacmi yıllık olarak teybe yedeklenir ve bantlar belirsiz depolama için Cintas'a gönderilir.

Bu, bize bu değişmeyen veri (yani biz muhasebeci şeye bakmak isteyen bir bant her zaman aramak gerekmez) kolay online erişim olanağı vermek için verilerin belirsiz tesis dışı arşivleri korumak sonsuza dek tutmak gerekebilir iken ve yedek sistemimizi ezmeden. Kurum düzeyi depolama 20TB'lık çok daha pahalı olan - Eğer zamanında bu verilere erişmek için ihtiyaçlarınıza bağlı, çevrimiçi tutmak veri miktarını ayarlamak isteyebilirsiniz olsa sizin için işe yarayabilir kurulum aynı tip gibi geliyor dışarıdaki kasalarda sakladığınız iki veya üç LTO5 bant setine arşivlemekten daha fazla.


1
2017-12-12 16:58





Belki kendi başınızı kurabilirsiniz Backblaze Pod: 135Tb için 7384 $
Daha fazla bilgi için buraya tıklayın: Backblaze Pod bina bilgisi

Gerekli parçaları satın alabilir ve kendiniz kurabilirsiniz.

Belki bunlardan 3 tane inşa edebilir ve 2 tane yerinde ve 1 tane de site dışında kalabilirsiniz. Ardından, "çevrimiçi veri" olarak bir bölmeyi, ikinci bölme bölmesini ilk bölmenin yedeği olarak ve üçüncü alan dışı bölmeyi acil durum dışı yedek olarak kullanabilirsiniz.

Her bir kapsül için 135Tb depolama alanıyla, değişimin bazı tarihlerini tutmayı düşünebilirsiniz ...
135Tb / 20Tb = 19 tam yedek kopya.
Alternatif olarak, 10 tam yedeklemenin yanı sıra saçma sapan diferansiyel yedeklemeyi tutabilirsiniz.

Doğal olarak, bir site dışı yedekleme istiyorsanız, bir çeşit büyük bant genişliğine ihtiyacınız olacak ...


0
2017-12-18 08:28



Verileriniz ve işiniz sizin için önemliyse, kendi backblaze kapsülünüzü sıfırdan oluşturmaya çalışmamalısınız. Tüm yumurtalarınızı gerçekten büyük bir sepete koyduğunuzu fark edinceye kadar iyi bir fikir gibi görünüyor. Daha da kötüsü, bu sepet tamamen entegre bir bütün olarak test edilmemiştir. Backblaze gizli sos, tüm kapsüllerin sorunsuz bir şekilde bozulmasına izin veren birçok bölmedeki yazılım çoğaltmasıdır. Bunun yerine bir süpermikro depolama sunucusu, centos, xfs ve rdiff-backup'ı tavsiye ederim. - bugaboo


İş arkadaşım bir Synology 8 disk NAS'ı satın aldı. Bir hibrid RAID çalıştırır. Birkaç hafta önce her biri 89 dolar karşılığında NewEgg'ten sekiz adet 3TB Seagate Barracuda satın aldı. Üretim NAS'ından GigaBit üzerinden bu yeni NAS'a ayna atabilirsiniz. Sadece farklılıkları transfer ettiğiniz için, transfer daha kısa sürecektir. Ardından, tam veya artan işlemleri gerçekleştirmek için yedek NAS'ı kullanabilirsiniz. Maliyet, bir yedek NAS için kapının 2000 $ altında olacaktır.


-1
2017-12-12 16:38