Soru Büyük giriş hızına sahip servisler yeterince hızlı sabit diskleri nasıl kurar?


Amazon, Facebook ve Google, günlük PB'leri yoksa TB'leri almalıdır, yani bu da düzenli olarak yeni bir sunucu kurabilmeniz için yeni sabit diskleri ve kabloları sürekli olarak yeni sabit disklere taktıkları anlamına gelir, ya da farklı bir teknoloji kullanılır mı? sürücüleri bağlamak için?


13
2017-08-30 06:49


Menşei


en.wikipedia.org/wiki/I,_Pencil - Michael Hampton♦
Düşünmesi gereken bir başka etken ise, o kadar fazla depolama alanı ile arızalanma oranlarını ve nasıl ayak uydurabildiklerini göstermektir. Bazı kullanıcıların tahmin ettiği Google’ın her dakika bir yerde yeni bir sürücü hatası olabilir. - Matt


Cevaplar:


Bunlardan herhangi birinin, bir seferde bir tane sunucu kurup kurmadığını bilmiyorum. Geri 2008 MS, sunucularını sadece bir kamyondan boşaltmak ve güç / ağ bağlantılarını takmak için ihtiyaç duydukları sunucuların kapalı ve önceden kablolu nakliye kaplarına teslim edilmesini sağlayarak veri merkezlerini kurmaya başladı. 08 yapımı bir konteyner konteynırları ve en sonları için geleneksel olmasına rağmen veri merkezi O zamandan beri hava koşullarına dayanıklı ve ayrı binalarda barındırılması gerekmeyen özel bir prefabrik tasarıma gittiler.

Her ikisi de HP ve IBM dağıtmak için yalnızca güç / veri bağlantılarına ihtiyaç duyan sunucularla dolu önceden yüklenmiş kaplarla benzer paketleri satmak.

Microsoft's Boyden Virginia Data Center with prefab modules exposed to the weather.


16
2017-08-30 13:39



Bu benim için ilk soruya cevap veren tek cevap. +1 - mveroone
BTW, İşte bu resmin kaynağı. Virginia'daki bir Microsoft Azure veri merkezi. - tedder42
Birisi nakliye gemisi sunucusunu bir seferde kurmak / bağlamak / test etmek zorundadır ve google / facebook donanımlarını evde yapmak zorundadır. - Matt
Aynı fabrikada yaptığımız @mindthemonkey, aynı ucuz Çin emeğini kullanarak sıradan rafa monte edilen sunucular / bıçakların geri kalanı tarafından kullanılmakta. - Dan Neely
Hepsi değil - Matt


Google, bu büyük veri yığınlarını depolamak için dahili olarak geliştirdiği çeşitli teknolojilere sahiptir. Bu teknolojileri kullanarak, herhangi bir kesinti olmaksızın, kamyona sabit diskler yükleyebilirler, ancak evet, bunu yapan insanlara hala ihtiyaç duyarlar.

Google Blog’dan bildiğim kadarıyla, iki ana bölüm, gerçekten büyük ölçekte ölçeklendirilebilen dağıtılmış bir dosya sistemi olan Google Dosya Sistemi’dir: Google Dosya Sistemi

Ve Google Dosya Sistemi'nin üzerinde, bir çeşit Temel Değer veritabanı olan ve aynı zamanda büyük ölçeklere kadar ölçeklendirilebilen Büyük Tablosu var: Buyuk masa

Yüksek kullanılabilirliği garantilemek için, çoğu durumda çoğu zaman 3 kattan fazlası olmak üzere birçok kez gereksizdir.


7
2017-08-30 06:53



Bence soru daha donanım odaklı ve cevabınız biraz konu dışı, ama bu iyi bilinen bir bilgidir. - mveroone


Bu kesinlikle doğru. Bir keresinde, Facebook veri merkezlerinin, ortalama gün içinde sabit disk ve raf tipi sunucularla dolu üç çekici-römork eklediğini hatırlıyorum. Tabii ki, depolama kapasitesini ölçeklendirilebilir ve gereksiz hale getirmek için karmaşık şemaları var. Google’ın GFS. Facebook'un her biri iki Wal-Mart'tan daha büyük olan ve her biri mevcut merkezlerinden dört kat daha büyük olan yeni bir donanım için üç veri merkezi var.


5
2017-08-30 06:51





4 raf ünitesinde 180 TB diske sığabilen yeni nesil Open Compute depolama çözümleriyle, PB gerçekten çok büyük bir alan değil: günde 1PB eklenmesi, bu tür sunucuların günde bir kez değil, büyük bir problemle karşılanması anlamına gelecektir. Daha da iyisi, bunlar 10 bin dolar civarında olabilir, yani TB başına 60 $ 'dan daha az ödeme yapıyorsunuz demektir.

Evet, teknoloji, hepimizin aynı şeyi yapabilmesi için, bankayı bozmayan bir fiyata kullanılabilir.

Ancak daha büyük şirketlerin her zaman daha iyi bir anlaşma yaptıklarını ve büyük miktarlarda depolama sağlamak için büyük sözleşmeler imzaladıklarını unutmayın. Yıl boyunca küçük sevkiyatların yayılmasını sağlayabilirler, ancak bir seferde sadece 1PB sipariş ettikleri gibi değil.


2
2017-09-06 07:18



açık kasa özellikleri çevrimiçi. 4TB sürücülerle 2U'da 120TB'ye kadar çıkıyorlar. - Matt


İşte BackBlaze'nin bunu nasıl yaptıkları ile ilgili ilginç bir blog yazısı (muhtemelen Google ya da Facebook kadar çok diske ihtiyaç duymazlar, ama yine de bütün bir lt) ve Tayland'da harddisk yapan seller olduğunda ne yapmaları gerekiyordu? almak için pahalı ve daha zor:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/


0
2017-09-26 12:35