Soru InfiniBand Depolama Alanı


Orta boy depolamamın bir sonraki yeniden yapılandırmasını düşünüyorum. Şu anda yaklaşık 30TB, AoE ile paylaşılıyor. Ana seçeneklerim:

  1. Olduğu gibi devam et. Hala bir süre büyüyebilir.
    • İSCSI'ye gidin. şu anda biraz daha yavaş, ama daha fazla seçenek var
    • Fiber Kanal.
    • InfiniBand.

Kişisel olarak, InfiniBand ana bilgisayar adaptörlerinin fiyatını / performansını beğendim ve Supermicro'daki (tercih ettiğim donanım markasının) tekliflerinin çoğunun bir seçenek olarak IB'si var.

Linux bir süredir IPoIB sürücülerine sahipti; ama depolama için iyi bilinen bir kullanım olup olmadığını bilmiyorum. IB üzerinden iSCSI hakkında çoğu yorum iSER hakkında konuşur ve bazı iSCSI yığınları tarafından nasıl desteklenmez.

Öyleyse, Linux sunucuları için paylaşımlı depolama için IB'nin nasıl kullanılacağı konusunda herhangi bir işaretçi var mı? Orada herhangi bir başlatıcı / hedef proje var mı? IPoIB üzerinden iSCSI'yi kullanabilir miyim?


4
2017-08-10 16:58


Menşei


Bütün ev sahipleri birbirlerine fiziksel olarak yakın mı? - chris
@chris: evet, hepsi birkaç rafta - Javier


Cevaplar:


İSCSI'yi Infiniband üzerinden IPoIB üzerinden çalıştırmak mümkün olsa da, iSER ve SRP protokolleri bir InfiniBand ağında daha iyi performans sağlar. Linux için bir iSER uygulaması tgt Linux için proje ve bir SRP uygulaması BTYK projesi. Windows desteği ile ilgili olarak: Şu anda Windows için mevcut iSER başlatıcı sürücüsü yoktur. Ancak Windows için bir SRP başlatıcısı sürücüsü winOFED yazılım paketinde mevcuttur (ayrıca openfabrics.org web sitesine de bakınız).


4
2017-12-03 11:43



İşaretçi için teşekkürler. Bu paketlerle ilk elden deneyiminiz var mı (veya herhangi biri var)? SRP'nin iSER'ye göre artıları / eksileri nelerdir? (Windows uyumluluğunun yanı sıra, benim için bir sorun değil) - Javier
İSER'nin bir avantajı, bir iSER sunucusunda birden fazla hedef tanımlamak mümkündür. Bir iSER başlatıcısı, hangi iSER'nin oturum açmak istediğini seçebilir. Diğer taraftan SRP bir host-to-host protokolüdür: hedef üzerinde tanımlanan tüm LUN'lar, hedefe LUN maskeleme yapılandırılmadığı sürece her başlatıcı için kullanılabilir hale gelir. İSER'in bir diğer avantajı parola tabanlı kimlik doğrulamasını yapılandırmanın mümkün olmasıdır. Ve SRP'nin büyük bir avantajı, önemli ölçüde daha düşük gecikme süresidir - bunun nedeni, SRS hedef uygulamasının, kullanıcı alanında çalıştığı sırada, SRP hedef uygulamasının çekirdekte çalışmasıdır. - user251384


Mellanox NIC'leri kullanarak bir IB SAN ile uğraşmak zorunda kaldım. RHEL kutusunun dışında çalışır


3
2017-08-10 17:54



Depolama hedefi için ne kullandınız? - Javier
Hatırlayamıyorum - çok fazla sistem benim yolumdan geliyor :) - dyasny


Pek çok insanın gerçekten düşünmediği şey, Ethernet ve IB'nin paketleri nasıl teslim ettiği. Bir yandan, Ethernet gerçekten çok kolay ve her yerdedir. Ancak paket yönetimi otomatik büyü değildir ya da garantili teslimat değildir. Verilen, modern anahtarlama mükemmel! Paket kaybı, artık geri kalmanın problemi değil. Ancak, Ethernet'i gerçekten zorlarsanız, oralarda dolanan paketleri görmeye başlarsınız. Gerçekten nereye gideceğini bilmedikleri gibi. Sonunda, paketler nereye gitmeleri gerektiğini düşünür, ancak döngüden kaynaklanan gecikme halihazırda gerçekleşmiştir. Paketlenmeleri gereken yere gitmek için koaksiyel paketler yoktur.

Infiniband garantili teslimatı kullanır. Paketler ve paket teslimi aktif olarak yönetilmektedir. Göreceğiniz şey, IB'nin performansta zirveye ulaşması ve ardından zaman zaman bir kare sinüs gibi düşmesidir. Damla milisaniye cinsindendir. Sonra performans tekrar zirveye çıkıyor.

Eterenet de doruğa çıkar, ancak kullanım yüksek olduğunda mücadele eder. Bir kare sinüs yerine düşer ve daha sonra en yüksek performansa geri adım atmak için bir süre alır. Sol tarafta bir merdiven ve sağda düz bir düşüş gibi görünüyor.

Bu, mühendislerin IB üzerinden Ethernet'i seçtikleri büyük veri merkezlerinde bir sorun çünkü kolay. Ardından, veritabanı yöneticileri ve depolama mühendisleri performans sorunları için birbirlerini suçlayarak ileri geri savaşırlar. Ayrıca, ağ ekibine cevaplar için başvurduklarında sorun ortadan kalkar, çünkü çoğu araç "ortalama" ağ kullanımının en yüksek performansta olmadığını görür. Bu davranışı görmek için paketleri izlemelisiniz.

Ah! Ethernet üzerinden IB'yi seçmek için bir sebep daha var. Her bir IB (FDR) bağlantı noktası 56 Gb / s'ye gidebilir. 1 IB bağlantı noktası başına (6) 10Ge bağlantı noktası bağlamanız gerekir. Bu A-LOT-LESS kablolaması anlamına gelir.

Bu arada ... finansal, veri ambarı, biyo-mantık veya büyük veri sistemleri oluştururken çok fazla IOPS + Bant Genişliği + Düşük Gecikme + Bellek + CPU'ya ihtiyacınız var. Bunlardan hiçbirini alamazsınız ya da performansınız acı çeker. Oracle'dan tamamen flash depolama alanına 7Gbyte / saniye kadar baskı yapabiliyordum. En hızlı tam tablo taramam 13 saniyede 6 milyar satırdı.

İşlem sistemleri toplam bant genişliğine göre ölçeklendirilebilir, ancak yine de önceki paragrafta belirtilen diğer tüm bileşenlere ihtiyaç duyarlar. İdeal olarak, kamu ağları için 10Ge'yi ve depolama ve ara bağlantılar için IB'yi kullanırsınız.

Sadece düşüncelerim ... John


3
2018-03-08 20:44



Ayrıca IB'yi seviyorum ama 40Gbps'de DCB / CEE üzerinden FCoE'nin var olduğunu ve IB'ye şaşırtıcı şekilde çok yaklaştığını ve çoğu BT insanının korkmasını sağlayamadığını düşünüyorum :) - Chopper3


IB'nin gecikme avantajlarına mı ihtiyacınız var, yoksa sadece bir çeşit ağ oluşturma ve depolama alanı mı arıyorsunuz? Eğer birincisi başka seçeneğiniz yoksa, IB harika ama yönetmek zor olabilir, FC harika çalışıyor ve güzel ve hızlı ama bazen 'eski şapka' hissediyor, iSCSI tüm sonuçları düşünürseniz harika bir çözüm olabilir. Ben olsaydım, Cisco Nexus LAN anahtarları ve birleşik ağ bağdaştırıcısı aracılığıyla FCoE üzerinden FC depolama alanına giderdim.


2
2017-08-10 19:01



Sadece depolama için istiyorum, gecikme bant genişliği kadar kritik değil. FC normal cevaptır (iSCSI'nin yanı sıra), ama ben de gerçekten denemedim, bu yüzden FC'nin gerçek bir avantajı olup olmadığını bilmek istiyorum. IB hakkında sevdiğim şey, maliyet / bant genişliği oranı (diğer herhangi bir seçeneğin en iyisi) ve birkaç anakartta (FC veya 10gE'nin aksine) yer alıyor. Ne tür zorluklar "yönetmek zor" yapar? Gerçekten iyi anahtarlara sahip değilseniz, Ethernet'in bile baş ağrısının olabileceğini keşfettim. IB bundan daha mı kötü? - Javier
Sadece bant genişliğini istiyorsanız, IB büyüktür, ancak çoğu IB depolama alanı aslında sadece FC depolama alanı IB olarak tasarlanmıştır ve iSCSI, 10 GB ve bazı QoS'ing biçimleri olmadan çoğu şey için yavaştır. - Chopper3
ve yazılım depolama hedefleri ne olacak? IET, iSCSI için harika çalışıyor, ancak IB'nin başka bir şeye ihtiyacı olup olmadığını ya da sadece IPoIB ve iSCSI'nin bununla ilgili bir sorun olup olmadığını bilmiyor. - Javier


Ne 10gb ethernet hakkında? Arayüz ne kadar egzotik, sürücüler bulma ve hataları kaçırma konusunda daha zor zamanlar ve her şey daha pahalı olacak.

Tamam - cx4 kablo mesafeleri (15 metre) içinde her şeyin yolunda olduğu göz önüne alındığında ucuz bir yıkık:

(Bizi web sayfalarında bulunan dolar ve liste fiyatlarını kullanıyorum. Satıcı fiyatlarının USD olduğu varsayılmaktadır)

Infiniband bu kadar ucuz mu?

(lütfen not edin - Bu dişliyi hiç kullanmamıştım, sadece google'da 30 saniye geçtikten sonra google'a ne gelirse gidiyorum. Bunu kesinlikle onaylamıyorum veya iyi bir şey yapacağına dair tavsiyelerde bulunmam veya kötü)


1
2017-08-10 17:08



evet, bu en basit cevaptır, ancak hem ana bilgisayar bağdaştırıcıları hem de anahtarlar için IB'den çok daha pahalıdır. Her sunucuya bir tane vermek ve saklama kutusu bir süredir söz konusu değil. - Javier


Aynı probleme özel 6 portlu switch (HP 6400cl-6XG - $ 2200) ve Intel çift portlu CX4 NIC'ler (Intel EXPX9502CX4 - $ 650) ile 10 Gigabit iSCSI kullanarak yaklaştım. Sunucu başına maliyet NIC'ye ve 100 $ CX4 kablosuna geldi. Bu durumda, karma bir Linux, Windows ve OpenSolaris ortamında çalışmak için sürücülere vs. ulaşmak için çok az şey gerekiyordu.


1
2017-11-14 02:35





RDMA üzerinden NFS, Fedora Linux'ta harika çalışıyor

Kurulması çok kolay. Doğru rpm'leri takın ve birkaç dosyayı değiştirin. Talimatları bulmak için sadece google.

En son ürün yazılımı için yanıp sönen Mellanox MT25208 PCIe-x8 infiniband kartlarını kullandım. İki kart ve 15 M kablo için toplam maliyet: 150 ABD doları. Bu fiyata "pazarın benimsenmesi" hakkında kimin umurunda.

İstemci veya sunucu üzerinde çok az CPU kullanımıyla, 400 MBytes / sn'nin üzerinde bant genişliği. Darboğaz, RAID denetleyicisidir.

Bir bonus olarak, IPOIB üzerinden X de sigara içiyor, uygulamanın yerel olduğuna yemin edersiniz.


1
2017-11-08 19:21



Ayrıca, qpid mesajlaşma sunucusu 20 kişinin ping zamanlarını görüyor. Evet, bu 20 bize. Unreal.
yani IPoIB üzerinden NFS. Bu kadar iyi çalıştığını duyduğuma sevindim, ancak NFS ile ilgilenmiyorum, bunun için blok cihazları paylaşmayı seviyorum. IPoIB'de iSCSI hakkında ne düşünüyorsunuz? - Javier