Soru 22TB dışa aktarılmış JFS dosya sistemi ile NFS çalıştıran Debian sunucusunda kötü yazma performansı


Şu anda NFS üzerinde büyük bir JFS dosya sistemi (22TB) ihraç Debian sunucu çalıştırıyorum (nfs çekirdek sunucuya.) NFS paylaşımına yazmaya çalışırken, performans çok kötü. 22TB diski, iSCSI kullanılarak monte edilen bir NAS üzerinde oturuyor.

  • Beklenen hat hızına yakın bir an için büstü ve daha sonra birkaç saniye boşta kalacaktır. Düşük kb / sn olarak ölçülen çok az trafik.
  • Bekle, bekle.
  • NFS montajından okurken, sistem beklenen hızlarda çalışır (11MB / sn).
  • SFTP, rsync veya yerel baş etme (nfs olmayan) kullanılırken sorun oluşmaz.
  • Sorun, kararlı ve test sürümleri arasında devam ediyor.
  • Aynı makinede, sorunu paylaşmayan aynı dışa aktarma yapılandırmasını kullanan 14TB ext4 dosya sistemim var. Bu pay düzenli kullanımda değildir ve dolayısıyla kaynak tüketmemektedir.

NFS Sunucusu:

cat /etc/exports
/data2      10.1.20.86(rw,no_subtree_check,async,all_squash)

cat /sys/block/sdb/queue/scheduler
noop [deadline] cfq

cat /etc/default/nfs-kernel-server 
RPCNFSDCOUNT=8
RPCNFSDPRIORITY=0
RPCMOUNTDOPTS=--manage-gids
NEED_SVCGSSD=
RPCSVCGSSDOPTS=

NFS İstemcisi:

cat /etc/fstab
10.1.20.100:/data2  /root/incoming  nfs     rw,noatime,soft,intr,noacl 0 2

cat /sys/block/sdb/queue/scheduler
noop [deadline] cfq

cat /proc/mounts
10.1.20.100:/data2/ /root/incoming nfs4 rw,noatime,vers=4,rsize=262144,wsize=262144,namlen=255,soft,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=10.1.20.86,minorversion=0,addr=10.1.20.100 0 0

Bu problem beni çok şaşırttı. Herhangi bir yardım büyük memnuniyetle karşılanacaktır. Teşekkürler.


5
2017-11-01 00:37


Menşei


14T ve 22T'nin mount seçenekleri NFS sunucusunda aynı mı? - John Siu
Diğer sorular, NETWORK: -> Sunucuda kaç tane ağ arabirimi var? -> Gümrüklü Arayüzler? -> Diğer ağ trafiğinden yalıtılmış iSCSI ve NFS trafiği mi? -> vlans veya ayrı anahtarlar ile? -> ağ: jumboframes etkin mi? -> iSCSI sunucusu farklı bir vlan üzerinden erişiyor mu, yani ağ trafiği bir yönlendiriciden mi akıyor? -> İstemci ağ yapılandırması / hızı? iSCSI -> Raid yapılandırması? Bu bir cevap ile yardımcı olacak birkaç soru :) - Danie
Evet, insanların bu kurulumda sıklıkla JFS kullandığını bilmiyorum. Eğer ext4 sorunu göstermiyorsa, bu belki de sorunların dosya sistemi ile ilgili olduğunun bir göstergesidir. - ewwhite
Cevabım yok, ama bazı bilgi ve sorular. Burada 2 katman var ve 3 gözlem noktası var. Katmanlar şunlardır: * JFS katman (bir diske konuşurken) * Sana kesin montaj seçenekleri monte etmek, kullandığınız listesi ne söz ediyoruz farkında değil, belki orada bazı gelişmeler yer yoktur. * NFS katmanı (paylaşılan olan): * NFS istatistik aracına sahiptir, nfsstatGözlem noktaları şunlardır: * yerel nokta, yerel fs * NFS sunucusu * NFS istemcisi Ne öneririm çalışıyor nfsstat İstemci ve sunucuda, yazma / okuma testinden önce, sonra ve sonra ve her ikisinde - iyi ve kötü v - Max K.
nfs v3'ü kullanmaya çalıştın mı? mount -o vers = 3. V4 performansı çok canlı bir şekilde çekirdek sürümüne bağlıdır. - kofemann


Cevaplar:


Tahminim, NFS sunucusu iş parçacığı sayısı çok düşük. 8 yerine, sayı çok daha yüksek olmalıdır.

8 konu muhtemelen sadece küçük dosyaları içeren ve (örneğin bir ev ağında) ya da yavaş ağları (10 Mbit) kullanıcıların çok küçük bir sayısına göre erişilen paylaşımlar için yeterli olacaktır.

Yazma sırasında NFS sunucunuzdaki retrans değerini belirlemeye çalışın:

nsstat -r

İletim yeniden denemeleri alırsanız, sunucu iş parçacığı sayısını artırın.

Ve ben, rsize / wsize / tcp ayarlarını mount seçeneklerinden kaldırmak için tasarruf olacağını düşünüyorum. TCP zaten varsayılan protokoldür ve TCP ile transfer boyutunu sınırlamak gerekli değildir.


1
2017-07-13 17:42





JumboFrames ile ilgili bir sorundan şüpheleniyorum. Her iki arabiriminizde de boşaltma yapılandırmasını kontrol edin

sudo ethtool -k your_nic

ve ayrıca telleri wireshark kullanarak dinlemeyi deneyin. Bazı sipariş dışı paketler, dups, bulabilirsiniz ...


0
2018-01-04 23:42





Belki yazma ve jfs için kullanılan nfs kilitleme ile uyumsuzluk. Ubuntu'da bir hata buldum: https://bugs.launchpad.net/ubuntu/+source/jfsutils/+bug/754495


0
2018-02-19 08:03