Soru Büyük bir dizin ağacını yerel olarak kopyalamak mı? cp veya rsync?

Yerel dosya sistemine kopyalama yaparken her zaman aşağıdaki rsync seçeneklerini kullanırım:

# rsync -avhW --no-compress --progress /src/ /dst/

İşte benim mantığım:

-a is for archive, which preserves ownership, permissions etc.
-v is for verbose, so I can see what's happening (optional)
-h is for human-readable, so the transfer rate and file sizes are easier to read (optional)
-W is for copying whole files only, without delta-xfer algorithm which should reduce CPU load
--no-compress as there's no lack of bandwidth between local devices
--progress so I can see the progress of large files (optional)

Yukarıdaki rsync ayarlarını kullanarak başka bir yanıtın önerdiği gibi aşağıdaki tar komutunu kullanarak% 17 daha hızlı aktarım gördüm:

# (cd /src; tar cf - .) | (cd /dst; tar xpf -)

Çok miktarda veri kopyalamam gerektiğinde, genellikle katran ve rsync kombinasyonunu kullanırım. İlk geçiş, bunun gibi bir şey, bunun gibi bir şey:

# (cd /src; tar cf - .) | (cd /dst; tar xpf -)

Genellikle büyük miktarda dosya ile, katranın herhangi bir nedenden dolayı işleyemeyeceği bazı olacaktır. Ya da süreç kesintiye uğrayabilir veya bir dosya sistemi geçişi ise, ilk geçiş işlemini gerçek geçiş adımından önce yapmak isteyebilirsiniz. Herhangi bir oranda, ilk kopyadan sonra, hepsini senkronize etmek için bir rsync adımı yapıyorum:

# cd /dst; rsync -avPHSx --delete /src/ .

Sondaki eğik çizgi /src/ önemli.

rsync

İşte kullandığım rsync, basit komutlar için cp'yi tercih ederim, buna değil.

$ rsync -ahSD --ignore-errors --force --delete --stats $SRC/ $DIR/

cpio

İşte daha güvenli bir yol, cpio. Katran kadar hızlı, belki biraz daha hızlı.

$ cd $SRC && find . -mount -depth -print0 2>/dev/null | cpio -0admp $DEST &>/dev/null

katran

Bu da iyi ve okuma başarısızlıklarına devam ediyor.

$ tar --ignore-failed-read -C $SRC -cf - . | tar --ignore-failed-read -C $DEST -xf -

Bunların hepsi sadece yerel kopyalar içindir.

rsync -aPhW --protocol=28 RSYNC ile bu büyük kopyaları hızlandırmaya yardımcı olur. Ben her zaman rsync'e gidiyorum çünkü 90GiB ile ortada olma düşüncesi ve beni kırmak beni korkutuyor

rsync Komut her zaman transferleri her byte checksums hesaplar.

Komut satırı seçeneği --checksum yalnızca hangi dosyaların transfer edilip edilmeyeceğini belirlemek için dosyaların toplamı olup olmadığını, yani:

-c, --checksum  mod-time & size değil, sağlama toplamına dayalı olarak atla "

Manpage de şunu söylüyor:

Rsync'in her aktarılan dosyanın tüm dosya sağlama toplamını denetleyerek alıcı tarafında doğru şekilde yeniden oluşturulduğunu doğruladığını, ancak aktarımdan sonra otomatik olarak aktarım onayının bu seçeneğin aktarımdan önce yapacağı bir şey olmadığını doğruladığını unutmayın. güncellenecek? " Kontrol.

Yani rsync Ayrıca, her zaman, alıcı tarafındaki tüm dosyanın bir sağlama toplamını hesaplar. -c/ --checksum seçenek "kapalı".

Sen neyi tercih edersen. Sadece unutma -a kullanmaya karar verdiğinizde geçin cp.

Gerçekten bir cevaba ihtiyacınız varsa: rsync kullanayım çünkü daha esnek. Kopyalama tamamlanmadan önce kapatılması gerekiyor mu? Sadece ctrl-c ve arkana dönünce devam et. Bazı dosyaları hariç tutmanız mı gerekiyor? Sadece kullan --exclude-from. Sahipliği veya izinleri değiştirmeniz mi gerekiyor? rsync bunu sizin için yapacak.

rsync harika, ancak gerçekten büyük dizin ağaçları ile ilgili sorunları var, çünkü ağaçları hafızada saklıyor. Bu ipliği bulduğumda bu sorunu çözüp çözmeyeceklerini görmek istedim.

Ben de buldum:

http://matthew.mceachen.us/geek/gigasync/

Ayrıca ağacı el ile ayırabilir ve birden çok rsync'i çalıştırabilirsiniz.

Bu iş parçacığı çok kullanışlıdır ve sonuca ulaşmak için pek çok seçenek olduğundan, bunlardan birkaçını ölçmeye karar verdim. Sonuçların başkalarına yardımcı olabileceğine inanıyorum, daha hızlı çalışmanın bir hissi var.

Taşımak 532Gb arasında dağıtılan veri 1,753,200 dosya o zamanlar vardı:

• rsync 232 dakika sürdü
• tar 206 dakika sürdü
• cpio 225 dakika sürdü
• rsync + parallel 209 dakika sürdü

Benim durumumda kullanmayı tercih ettim rsync + parallel. Umarım bu bilgi, bu alternatifler arasından daha fazla insanın karar vermesine yardımcı olur.

Tüm kriter yayınlandı İşte

Yerel bir yerel dizin kopyası yapılırken, benim deneyimim "cp -van src dest" rsync'den% 20 daha hızlıdır. Yeniden başlatılabilirlik açısından, "-n" nin yaptığı şey budur. Sadece kısmen kopyalanmış dosyayı çalıştırmanız gerekiyor. ISO ya da bunun gibi bir şey olmadıkça acı vermez.

ARJ SO OLD SCHOOL IS! ARJ ve / veya rsync'in performans göstereceğinden şüpheliyim.

Kesinlikle her zaman yaptığım cpio kullanmak:

find . -print | cpio -pdm /target/folder

Bu CP'den neredeyse hızlı, kesinlikle katrandan daha hızlı ve herhangi bir şey borulamadan.