Soru Büyük dosyaları hızla aktarmak için rsync'i optimize etme


İhtiyacım olan bu:

  • Rsync daemon kaynak sunucuda çalışıyor. Hedef sunucu aşağıdaki gibi bir rsync çeker:
    rsync -ptv rsync: // source_ip: document / source_path / *. abc destination_path /
  • Büyük ikili dosyalar (3 GB - 5 GB) bir LAN üzerinden kaynak makineden hedefe kopyalanır. Yani şifreleme / şifre çözme gerektirmez. Dolayısıyla SSH kullanmıyor. Hedef makine doğrudan rsync daemon'a bağlanır.
  • Hedef klasör, rsync çekmeden önce daima boş olacaktır. Bu yüzden bazı dosyaları koşullu olarak güncellemekten endişelenmem gerekmiyor. Rsync çekimi daima hedefte yeni dosyalar oluşturur (güncellenmez). Dolayısıyla, sağlama toplamlarını hesaplamak için rsync'e ihtiyacım yok.

Alıcı ucunda rsync tarafından tüketilen CPU miktarından memnun değilim? Hangi rsync seçenekleri yukarıda açıklanan durumda rsync kullanımını optimize etmeme yardımcı olacaktır. Benim endişelendiğim şey, rsync'in ihtiyacım olandan daha fazlasını yapabilmesi. rsync checksums dosyaları. Buna ihtiyacım yok.

Ayrıca hız gelişmelerini görmek isterim.

Blok büyüklüğünü değiştirmek, sağlama toplamını devre dışı bırakmak vb. Yardımcı olur mu?


16
2018-05-07 11:22


Menşei


Aktarılacak delta yoksa rsync kullanmayın. - womble♦
@womble: Hangi aracı kullanmalıyım? Rsync burada önerildi. serverfault.com/questions/384467/... - Varun
netcat veya boş şifre ile scp. - womble♦
Boş şifre ile Scp? Scp'nin boş şifreyi desteklediğinden emin misin? Lütfen bir örnek verebilir misiniz veya ilgili kaynaklara yönlendirir misiniz? - Varun


Cevaplar:


Bir göz atmak isteyebilirsiniz gibi görünüyor --whole-file veya -W geçin. Bu, rsync yerel dosya sistemi kopyalarını yapıyorsa varsayılan olarak etkindir, ancak LAN hızı yüksek ve ağ üzerinden eşitleme yapıyorsa, belgelerin kullanım önerisini öneririm.

Temel olarak, rsync delta algoritmasını devre dışı bırakır ve farklı olduğuna inanıyorsa tüm dosyayı aktarır.

Zorlamadığınız sürece kontrol toplamı konusunda endişelenmenize gerek yok. -c. Varsayılan olarak, yalnızca son değiştirilen süreye ve dosya boyutuna bakar ve bu değerler farklıysa dosyaların farklı olduğunu varsayar.


23
2018-05-07 11:33