使用scp命令跨网络传输大文件-大坑记载

来自三线的随记
Admin讨论 | 贡献2022年3月11日 (五) 10:45的版本
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)

前提

2020-04-19

使用scp在跨网络的设备之间传输文件大小较大的压缩包的时候(如 tag.gz )

可能会导致虽然destination 节点接收到的压缩包字节数正确

但是执行 gzip -t *** 测试压缩包的时候会报

gzip: wordpress.tar.gz: invalid compressed data--crc error

gzip: wordpress.tar.gz: invalid compressed data--length error

直接使用tar -xzf 解压的时候解压失败

gzip: stdin: invalid compressed data--crc error
tar: Child returned status 1
tar: Error is not recoverable: exiting now

后记*1

即使用了C压缩参数和p保留修改时间戳参数



后记*2

使用split切割

如图所示按道理来看是1/6成功

满嘴胡话

tar -czf wordpress.20-04-21.tar.gz.
split --verbose -b 200M wordpress.20-04-21.tar.gz wordpress.20-04-21.tar.gz.split. 

腾讯云


阿里云


后记*3

split --verbose -b 100M wordpress.20-04-21.tar.gz wordpress.20-04-21.tar.gz.split.

使用split切割到100MiB

基本都是成功的

合并文件并测试内容一致性-成功

?那这现象从道理上就很说不通啊

TODO

从阿里云传到腾讯云,排除miniServer所处网络环境问题