本地文件复制到群晖NAS竟然MD5会变化

  • f
    fenglu
    原以为文件移动或者复制后MD5值都是不变的。100M不到的zip文件复制到群晖,MD5和本地不同,重新复制还是不同。然后从群晖上下载一个几十KB小文件测试MD5也不一样。

    那么大文件在本地和NAS相互传输后有什么办法检测文件传输是否完整呢?


    https://www.chiphell.com/forum.php?mod=viewthread&tid=1206024
  • l
    lilarcor
    除了zfs,其他都有概率出这个问题的
  • w
    wflove
    这不科学
  • 阿基琉斯
    不可能,如果是winrar,md5都不一样,能解压么?
  • 阿基琉斯
  • d
    deyu260
    文件静默损坏吗 iOS fly ~
  • l
    lasttime
    检查内存
  • w
    wwwEagle
    九成九是算错了。
  • l
    lifanxi
    你不会是把MD5跟SHA1去比较了吧。
  • a
    aliar
    我以前通过USBHUB往移动硬盘上复制文件,也碰到这样的问题。后来发现是USB HUB质量不好,电压不稳,后来换了一个企业级USB HUB,然后通过FAST COPY复制文件,打开校验选项,这样如果复制时有问题就能及时发现。
    现在还偶尔有复制后文件校验的情况出现,但是极少。
    现在都不知以前有多少文件复制后其实是有问题的了啊。

    总之,不能相信Windows资源管理器里面的复制功能。
  • c
    crc8
    测试并没有变。楼主你想下,这是一个很严重的问题啊。
  • r
    redmonkey
    卧槽
    还有这事???
  • 8
    888999000
    传输中丢数据很正常
  • s
    songco
    出错的概率非常小,磁盘本身就有预留校验的 From dhchvgxfxv
  • b
    bingdunan
    不可能。中勒索了吧
  • p
    pdabb79
    搭车问一下,.sha 文件怎么用? iOS fly ~
  • 战萧十一郎
    Mark~~~~~~~~~
  • e
    ekson
    我靠,可以写论文了吧 iOS fly ~
  • w
    wflove
    我几G的光盘镜像ISO传到群晖,然后群晖自动同步到百度盘,再从百度盘下载下来,md5都不会变
  • F
    FQX
    这个可能是真相 iOS fly ~
  • s
    shadowmage
    我觉得楼主你有必要查查你的硬盘了。如果MD5值在局域网环境下,简单的复制都不能保证一致,怎么保证网络下载的文件MD5值一致?
    网上很多分享的文件,为了保证传播过程中不感染病毒,校验MD5值是保证文件一致的基本手段。
  • w
    wannafly
    大概率你内存坏了
  • f
    fenglu
    白群晖入门级双盘设备可以用zfs么?
    目前是shr,前几天刚升级 双4t硬盘,直接在线扩容 一个一个换盘,将用了好几年的2t双硬盘换下来了
  • f
    fenglu
    远程,通过互联网手机热点 访问异地群晖,复制文件速度只有100多kb
  • c
    chitaka
    真的有可能是什么病毒之类的. 试试复制个小点的文件, 复制完用diff和源文件对比一下看看.
  • f
    fenglu
    群晖中病毒还是windows中病毒?刚装的windows10系统,msitellu渠道镜像,kmspico注册,kmspico系统向来都是提示有病毒,我都是加入白名单忽略了
  • c
    chitaka
    windows可能性有点大
  • f
    fenglu
    群晖浏览器图形界面,文件右键属性,计算MD5值
    Windows10命令行自带工具,certutil -hashfile 文件绝对路径 md5 回车。
    都是官方工具应该不会错。

    换成群晖同一个局域网内另一台电脑,通过samba复制群晖上的某文件到本地,对比MD5相同。
    本机随便找一个zip小文件通过samba复制到群晖,对比MD5,两边相同。

    出现问题的异地电脑传输文件通过手机流量热点,官网下载的Filezilla FTP plain模式没有加密传输文件。
    不知道流程中哪里出现问题了。
  • i
    ilcvm
    回复28#fenglu
    FTP远程传文件出错根正常吧,以前有些提供无损音乐下载的FTP网站会放个md5文件让你下载后检验的 iOS fly ~
  • l
    lifanxi
    FTP文件传输模式设错了?二进制文件用了文本模式?
  • f
    fenglu
    原以为FTP模式比samba更快更靠谱呢,远程传输文件什么方式更快更靠谱呢
  • f
    fenglu
    二进制模式或者文本模式该如何选择呢,选错了会导致文件传输错误么
  • n
    nirnovo

    是时候安利一下我自己写的fhash工具了,等会儿补图 iOS fly ~
  • i
    ilcvm
    回复31#fenglu


    这个主要不是应用层协议的问题(你在局域网用FTP传文件也基本不会出错),而是底层链路校验长度的问题。一般如果只有16位校验传大文件就偶尔会有少数几个BIT出错,MD5校验就不能通过(这种情况在USB 2.0传文件也经常出现,所以我很佩服那些用USB 2.0挂硬盘当NAS的人的勇气),而32位校验就很少发生(如USB 3.0)。FTP协议本身没有额外校验机制,而TCP/IP只有16位,如果底层链路不能提供更高的校验就难免出错。本地局域网底层不是以太网就是WiFi,都是32位校验,而远程传输经过很复杂的底层链路,只要其中一个环节校验不足就容易引致出错。

    要保证远程传输不出错就必须用提供额外校验机制的软件,那些远程同步软件应该都会额外校验吧(如rsync会用MD5,BT sync用HASH)
  • f
    fenglu
    这么看来远程文件传输不适合用FTP咯,用远程同步软件更靠谱么
  • 寒冰炫
    以前我往aix上ftp复制文件,用软件复制就有问题,用windows自带的文件管理器复制就可以用。。。