群晖很多重复的照片如何自动处理

  • t
    tpgood
    自从有了智能手机,照片,视频的数量直线上升。
  • b
    bbbzzz
    回复52#tpgood

    对的对的,有时候重复备份了。
  • b
    bbbzzz
    群晖Moments重复文件删除工具
    群晖Moments重复文件清理工具
    扫描当前目录及所有子目录下的重复文件(根据文件md5值),将同文件目录下的重复文件删除

    点此下载

    工具来由
    群晖moments经常在同个文件夹下出现好多重复文件,比如xxx_1.jpg,xxx_2.jpg,占用空间
    群晖自带的存储空间分析器能够将重复文件列出并删除,但都需要手动判别删除,重复文件过多就难受了
    需要一个安全的自动化的工具,so MomentsCleaner come

    使用
    1,需要在windows系统中使用SynologyDrive设置同步Moments,将所有照片同步到本地
    2,在本地Moments文件目录下或子文件目录,将下载好的MomentsCleaner.exe放入,执行
    momentscleaner
    执行完成后,会生成"被删除的文件"目录,所有被删除的文件全在这里,检查后再删除
    3,清理后(将momentscleaner.exe,cleaner_info.log,被删除的文件全删),开启Drive的双向同步(或单向上传)将更新同步到群晖上

    说明
    为什么只删除同文件目录下的重复文件?
    这是因为群晖moments在同个文件夹下容易出现重复文件,只处理同文件目录下的重复文件,安全并在大部分场景下效果达到

    两个文件重复,删除哪一个?
    根据名字长度,名称较短的保留,其它删除https://github.com/0990/momentscleaner/releases
    https://www.jianshu.com/p/2f19cb74a0c9
    https://github.com/0990/momentsc ... /MomentsCleaner.exe
  • l
    lifanxi
    这个工具的功能和逻辑跟我的脚本几乎一样,但它存在几个问题:
    1. 必须把文件通过Drive同步到PC上去重,这对于T级别以上的数据来说不是很可行,性能和可靠性都有问题
    2. 它上来就对所有的文件全量算MD5,这浪费了无限多的算力,应该先比较文件大小,如果文件大小不同,就没有必要比较MD5了。
    3. 90%以上的情况下,没必要算整个文件的MD5,这样可以节约可观的磁盘IO。
    它也有几个优点:
    1. 用Go来实现,性能比Python脚本可能有一定优势。
    2. 虽然它是编译成Windows可执行程序,但其实也有机会编成各平台的二进制文件直接扔到群晖上去跑,这样就可以归避上述1中要来回同步数据的问题了。
  • v
    victory623
    马克,感谢大佬分享
  • h
    humalu
    那么那些连拍的相似照片是否也有工具可以保留一张并删除其他呢?
  • i
    iamright
    马克 iOS fly ~
  • 杉椽
    我是用的mac下的去重软件,然后还需要在moments里面重建索引,不然原来删掉的照片显示空白 iOS fly ~
  • l
    lifanxi
    按说Moments是可以监测到磁盘文件变化自动更新索引的。但是Photo Station不行,如果是Photo Station的图片或者是Photo Station通过共享照片库进入Moments的文件,在修改或删除后,需要主动调用一下synoindex命令通知系统对变化过的文件或目录更新索引。如果忘记了更新,那索引就乱了,界面上会出来空白照片,这时就只能全量重做索引了。
  • b
    bbbzzz
    回复57#humalu

    这个不行啊,这个太高难度了。
  • p
    psterman
    Moments的PC版里有个智能助手可以去重https://post.smzdm.com/p/a99233dp/
  • b
    bbbzzz
    回复62#psterman

    这个要一个个选一个个删的。
  • a
    alexjessica
    有这个需求,等现成方案HiPDA·NG
  • b
    bbbzzz
    回复55#lifanxi


    兄台,脚本挺不错的,解决了大问题。不过有点疑问的是还剩了很多图片还是未处理的留在了原文件夹内可能缺元信息?但是很难去一个个给分出来啊。
  • l
    lifanxi
    日志里应该有原因。我回头改改脚本,把宽松模式实现了。改好了通知你。
  • m
    mexs
    马克晚上试试
  • 大屠
    马克🐴HiPDA·NG
  • e
    eat
    DuplicatePhotoFinder1.6.3 马克
  • l
    lifanxi
    我脚本改好了,还是原来的Github仓库,加了一个--fallback-meta-fields参数。你可以这样用:
    sh wait_and_arrange.sh 源目录 目标目录 --fallback-meta-fields all


    这样就会把源目录中所有的文件(因为不校验文件元信息了,所以不是图片的文件也会被处理),都搬到目标目录下按日期排好。日期分类的依据依次是文件名、EXIF元信息、文件最后修改时间。--fallback-meta-fields后面的参数可以调,all等价于name,exif,mtime。如果你只想按EXIF和文件最后修改时间归类,可以写成--fallback-meta-fields exif,mtime。如果只想按文件名和EXIF归类,就写成--fallback-meta-fields name,exif,这种式下跟原来的逻辑差不多,区别的原来的逻辑要求文件名解析出来的日期与EXIF中的一致,现在的话只要两个中有一个存在就认为合法。
  • a
    abonlion
    mark。。
  • 神狼赫萝
    进来标记。 iOS fly ~