群晖很多重复的照片如何自动处理

  • b
    bbbzzz
    脚本或
    python可否？
  • l
    lomyself
    战略性mark
  • y
    yyysuo
    关注。moments能识别重复的照片，但是无法批量处理。
  • j
    jtyxr
    mark一样的问题 iOS fly ~
  • y
    yird
    感觉没办法……除非第三方工具
  • i
    iamgs
    win下工具一大把，映射过去随便处理呗。
  • b
    bbbzzz
    回复6#iamgs

    这是最后的办法了
  • i
    insn
    群晖不是自带重复文件整理？有md5
  • p
    psterman
    安装 “存储空间分析器” 套件
    https://post.smzdm.com/p/a078e8k9/
  • b
    bbbzzz
    回复9#psterman

    删除麻烦
  • l
    lifanxi
    我写过一个简单的Python脚本用来检测清理群晖的重复文件，晚点可以分享出来。
    但是这类工具有个最大的问题就是有重复文件时不知道自动删哪一份，有可能把文件删得七零八落的。
  • c
    crazymove
    我现在全面转向icloud就没有这个问题 iOS fly ~
  • b
    bbbzzz
    回复11#lifanxi

    感谢感谢
  • x
    xx6412223
    自己写个md5的脚本
  • e
    etoad
    mark一下 iOS fly ~
  • i
    ixip
    mark群晖照片重复 iOS fly ~
  • w
    winloud
    挂载到windows再用软件去重
  • l
    lifanxi
    我在Github上分享了我的脚本，请参考dup.py的说明和代码，需要在群晖上有Python的环境。为了支持数十TiB级别文件量的去重，这个版本中用了sqlite3的库来保留中间结果，比纯内存处理性能会稍差。
    https://github.com/lifanxi/synologytools
  • p
    packingbox
    Mark群晖去重 iOS fly ~
  • b
    bbbzzz
    回复18#lifanxi

    能不能不搞数据库啊？
  • l
    lifanxi
    我以前还有个纯内存版的，但是文件多时很费内存。
    用sqlite怎么了，又不需要你额外做什么。
  • 大
    大本
    这几天都在清理群晖
  • b
    bbbzzz
    回复22#lifanxi

    还要安装啥的吗
  • l
    lifanxi
    不用
  • k
    kdxu11
    对！太对了！ 尝试过复制覆盖，我搞丢了很多工作资料，这个事情就搁置了。
  • 六
    六弦
    PC里用这个软件过一下，效果非常好的。

    复制这段内容后打开百度网盘App，操作更方便哦。
    链接：https://pan.baidu.com/s/1HehcLTvFwv1TjX3maci3bA
    提取码：14dh --来自百度网盘超级会员V8的分享 iOS fly ~
  • b
    bbbzzz
    回复18#lifanxi


    wait_and_arrange.sh: line 7: syntax error near unexpected token `newline'wait_and_arrange.sh: line 7: `<!DOCTYPE html>'
    报这错啥意思啊
  • l
    lifanxi
    目前这个仓库里有两个工具，你需要的是dup.py，那是用来文件去重的。wait_and_arrange.sh是用来整理照片的，虽然也有一定的去重能力。

    你是右键保存了网页变成.sh文件了吗？如果你不熟悉git，你需要下载raw文件，不能把网页直接当脚本来运行。
  • i
    immi
    论坛高手多啊
  • z
    ztj0517
    mark下也有这个需求、
  • z
    ziranww
    马克感谢。
  • z
    ziranww
    照片还存在一个问题，可能多次转存同一个图片，文件有变化，这种用文件md5就识别不了。谷歌照片这种ai才行了
  • 天
    天使葬月魂
    mark.
  • b
    bbbzzz
    回复29#lifanxi


    谢谢指导raceback (most recent call last): File "arrange_photo.py", line 6, in <module>
    import exifread
    sh wait_and_arrange.sh /volume5/photo/SM-N9500 /volume5/photo/SM-N9500z
    运行这呢就不断出 wait flv
  • l
    lifanxi
    你这里有两个问题。
    1. 仓库里有个exifread目录，里面有些东西是arrange_photo.py依赖的，也需要下载按指定目录放好。你如果不会用git，可以从网站直接下载整个仓库的zip包，在设备上解压后使用。
    2.一直wait说明你的机器还有些索引任务没做完，脚本只有在索引任务做完以后才会运行。
  • b
    bbbzzz
    回复36#lifanxi


    成运行了，不等索引了。
  • 故
    故都的秋
    谢谢啊 iOS fly ~
  • b
    bbbzzz
    synologytools-master.zip(36.74 KB)

    lifanxi 兄台的python工具
  • l
    lifanxi
    如果这两个工具脚本能对您有所帮助，万分荣幸。
    如果发现有什么问题或需求，可以提出来，我可以评估是否可以进一步完善功能。
  • 跳
    跳跳猪
    我选择加大硬盘，重复就重复呗 iOS sucks ~
  • b
    bbbzzz
    回复40#lifanxi


    照片整理这有点不够理想，建议没有元信息的按文件名时间，全部一起整理了。
  • l
    lifanxi
    你是说文件名里解析出来的时间还是文件的修改时间？
    原先我的脚本其实是可以处理那些元信息不完整的照片的，但是后来因为我自己有把照片上传Google Photos的需求（其实在群晖上的Moments或Photos中也有一样的问题），这些元信息不完整的照片会造成上传后排序混乱，所以我改成了严格要求元信息完整，不完整的等人工处理好后再上传。


    我可以加个选项，允许在EXIF元信息不完整时使用其它信息进行整理，比如优先级是：EXIF元信息>文件名时间戳>文件修改时间。
  • s
    shigao166
    Mark群晖去重
  • h
    heartrick
    一样的问题
  • j
    johnalex
    看看 iOS fly ~
  • d
    dahai0622
    对于懒人的我19楼才是正确答案，多年照片累计下来，重复文件名的大概率不是同一张照片，甚至占用空间一样的不是同一张都可能。19的方法最简单。专业事情交给专业工具去做 iOS fly ~
  • i
    ilcvm
    其实群辉用了BRTFS，重复文件不会多占用时间，不删也没关系 iOS fly ~
  • l
    lifanxi
    并不是，BTRFS并不会自动对相同文件实施CoW，只有显式做reflink才能实现CoW效果，我上面的去重工具脚本里提供了这个功能。
  • c
    cran168
    mark群晖照片重复 iOS fly ~
  • 姬
    姬神
    群晖照片重复的处理。