求助贴。这样的网址怎么批量验证。。

  • 懒
    懒散的牛
    hi-pda.com/000001/000001.jpg到
    hi-pda.com/999999/999999.jpg

    怎么能快速的验证是否可以访问并下载呢？
  • 懒
    懒散的牛
    回复2#星辰大海


    刚看了下迅雷通配符只有3位。。这个实际是6位的。好像不行啊。。
  • 星
    星辰大海
    装个老版迅雷，7之前的，都有批量下载功能，支持通配符。

    或者你用excel拉一下地址批量倒进去也是可以的
  • w
    wis
    idm 分分钟
  • 星
    星辰大海
    idm也行
  • 遗
    遗忘海岸
    我用过的下载软件都有批量下载的功能。
  • 懒
    懒散的牛
    idm尝试过了啊，不能超过1000个文件。。

    这个是10w*10w了。。

    很多是空连接啊。。


  • a
    ageg
    用python很简单吧，随便找个demo就有，你自己加个循环和异常处理就能用了
    1. import requests
    2. file_url = "http://codex.cs.yale.edu/avi/db-book/db4/slide-dir/ch1-2.pdf"
    3. r = requests.get(file_url, stream=True)
    4. with open("python.pdf", "wb") as pdf:
    5. for chunk in r.iter_content(chunk_size=1024):
    6. if chunk:
    7. pdf.write(chunk)
    复制代码
  • 懒
    懒散的牛
    感谢感谢。。。python 0基础。。。方便的话能帮忙改一下么？
  • a
    ageg
    1. #!/usr/bin/python
    2. # -*- coding: UTF-8 -*-

    4. import requests
    5. import os
    6. file_url = "http://hi-pda.com/{:0>6d}/{:0>6d}.jpg"
    7. save_dir = "savedir"

    9. if not os.path.isdir(save_dir):
    10. os.mkdir(save_dir)

    12. for a in range(0, 5):
    13. save_dir_a = os.path.join(save_dir, '{:0>6d}'.format(a))
    14. if not os.path.isdir(save_dir_a):
    15. os.mkdir(save_dir_a)
    16. for b in range(0, 5):
    17. url = file_url.format(a, b)
    18. save_file_path = os.path.join(save_dir_a, '{:0>6d}.jpg'.format(b))
    19. r = requests.get(url, stream=True)
    20. if r.status_code != 200:
    21. continue
    22. with open(save_file_path, "wb") as f:
    23. for chunk in r.iter_content(chunk_size=1024):
    24. if chunk:
    25. f.write(chunk)
    复制代码
  • 懒
    懒散的牛
    回复12#ageg


    多谢。
  • k
    kaidokido
    回复1#懒散的牛


    月收入50w的人，快点找我啊。。。给我1w 我就告诉你咋整。
  • 懒
    懒散的牛
    回复12#ageg


    再次感谢，刚改了一点，已经跑起来了。
    python真好用。我要学起来。