python如何实现爬虫 登录网站,查询数据

  • 速度七十迈
    登录网站
    找到菜单页面,勾选条件, 根据给定的关键词列表查询结果
    点击结果进入详情页面 记录特定数据。
    循环后汇总。
    提高效果
    否则要登录后挨个复制粘贴查询,复制出来汇总
    python 0基础 这样编一个要多久呢?有没有简单的教程呢?
  • w
    wsyx87930
    看网站难度,零基础开始,简单的话一周,难的话可能一个月
  • a
    antonychan
    直接看看发包传的什么参数,发到什么地址。。
  • v
    vistorli
    主要看这个网站反爬程度怎样
  • 速度七十迈
    如果能按键精灵之类的模拟操作一遍就自动识别出代码就好了
  • s
    syf_alan
    你懂了http和html就不会这样问这个问题了。
    学吧,坑多,但是乐趣无穷,今天奖励自己,用Python给自己写了个上班自动签到签退脚本。很开心。
  • a
    awk
    简单的 最基本的功能,网上有大量实例
    浏览器按 f12看查询时发送的数据格式
    curl模拟登录保存cookies
    用这个cookie 循环发送不同关键字查询
    提取数据输出到文件
  • s
    summerblue52
    不要用python,直接拿现成的rpa软件就好了
  • s
    summerblue52
    回复1#速度七十迈


    不要用python,直接拿现成的rpa软件就好了
  • 懒散的牛
    找代码,改一改。。。
  • a
    am99
    回复5#速度七十迈
    如果这个思路的话建议用webdriver。python里面的一个自动操作web框架 iOS fly ~
  • 速度七十迈
    回复9#summerblue52


    谢谢 我去研究下
  • l
    landong521
    一个扫码 全部死翘翘 iOS fly ~
  • l
    lazahata
    这个需求用tampermonkey效率更高。
    没必要用python
  • M
    MR.L
    最关键的步骤是分析站点数据结构……这个没有点mvc开发经验,呵呵了
  • s
    syf_alan
    楼主把网址和操作实例给我,我来研究下。
  • w
    wd2wd
    哪家的rpa靠谱?
  • j
    jtyxr
    学习一下 iOS fly ~
  • x
    xzap
    楼主所有的这些操作在python 里就是get 和post两个动作。关键是要分析网页
  • e
    etoad
    mark一下 iOS fly ~
  • 奥利弗马丁
    我也有类似的需求
    登录网站,摘取新闻页面的所有新闻,邮寄到Kindle。
    不知道能不能实现
  • l
    lias886
    使用后羿爬虫工具 iOS fly ~
  • g
    gaizibi
    我是想爬微博评论 iOS fly ~
  • v
    vonsy
    https://www.selenium.dev/documentation/en/
    这个东西好用, 也是调用Webdriver