就是想讨论个思路，好些兄弟都跟我说到具体问题了。
那我换高大上一点吧，爬虫爬纽交所跟伦交所前一天的交易记录，结合深交所交易记录，预估个买点跟卖点吧。
这样没贩子了，也不存在上来就理性非理性砍价的了。



如题，看到李美君捡漏，然后二楼帖子（不知道诸位怎么称呼他，我自己管他叫丁丁，称呼来自头像）推荐上爬虫。
想就爬虫作个纯思路上的讨论。爬虫的技术细节不讨论了，那是另外一个问题。
就想说说看，假设我真有个爬虫，每天爬咸鱼，怎么判断这个东西低于市场价呢？
我的思路是把所有能爬到的价格数据去掉最高的5%跟最低的5%，取算数平均数。这样得到比价基准，然后一旦爬到就通知。
大家说说有没有更好点的思路？

没用吧，大部分价格你活人去看都要判断半天是不是真实价格，一大堆都是他妈瞎挂的价格，或者是好几个sku绑在一起弄了个最低的价格显示出来

一堆挂便宜的 但是人家不卖 iOS fly ~

咸鱼价格乱七八糟的，爬了也没什么用吧。
iOS fly ~

咸鱼关键是有一堆的淘宝客在骗人。一个很便宜的价格，然后让你打开淘宝链接下单，优惠券啥的。其实就是在哄人玩。
所以这种东西根本没有意义。还有一堆的低价求购的。外面不写，里面写。
所以只能人来筛选。

楼上你们说的都可以用爬虫过滤掉，比如某id列黑名单，再比如爬到信用分多少以下当无效数字。
我想说的是思路。
再给个提示，同样的思路，采集什么的技术细节不谈，如果我们不爬咸鱼，转头去爬伦交所跟纽交所的数据呢？

排除乱挂，高了，低了，钓凯子，骗子这种，至少1/3 是这样的，现在骗子，贩子伪装越来越高明，
剩下的高了低了，有个成色的问题呢，你咋定义，这是受个人感受很大，

闲鱼的干扰信息太多了，不靠真人很难分辨，某些品类挂出来的商品信息70%是假的。 iOS fly ~

你们研究出来怎么爬咸鱼告诉我一声，谢谢。暴力ip池就算了。。。

真用技术的话，先屏蔽掉一部分贩子号，再屏蔽掉过低价格，然后以最新排序，应该是可以的。

敲黑板敲黑板，咱这儿讨论爬虫呢，都认真点

咸鱼上面你能搜到3000元的MBP2019呢。进去详情看看，都是让加QQ或者微信聊的，这种价格有上面意义？

回复13#simvision

过滤异常数值

现在难道没有爬虫吗？

你试试挂个低价的苹果手机，看看几秒被秒掉？总觉得不像是手动HiPDA·NG

关键字自用

现在有闲鱼就机器人的，一个收u党说的，自动侦测某些标题

闲鱼大把高低挂的淘宝商家做引流 iOS fly ~

全智能肯定有难度，很多人都是假价格，还有不是卖，是收…

爬虫估计没有用的，建议人肉关注一个小众类别，小肉还是有的。手机电脑这种电子产品就算了。 iOS fly ~

可以自己发布一个，等别人来喊价，抓取别人的喊价去头去尾取平均。

这思路不错。

回复21#vistorli

用这个办法会赔死，人家贩子都是非理性喊价的，又引出怎么判断是个人合理出价的问题

回复23#therichard

真想买的人早就调查过行情，刀出的价是接近市价再偏低一点。可以设置多点过滤，比如弄的得逼真点，体质是吸引正常买家的，或者吸引垃圾佬的。

那就再发布一个收货的信息，让人喊价好了。再非理性的贩子也不会非理性地卖吧

回复24#vistorli

个人弄的本来就是逼真的，贩子还是会冲上来报个六七折的报价。其实人工就会筛选的，之前买个airpods本来都谈差不多了，卖家反悔了，后来看是加了50卖掉的，估计是咨询的多了调整的。机器不知道好不好实现

里美的情况应该只是个例。

闲鱼没有反爬虫？

多看看闲鱼就知道不可能实现了

调查下有需求嘛？比如说推送通知提醒之类还是可以 自动下单可能不适合闲鱼这种平台