请教各位: 公司网站搭建在腾讯云上,包含敏感商业文件, 如何避免这些文件被爬虫爬到并采集? 多谢指教...

robots.txt
这个只能防遵守规则的爬虫，做好访问控制更重要

不挂网上就安全了吧

1. 做个登陆接口，不登陆无法看（当然难不倒黑客）

2. robots文件楼上已经说了，不过有心人还是能拉到

3. 不在首页或者任何公开的页面留不方便公开的地址 iOS fly ~

文件不要直接放链接，通过程序转

敏感商业文件是啥格式？pdf？word？直接的网页？

如果是HTML的页面，想防止被一般的爬虫抓，可以用js+canvas画内容

回复6#xiaotianhu
谢谢回复, 格式是json文件(产品技术文件), MP4视频(产品技术视频),和jpg图片(含商业技术内容).

需要登录才能查看，类似d版

不能加密？

1，需要用户名密码登录查看
2，需要提供给合作伙伴设定到期失效 iOS fly ~

写个程序加载到mysql库里吧，


单独的文件安全性难弄，网上又不好检索，

数据库好很多 iOS fly ~