当前位置: 首页 > 基金申请 >今年不知道还有没有爬虫大神

今年不知道还有没有爬虫大神

作者 王展昭
来源: 小木虫 450 9 举报帖子
+关注

今年不知道还能还能用网络爬虫爬结果,上年有一个爬虫大神利用短暂的漏洞时间,爬了不少中标的项目

 返回小木虫查看更多

今日热帖
  • 精华评论
  • caiqing

    引用回帖:
    2楼: originally posted by 楞严金刚 at 2021-08-10 11:58:51
    这是违法的有被判刑的

    无语

  • yzy202

    目前还没有见到

  • 柠萌粉

    引用回帖:
    3楼: originally posted by caiqing at 2021-08-10 12:04:13
    为什么?
    网站在那儿,我上网,你不用管我用啥手段吧。
    不给做那,不给说这,,,,
    限制太多、框架太多,必然将各种创新扼杀掉。...

    楼上说的罪名是一方面,另一方面,网站是否允许爬虫是有行规的,会写一个robots.txt的文件放在网站根目录
    看看isisn是怎么写的(https://isisn.nsfc.gov.cn/robot.txt):
    user-agent: *
    disallow: /
    第二行的意思就是,所有目录都不允许爬取。
    当然可以无视这个文件,但是这个文件代表了官方的态度

    不过不得不吐槽一下他们负责网站建设的人,这个robot.txt应该写成robots.txt,这个错误导致了百度在爬他们的网站

  • yzb85

    引用回帖:
    3楼: Originally posted by caiqing at 2021-08-10 12:04:13
    为什么?
    网站在那儿,我上网,你不用管我用啥手段吧。
    不给做那,不给说这,,,,
    限制太多、框架太多,必然将各种创新扼杀掉。...

    按照这种逻辑ATM无故吐钱不还就不需要定罪了

猜你喜欢
下载小木虫APP
与700万科研达人随时交流
  • 二维码
  • IOS
  • 安卓