| 查看: 4177 | 回复: 9 | |||
[交流]
今年不知道还有没有爬虫大神 已有8人参与
|
|
今年不知道还能还能用网络爬虫爬结果，上年有一个爬虫大神利用短暂的漏洞时间，爬了不少中标的项目 发自小木虫Android客户端 |
回复此楼» 猜你喜欢
生命口会评
已经有3人回复
-
今年E04面上
已经有20人回复
-
网络举报学术不端成为了男女之间情杀的手段了，真荒唐。。。
已经有3人回复
-
大龄残疾硕士的一点执念
已经有20人回复
-
2026年面上项目中了，2A+B, 会评顺利通过
已经有12人回复
-
Suzuki偶联中硼酸酯原料掉下的硼酸酯是否可以自身偶联，生成B2Pin2杂质
已经有3人回复
-
刑法学论文投稿求助
已经有5人回复
-
Journal of Environmental Chemical Engineering
已经有3人回复
-
最后一年，祈求好运
已经有3人回复
-
风电环氧领域
已经有3人回复
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
小木虫: 金币+0.5, 给个红包，谢谢回帖
|
本帖内容被屏蔽 |
2楼2021-08-10 11:58:51
3楼2021-08-10 12:04:13
4楼2021-08-10 12:05:08
yzy202
新虫 (正式写手)
- 应助: 0 (幼儿园)
- 金币: 723.2
- 帖子: 493
- 在线: 59小时
- 虫号: 21600662
- 注册: 2020-03-25
- 性别: GG
- 专业: 交叉学科中的光学问题
5楼2021-08-10 12:06:30
6楼2021-08-10 12:07:34
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
小木虫: 金币+0.5, 给个红包，谢谢回帖
|
楼上说的罪名是一方面，另一方面，网站是否允许爬虫是有行规的，会写一个robots.txt的文件放在网站根目录 看看isisn是怎么写的（https://isisn.nsfc.gov.cn/robot.txt）： user-agent: * disallow: / 第二行的意思就是，所有目录都不允许爬取。 当然可以无视这个文件，但是这个文件代表了官方的态度 不过不得不吐槽一下他们负责网站建设的人，这个robot.txt应该写成robots.txt，这个错误导致了百度在爬他们的网站  |
7楼2021-08-10 12:17:34
yzb85
木虫 (正式写手)
- 应助: 5 (幼儿园)
- 金币: 1717.1
- 散金: 1090
- 红花: 14
- 帖子: 556
- 在线: 324.8小时
- 虫号: 270668
- 注册: 2006-08-06
- 性别: GG
- 专业: 人工智能与知识工程
8楼2021-08-10 12:18:48
9楼2021-08-10 12:33:27
且听虎啸
捐助贵宾 (小有名气)
- 应助: 0 (幼儿园)
- 金币: 278.4
- 散金: 122
- 帖子: 114
- 在线: 121.4小时
- 虫号: 17444376
- 注册: 2019-09-14
- 专业: 计算机科学的基础理论
10楼2021-08-10 15:07:16