| 查看: 3967 | 回复: 9 | |||
| 当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖 | |||
[交流]
今年不知道还有没有爬虫大神 已有8人参与
|
|||
|
今年不知道还能还能用网络爬虫爬结果，上年有一个爬虫大神利用短暂的漏洞时间，爬了不少中标的项目 发自小木虫Android客户端 |
回复此楼» 猜你喜欢
拟解决的关键科学问题还要不要写
已经有8人回复
-
最失望的一年
已经有12人回复
-
存款400万可以在学校里躺平吗
已经有29人回复
-
求推荐英文EI期刊
已经有5人回复
-
请教限项目规定
已经有4人回复
-
国自然申请面上模板最新2026版出了吗？
已经有20人回复
-
26申博
已经有3人回复
-
基金委咋了？2026年的指南还没有出来？
已经有10人回复
-
基金申报
已经有6人回复
-
疑惑？
已经有5人回复
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
小木虫: 金币+0.5, 给个红包，谢谢回帖
|
楼上说的罪名是一方面，另一方面，网站是否允许爬虫是有行规的，会写一个robots.txt的文件放在网站根目录 看看isisn是怎么写的（https://isisn.nsfc.gov.cn/robot.txt）： user-agent: * disallow: / 第二行的意思就是，所有目录都不允许爬取。 当然可以无视这个文件，但是这个文件代表了官方的态度 不过不得不吐槽一下他们负责网站建设的人，这个robot.txt应该写成robots.txt，这个错误导致了百度在爬他们的网站  |
7楼2021-08-10 12:17:34
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
小木虫: 金币+0.5, 给个红包，谢谢回帖
|
本帖内容被屏蔽 |
2楼2021-08-10 11:58:51
caiqing
铁杆木虫 (著名写手)
- 应助: 21 (小学生)
- 金币: 7629.3
- 散金: 2380
- 红花: 11
- 帖子: 2898
- 在线: 569.7小时
- 虫号: 339096
- 注册: 2007-04-06
- 性别: GG
- 专业: 敏感电子学与传感器
3楼2021-08-10 12:04:13
4楼2021-08-10 12:05:08