小木虫
登陆
|
注册
首页
导读
期刊
发现
社区
招聘老师
当前位置:
首页
>
基金申请
>
今年不知道还有没有爬虫大神
今年不知道还有没有爬虫大神
作者
王展昭
来源:
小木虫
450
9
举报帖子
+关注
今年不知道还能还能用网络爬虫爬结果,上年有一个爬虫大神利用短暂的漏洞时间,爬了不少中标的项目
返回小木虫查看更多
分享至:
更多
今日热帖
这是中了吗
国自然放榜
【中标分享】最新...
73批面上今天会...
目前发帖总数是8...
国合可查。感谢木...
青C没有中,难过
希望我的大象能站...
精华评论
caiqing
引用回帖:
2楼
:
originally posted by
楞严金刚
at 2021-08-10 11:58:51
这是违法的有被判刑的
无语
yzy202
目前还没有见到
柠萌粉
引用回帖:
3楼
:
originally posted by
caiqing
at 2021-08-10 12:04:13
为什么?
网站在那儿,我上网,你不用管我用啥手段吧。
不给做那,不给说这,,,,
限制太多、框架太多,必然将各种创新扼杀掉。...
楼上说的罪名是一方面,另一方面,网站是否允许爬虫是有行规的,会写一个robots.txt的文件放在网站根目录
看看isisn是怎么写的(
https://isisn.nsfc.gov.cn/robot.txt
):
user-agent: *
disallow: /
第二行的意思就是,所有目录都不允许爬取。
当然可以无视这个文件,但是这个文件代表了官方的态度
不过不得不吐槽一下他们负责网站建设的人,这个robot.txt应该写成robots.txt,这个错误导致了百度在爬他们的网站
,
yzb85
引用回帖:
3楼
:
Originally posted by
caiqing
at 2021-08-10 12:04:13
为什么?
网站在那儿,我上网,你不用管我用啥手段吧。
不给做那,不给说这,,,,
限制太多、框架太多,必然将各种创新扼杀掉。...
按照这种逻辑ATM无故吐钱不还就不需要定罪了
9
1
2
››
猜你喜欢
板块导航
网络生活
育儿交流
健康生活
有奖问答
资源共享
课件资源
试题资源
化学化工
有机
高分子
无机物化
分析
催化
工艺技术
化工设备
化工
精细化工
电化学
环境
专业学科
机械
物理
数学
农林
食品
地学
能源
信息科学
理工农林
科研生活
博后之家
专业外语
外语学习
导师招生
找工作
招聘信息
考研
考博
公务员
生物医药
新药研发
药学
药品生产
分子生物
微生物
动植物
生物科学
医学
材料
材料
材料工程
微米纳米
晶体
金属
非金属
生物材料
功能材料
复合材料
计算模拟
第一原理
量子化学
计算模拟
分子模拟
仿真模拟
程序语言
学术交流
论文投稿
基金申请
学术会议
出国留学
留学生活
公派出国
访问学者
海外博后
留学DIY
签证指南
出国考试
海外院所
注册执考
化工工程师
执业药师
执业医师
环境工程师
会计师
注册考试
24小时热帖
换一批
拟解决的关键科学问题还要不要写
8
最失望的一年
12
存款400万可以在学校里躺平吗
29
求推荐英文EI期刊
5
请教限项目规定
4
应助之星
13813921817
+关注
bobvan
+关注
北京莱茵润色
+关注
czyzsu
+关注
隐约
+关注
下载小木虫APP
与700万科研达人随时交流
二维码
IOS
安卓
欢迎监督和反馈
:小木虫仅提供交流平台,不对该内容负责。
欢迎协助我们监督管理,共同维护互联网健康,违规贴举报删除请联系邮箱:xiaomuchong@tal.com
(点此查看侵权举报方式)
我们保证在7个工作日内给予处理和答复,谢谢您的监督。
©2001-2026 muchong.com,小木虫
京ICP备16008351号
京公网安备 11010802022153号
Copyright © 2001-2026 muchong.com, All Rights Reserved. 小木虫 版权所有
无语
目前还没有见到
楼上说的罪名是一方面,另一方面,网站是否允许爬虫是有行规的,会写一个robots.txt的文件放在网站根目录
看看isisn是怎么写的(https://isisn.nsfc.gov.cn/robot.txt):
user-agent: *
disallow: /
第二行的意思就是,所有目录都不允许爬取。
当然可以无视这个文件,但是这个文件代表了官方的态度
不过不得不吐槽一下他们负责网站建设的人,这个robot.txt应该写成robots.txt,这个错误导致了百度在爬他们的网站
,
按照这种逻辑ATM无故吐钱不还就不需要定罪了