| 查看: 3698 | 回复: 19 | |||
| 当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖 | |||
[求助]
如何用python实现在某网页搜索框中输入字段后自动搜索信息并抓取 已有1人参与
|
|||
如题，想要用python实现在某网页搜索框中输入自己想搜索的词后自动搜索相关信息，并对搜索出来的相关信息进行想要内容的抓取，后期还可加入解析和存库，如何实现这些功能，请大神指教 有示例就更好了 |
回复此楼» 猜你喜欢
存款400万可以在学校里躺平吗
已经有15人回复
-
拟解决的关键科学问题还要不要写
已经有6人回复
-
Materials Today Chemistry审稿周期
已经有6人回复
-
基金委咋了？2026年的指南还没有出来？
已经有10人回复
-
基金申报
已经有6人回复
-
推荐一本书
已经有13人回复
-
国自然申请面上模板最新2026版出了吗？
已经有17人回复
-
纳米粒子粒径的测量
已经有8人回复
-
疑惑？
已经有5人回复
-
计算机、0854电子信息（085401-058412）调剂
已经有5人回复
邪恶胖子
铜虫 (正式写手)
- 应助: 7 (幼儿园)
- 金币: 7994.1
- 散金: 302
- 红花: 6
- 帖子: 826
- 在线: 153.6小时
- 虫号: 1405613
- 注册: 2011-09-17
- 专业: 有机合成
【答案】应助回帖
 真拿你没办法 木虫上面貌似没有代码块啊！ 给你一个简单的吧 这个是一个简单的抓取百度的展示： import urllib.request import urllib.parse import gzip import io #baidu url = 'http://www.baidu.com/' #360 url = 'https://www.so.com/' client_header = { 'Cache-Control': 'max-age=0', 'Connection': 'keep-alive', 'Host': 'www.baidu.com', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36', 'Referer': 'http://www.baidu.com/' } #baidu params = urllib.parse.urlencode({'word': 'test','tn': '94755996_hao_pg'}) url = "http://www.baidu.com/s?%s" % params #360 # params = urllib.parse.urlencode({'q': 'test'}) # url = "http://www.so.com/s?%s" % params print(url) req = urllib.request.Request(url,headers=client_header) with urllib.request.urlopen(req,timeout=1000) as f: buf = io.BytesIO(f.read()) gf = gzip.GzipFile(fileobj=buf,mode='rb') html = gf.read().decode('utf-8') print(html) f = open('baidu.txt','wb+') f.write(bytes(html.encode('utf-8'))) f.close() 模拟的是火狐的浏览器，最简单的，你看一下吧！希望对你有帮助 |
19楼2016-08-06 13:15:38
2楼2016-07-29 15:58:43
wy_zidu2012
金虫 (小有名气)
- 应助: 4 (幼儿园)
- 金币: 1050.7
- 散金: 400
- 红花: 6
- 帖子: 195
- 在线: 156.7小时
- 虫号: 4116504
- 注册: 2015-10-03
- 专业: 计算机应用技术
3楼2016-07-29 17:50:39
Scorpio_0
银虫 (著名写手)
- 应助: 25 (小学生)
- 金币: 2558.7
- 散金: 110
- 红花: 16
- 沙发: 1
- 帖子: 1282
- 在线: 179.4小时
- 虫号: 3932734
- 注册: 2015-06-20
- 性别: GG
- 专业: 计算机科学
4楼2016-07-29 22:30:44