24小时热门版块排行榜    

北京石油化工学院2026年研究生招生接收调剂公告
查看: 3800  |  回复: 19
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

惟舞幽游

新虫 (初入文坛)

[求助] 如何用python实现在某网页搜索框中输入字段后自动搜索信息并抓取 已有1人参与

如题,想要用python实现在某网页搜索框中输入自己想搜索的词后自动搜索相关信息,并对搜索出来的相关信息进行想要内容的抓取,后期还可加入解析和存库,如何实现这些功能,请大神指教有示例就更好了
回复此楼

» 猜你喜欢

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wy_zidu2012

金虫 (小有名气)

引用回帖:
7楼: Originally posted by 惟舞幽游 at 2016-08-05 22:54:13
谢谢你,目前用selenium实现了关键词自动输入搜索,但不知道怎么判断一个页面是否抓完,然后再翻页抓下一页
...

selenium没用过,只写过原生实现和scrapy。
基本原理是,请求一个页面,先保存页面中搜索结果位置处的连接在队列中,也就是通过bs4把含有下一层的连接拿到,然后要抓什么东西直接自己修改就可以。至于翻页的逻辑,大多数网站的URL中都有一个表示当前页码的字段,一般的网站的时候,当前页码都是通过get方法发送,所以直接修改请求的URL就可以拿到下一页了。如果实在找不到,可以抓包,看下处理过程,然后再操作。
16楼2016-08-06 08:39:46
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 20 个回答

菜鸟学python

新虫 (小有名气)

2楼2016-07-29 15:58:43
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wy_zidu2012

金虫 (小有名气)

看下python codebook里面关于网络部分的样例代码,学会用python发送get或post请求。
然后看下三方库,类似bs4之类的可以解析html的。
最后用django写成网站的形式。

最基本的东西是这些,比较核心的地方在于抓取连接的方式,也就是个爬虫的实现过程。这里东西太多,可以先实现一个爬取百度、bing之类搜索引擎检索结果的简单版,然后后期再一步步加深,最后写一个全网的爬虫。

个人意见,仅供参考。
3楼2016-07-29 17:50:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Scorpio_0

银虫 (著名写手)

你说的就是爬虫啊,网上能找到资源的。

发自小木虫Android客户端
Practice makes perfect
4楼2016-07-29 22:30:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 求调剂 +4 零八# 2026-03-27 4/200 2026-03-27 18:07 by yu221
[考研] 340求调剂 +4 jhx777 2026-03-27 4/200 2026-03-27 16:50 by sanrepian
[考研] 321求调剂 +4 璞玉~~ 2026-03-25 4/200 2026-03-27 11:41 by sanrepian
[考研] 317求调剂 +7 蛋黄咸肉粽 2026-03-26 7/350 2026-03-27 02:29 by fmesaito
[考研] 351求调剂 +4 麦克阿磊 2026-03-24 4/200 2026-03-27 00:32 by wxiongid
[考研] 342求调剂 +3 加油a李zs 2026-03-26 3/150 2026-03-27 00:29 by wxiongid
[考研] 336材料求调剂 +7 陈滢莹 2026-03-26 9/450 2026-03-27 00:20 by wxiongid
[考研] 调剂 +4 柚柚yoyo 2026-03-26 4/200 2026-03-26 20:43 by fmesaito
[考研] 340求调剂 +3 Amber00 2026-03-26 3/150 2026-03-26 18:57 by 不吃魚的貓
[考研] 297求调剂 +6 田洪有 2026-03-26 6/300 2026-03-26 15:55 by 不吃魚的貓
[考研] 315分求调剂 +5 26考研上岸版26 2026-03-26 5/250 2026-03-26 12:11 by laoshidan
[考研] 环境专硕324分求调剂推荐 +5 轩小宁—— 2026-03-26 5/250 2026-03-26 12:05 by i_cooler
[考研] 26考研-291分-厦门大学(085601)-柔性电子学院材料工程专业求调剂 +3 min3 2026-03-24 4/200 2026-03-25 18:22 by xcjcqu
[考研] 【2026考研调剂】制药工程 284分 求相关专业调剂名额 +4 袁奂奂 2026-03-25 8/400 2026-03-25 14:32 by lbsjt
[考研] 284求调剂 +15 Zhao anqi 2026-03-22 15/750 2026-03-25 12:51 by wht0531
[考研] 化工专硕求调剂 +3 question挽风 2026-03-24 3/150 2026-03-24 18:48 by jhhcooi
[考研] 080500求调剂 +3 zzzzfan 2026-03-24 3/150 2026-03-24 16:38 by barlinike
[考研] 315分,诚求调剂,材料与化工085600 +3 13756423260 2026-03-22 3/150 2026-03-22 20:11 by edmund7
[考研] 材料学硕301分求调剂 +7 Liyouyumairs 2026-03-21 7/350 2026-03-21 22:31 by peike
[考研] 材料与化工(0856)304求 B区 调剂 +3 邱gl 2026-03-21 3/150 2026-03-21 13:47 by lature00
信息提示
请填处理意见