应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

Znn3bq.jpeg
小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » Shell&Perl » 如何用python实现在某网页搜索框中输入字段后自动搜索信息并抓取
201/2返回列表12下一页
查看: 3918  |  回复: 19
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

惟舞幽游

新虫 (初入文坛)

[求助] 如何用python实现在某网页搜索框中输入字段后自动搜索信息并抓取 已有1人参与

如题，想要用python实现在某网页搜索框中输入自己想搜索的词后自动搜索相关信息，并对搜索出来的相关信息进行想要内容的抓取，后期还可加入解析和存库，如何实现这些功能，请大神指教有示例就更好了
回复此楼

» 猜你喜欢
1楼 2016-07-15 13:10:35
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖支持 ( 显示支持度最高的前 50 名 )

菜鸟学python

新虫 (小有名气)
同求，这个困让我很久了

发自小木虫Android客户端
赞一下(1人) 回复此楼
2楼2016-07-29 15:58:43
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

wy_zidu2012

金虫 (小有名气)
看下python codebook里面关于网络部分的样例代码，学会用python发送get或post请求。
然后看下三方库，类似bs4之类的可以解析html的。
最后用django写成网站的形式。

最基本的东西是这些，比较核心的地方在于抓取连接的方式，也就是个爬虫的实现过程。这里东西太多，可以先实现一个爬取百度、bing之类搜索引擎检索结果的简单版，然后后期再一步步加深，最后写一个全网的爬虫。

个人意见，仅供参考。
赞一下 回复此楼
3楼2016-07-29 17:50:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Scorpio_0

银虫 (著名写手)
你说的就是爬虫啊，网上能找到资源的。

发自小木虫Android客户端
赞一下 回复此楼
Practice makes perfect
4楼2016-07-29 22:30:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ghoulyy

银虫 (著名写手)
网络爬虫

发自小木虫Android客户端
回复此楼
The most fascinating and interesting problems in
5楼2016-08-03 12:19:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

邪恶胖子

铜虫 (正式写手)
……爬虫简单，这个你就多抓包分析就好了，urllib和正则用好就行了，爬虫就是文本处理

发自小木虫Android客户端
赞一下 回复此楼
Just fight like a real man.
6楼2016-08-05 13:35:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)
引用回帖:
3楼: Originally posted by wy_zidu2012 at 2016-07-29 17:50:39
看下python codebook里面关于网络部分的样例代码，学会用python发送get或post请求。
然后看下三方库，类似bs4之类的可以解析html的。
最后用django写成网站的形式。

最基本的东西是这些，比较核心的地方在于抓 ...

谢谢你，目前用selenium实现了关键词自动输入搜索，但不知道怎么判断一个页面是否抓完，然后再翻页抓下一页

发自小木虫Android客户端
赞一下 回复此楼
7楼2016-08-05 22:54:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)
引用回帖:
6楼: Originally posted by 邪恶胖子 at 2016-08-05 13:35:03
……爬虫简单，这个你就多抓包分析就好了，urllib和正则用好就行了，爬虫就是文本处理

刚刚学习，老师催的急，有什么快速学习的好规划吗？

发自小木虫Android客户端
赞一下 回复此楼
8楼2016-08-05 22:57:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)
引用回帖:
4楼: Originally posted by Scorpio_0 at 2016-07-29 22:30:44
你说的就是爬虫啊，网上能找到资源的。

细节技术实现遇到很多问题…

发自小木虫Android客户端
赞一下 回复此楼
9楼2016-08-05 22:59:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)
引用回帖:
5楼: Originally posted by ghoulyy at 2016-08-03 12:19:36
网络爬虫

对

发自小木虫Android客户端
10楼2016-08-05 22:59:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 惟舞幽游 的主题更新
201/2返回列表12下一页
普通表情 龙 兔 虎 猫
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考博] 化学专业申博 +3 赵子羊 2026-05-23 4/200 2026-05-24 18:10 by 工大学长
[硕博家园] 售SCI一区T0P文章，我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 1rx34o113h 2026-05-23 3/150 2026-05-24 17:41 by 0i3mu4vkjz
[基金申请] 评审有感 +16 popular289 2026-05-18 27/1350 2026-05-24 17:34 by hhs666
[教师之家] 论文撤稿了 +4 bjvtcliu 2026-05-24 7/350 2026-05-24 17:29 by bjvtcliu
[硕博家园] 售SCI一区T0P文章，我:8.O.5.5.1.O.5.4,科目齐全,可+急 +4 hvkbtfonbv 2026-05-23 4/200 2026-05-24 17:21 by 75ui6h7z2t
[博后之家] 售SCI一区T0P文章，我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 hvkbtfonbv 2026-05-23 3/150 2026-05-24 17:10 by 75ui6h7z2t
[考博] 售SCI一区T0P文章，我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 hvkbtfonbv 2026-05-23 3/150 2026-05-24 17:01 by 75ui6h7z2t
[考研] 售SCI一区T0P文章，我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 a2tycdlnq1 2026-05-23 5/250 2026-05-24 16:21 by hhx1yx9evi
[硕博家园] 售SCI一区T0P文章，我:8.O.5.5.1.O.5.4,科目齐全,可+急 +4 pmo95bazuy 2026-05-23 8/400 2026-05-24 15:56 by 1uy1ht2y9r
[基金申请] 西安交大新媒学院副院长用撤稿论文结题 +3 bjvtcliu 2026-05-24 5/250 2026-05-24 10:16 by kudofaye
[教师之家] 某211大学教师把个人教师官方主页改成:我跑了我跑了我跑了!官宣跑路！ +4 zju2000 2026-05-21 5/250 2026-05-24 09:35 by songwz
[考博] 26/27申博自荐 10+4 ZXW0202 2026-05-22 9/450 2026-05-24 08:47 by bjvtcliu
[基金申请] 青B发送上会通知了吗 +5 chemBioBro 2026-05-22 7/350 2026-05-23 12:35 by zhuifengzhy
[论文投稿] 投稿求助，期刊 +4 希冀，有书读 2026-05-20 8/400 2026-05-22 10:16 by 希冀，有书读
[文学芳草园] 献血感触 +7 呀呀好傻 2026-05-19 13/650 2026-05-21 20:15 by 呀呀好傻
[基金申请] 国自然评分 +4 无名者登山 2026-05-20 5/250 2026-05-21 16:35 by swuq
[基金申请] 提交了我也来说说感想 +9 fummck 2026-05-20 10/500 2026-05-21 14:17 by draco1987
[有机交流] 反应很差，大量原料没有反应 5+3 Mr.Zot 2026-05-19 8/400 2026-05-20 22:19 by Equinoxhua
[考博] 如果工作了想读博，可以边工作边读全日制嘛？ 30+3 铁达火车 2026-05-18 5/250 2026-05-20 09:33 by tfang
[硕博家园] 我在等一个没有答案的答案 +3 Love_MH 2026-05-17 3/150 2026-05-18 02:22 by 竹林孤影
信息提示
关闭
请填处理意见
关闭