24小时热门版块排行榜    

查看: 3779  |  回复: 19

惟舞幽游

新虫 (初入文坛)

[求助] 如何用python实现在某网页搜索框中输入字段后自动搜索信息并抓取 已有1人参与

如题,想要用python实现在某网页搜索框中输入自己想搜索的词后自动搜索相关信息,并对搜索出来的相关信息进行想要内容的抓取,后期还可加入解析和存库,如何实现这些功能,请大神指教有示例就更好了
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖支持 ( 显示支持度最高的前 50 名 )

菜鸟学python

新虫 (小有名气)

2楼2016-07-29 15:58:43
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

wy_zidu2012

金虫 (小有名气)

看下python codebook里面关于网络部分的样例代码,学会用python发送get或post请求。
然后看下三方库,类似bs4之类的可以解析html的。
最后用django写成网站的形式。

最基本的东西是这些,比较核心的地方在于抓取连接的方式,也就是个爬虫的实现过程。这里东西太多,可以先实现一个爬取百度、bing之类搜索引擎检索结果的简单版,然后后期再一步步加深,最后写一个全网的爬虫。

个人意见,仅供参考。
3楼2016-07-29 17:50:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Scorpio_0

银虫 (著名写手)

你说的就是爬虫啊,网上能找到资源的。

发自小木虫Android客户端
Practice makes perfect
4楼2016-07-29 22:30:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ghoulyy

银虫 (著名写手)

The most fascinating and interesting problems in
5楼2016-08-03 12:19:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

邪恶胖子

铜虫 (正式写手)

……爬虫简单,这个你就多抓包分析就好了,urllib和正则用好就行了,爬虫就是文本处理

发自小木虫Android客户端
Just fight like a real man.
6楼2016-08-05 13:35:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)

引用回帖:
3楼: Originally posted by wy_zidu2012 at 2016-07-29 17:50:39
看下python codebook里面关于网络部分的样例代码,学会用python发送get或post请求。
然后看下三方库,类似bs4之类的可以解析html的。
最后用django写成网站的形式。

最基本的东西是这些,比较核心的地方在于抓 ...

谢谢你,目前用selenium实现了关键词自动输入搜索,但不知道怎么判断一个页面是否抓完,然后再翻页抓下一页

发自小木虫Android客户端
7楼2016-08-05 22:54:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)

引用回帖:
6楼: Originally posted by 邪恶胖子 at 2016-08-05 13:35:03
……爬虫简单,这个你就多抓包分析就好了,urllib和正则用好就行了,爬虫就是文本处理

刚刚学习,老师催的急,有什么快速学习的好规划吗?

发自小木虫Android客户端
8楼2016-08-05 22:57:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)

引用回帖:
4楼: Originally posted by Scorpio_0 at 2016-07-29 22:30:44
你说的就是爬虫啊,网上能找到资源的。

细节技术实现遇到很多问题…

发自小木虫Android客户端
9楼2016-08-05 22:59:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)

引用回帖:
5楼: Originally posted by ghoulyy at 2016-08-03 12:19:36
网络爬虫



发自小木虫Android客户端
10楼2016-08-05 22:59:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 惟舞幽游 的主题更新
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 335求调剂 +4 yuyu宇 2026-03-23 5/250 2026-03-23 23:49 by Txy@872106
[考研] 材料专业求调剂 +11 hanamiko 2026-03-18 11/550 2026-03-23 23:12 by peike
[考研] 一志愿211 初试270分 求调剂 +4 谷雨上岸 2026-03-23 5/250 2026-03-23 21:18 by 不惑可乐
[考研] 336化工调剂 +4 王大坦1 2026-03-23 5/250 2026-03-23 18:32 by allen-yin
[考研] 求调剂一志愿武汉理工大学材料工程(085601) +3 WW.' 2026-03-23 5/250 2026-03-23 17:18 by 枫翼ljj
[考研] 工科材料085601 279求调剂 +8 困于星晨 2026-03-17 10/500 2026-03-23 13:05 by 醉在风里
[考研] 276求调剂 +3 YNRYG 2026-03-21 4/200 2026-03-23 08:31 by 醉在风里
[考研] 308求调剂 +3 墨墨漠 2026-03-21 3/150 2026-03-22 16:54 by i_cooler
[考研] 一志愿中南化学(0703)总分337求调剂 +9 niko- 2026-03-19 10/500 2026-03-22 16:08 by ColorlessPI
[考研] 286求调剂 +10 Faune 2026-03-21 10/500 2026-03-21 23:34 by 314126402
[考研] 0805 316求调剂 +3 大雪深藏 2026-03-18 3/150 2026-03-21 18:55 by 学员8dgXkO
[考研] 313求调剂 +4 肆叁贰壹22 2026-03-19 4/200 2026-03-21 17:33 by ColorlessPI
[考研] 268求调剂 +9 简单点0 2026-03-17 9/450 2026-03-21 15:37 by lature00
[考研] 材料与化工(0856)304求 B区 调剂 +3 邱gl 2026-03-21 3/150 2026-03-21 13:47 by lature00
[考研] 材料学学硕080502 337求调剂-一志愿华中科技大学 +4 顺顺顺mr 2026-03-18 5/250 2026-03-21 10:22 by luoyongfeng
[考研] 材料工程(专)一志愿985 初试335求调剂 +3 hiloiy 2026-03-17 4/200 2026-03-21 03:04 by JourneyLucky
[考研] 一志愿西南交通 专硕 材料355 本科双非 求调剂 +5 西南交通专材355 2026-03-19 5/250 2026-03-20 21:10 by JourneyLucky
[考研] 320求调剂0856 +3 不想起名字112 2026-03-19 3/150 2026-03-19 22:53 by 学员8dgXkO
[考博] 26博士申请 +3 1042136743 2026-03-17 3/150 2026-03-17 23:30 by 轻松不少随
[考研] 考研求调剂 +3 橘颂. 2026-03-17 4/200 2026-03-17 21:43 by 有只狸奴
信息提示
请填处理意见