24小时热门版块排行榜    

查看: 3785  |  回复: 19
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

惟舞幽游

新虫 (初入文坛)

[求助] 如何用python实现在某网页搜索框中输入字段后自动搜索信息并抓取 已有1人参与

如题,想要用python实现在某网页搜索框中输入自己想搜索的词后自动搜索相关信息,并对搜索出来的相关信息进行想要内容的抓取,后期还可加入解析和存库,如何实现这些功能,请大神指教有示例就更好了
回复此楼

» 猜你喜欢

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)

引用回帖:
3楼: Originally posted by wy_zidu2012 at 2016-07-29 17:50:39
看下python codebook里面关于网络部分的样例代码,学会用python发送get或post请求。
然后看下三方库,类似bs4之类的可以解析html的。
最后用django写成网站的形式。

最基本的东西是这些,比较核心的地方在于抓 ...

谢谢你,目前用selenium实现了关键词自动输入搜索,但不知道怎么判断一个页面是否抓完,然后再翻页抓下一页

发自小木虫Android客户端
7楼2016-08-05 22:54:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 20 个回答

菜鸟学python

新虫 (小有名气)

2楼2016-07-29 15:58:43
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wy_zidu2012

金虫 (小有名气)

看下python codebook里面关于网络部分的样例代码,学会用python发送get或post请求。
然后看下三方库,类似bs4之类的可以解析html的。
最后用django写成网站的形式。

最基本的东西是这些,比较核心的地方在于抓取连接的方式,也就是个爬虫的实现过程。这里东西太多,可以先实现一个爬取百度、bing之类搜索引擎检索结果的简单版,然后后期再一步步加深,最后写一个全网的爬虫。

个人意见,仅供参考。
3楼2016-07-29 17:50:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Scorpio_0

银虫 (著名写手)

你说的就是爬虫啊,网上能找到资源的。

发自小木虫Android客户端
Practice makes perfect
4楼2016-07-29 22:30:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 材料调剂 +5 匹克i 2026-03-23 5/250 2026-03-24 08:50 by dick_runner
[基金申请] 请教下大家 2026年国家基金申请是双盲审吗? +3 lishucheng1 2026-03-22 5/250 2026-03-24 08:22 by gltch
[考研] 求调剂 +7 十三加油 2026-03-21 7/350 2026-03-23 23:48 by 热情沙漠
[考研] 一志愿北京化工大学 070300 学硕 336分 求调剂 +7 vv迷 2026-03-22 7/350 2026-03-23 23:44 by Txy@872106
[考研] 一志愿国科过程所081700,274求调剂 +3 三水研0水立方 2026-03-23 3/150 2026-03-23 23:11 by MajorWen
[考研] 招08考数学 +6 laoshidan 2026-03-20 14/700 2026-03-23 14:37 by 15614359529
[考研] 263求调剂 +6 yqdszhdap- 2026-03-22 9/450 2026-03-23 12:57 by yqdszhdap-
[考研] 298求调剂 +8 上岸6666@ 2026-03-20 8/400 2026-03-23 11:02 by laoshidan
[考研] 276求调剂 +3 YNRYG 2026-03-21 4/200 2026-03-23 08:31 by 醉在风里
[考研] 311求调剂 +3 26研0 2026-03-20 3/150 2026-03-22 14:46 by ColorlessPI
[考研] 一志愿南大,0703化学,分数336,求调剂 +3 收到VS 2026-03-21 3/150 2026-03-21 18:42 by 学员8dgXkO
[考研] 302求调剂 +12 呼呼呼。。。。 2026-03-17 12/600 2026-03-21 17:29 by ColorlessPI
[考研] 材料工程(专)一志愿985 初试335求调剂 +3 hiloiy 2026-03-17 4/200 2026-03-21 03:04 by JourneyLucky
[考研] 085700资源与环境308求调剂 +12 墨墨漠 2026-03-18 13/650 2026-03-21 01:42 by JourneyLucky
[考研] 一志愿 西北大学 ,070300化学学硕,总分287,双非一本,求调剂。 +3 晨昏线与星海 2026-03-18 3/150 2026-03-21 00:46 by JourneyLucky
[考研] 一志愿中海洋材料工程专硕330分求调剂 +8 小材化本科 2026-03-18 8/400 2026-03-20 23:16 by JourneyLucky
[考研] 一志愿 西北大学 ,070300化学学硕,总分287,双非一本,求调剂。 +4 晨昏线与星海 2026-03-19 4/200 2026-03-20 22:15 by JourneyLucky
[考研] 材料学求调剂 +4 Stella_Yao 2026-03-20 4/200 2026-03-20 20:28 by ms629
[考研] 材料考研调剂 +3 xwt。 2026-03-19 3/150 2026-03-19 11:22 by w沐阳w
[考研] 材料工程专硕调剂 +5 204818@lcx 2026-03-17 6/300 2026-03-18 22:55 by 204818@lcx
信息提示
请填处理意见