24小时热门版块排行榜    

查看: 3780  |  回复: 19
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

惟舞幽游

新虫 (初入文坛)

[求助] 如何用python实现在某网页搜索框中输入字段后自动搜索信息并抓取 已有1人参与

如题,想要用python实现在某网页搜索框中输入自己想搜索的词后自动搜索相关信息,并对搜索出来的相关信息进行想要内容的抓取,后期还可加入解析和存库,如何实现这些功能,请大神指教有示例就更好了
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)

引用回帖:
3楼: Originally posted by wy_zidu2012 at 2016-07-29 17:50:39
看下python codebook里面关于网络部分的样例代码,学会用python发送get或post请求。
然后看下三方库,类似bs4之类的可以解析html的。
最后用django写成网站的形式。

最基本的东西是这些,比较核心的地方在于抓 ...

谢谢你,目前用selenium实现了关键词自动输入搜索,但不知道怎么判断一个页面是否抓完,然后再翻页抓下一页

发自小木虫Android客户端
7楼2016-08-05 22:54:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 20 个回答

菜鸟学python

新虫 (小有名气)

2楼2016-07-29 15:58:43
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wy_zidu2012

金虫 (小有名气)

看下python codebook里面关于网络部分的样例代码,学会用python发送get或post请求。
然后看下三方库,类似bs4之类的可以解析html的。
最后用django写成网站的形式。

最基本的东西是这些,比较核心的地方在于抓取连接的方式,也就是个爬虫的实现过程。这里东西太多,可以先实现一个爬取百度、bing之类搜索引擎检索结果的简单版,然后后期再一步步加深,最后写一个全网的爬虫。

个人意见,仅供参考。
3楼2016-07-29 17:50:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Scorpio_0

银虫 (著名写手)

你说的就是爬虫啊,网上能找到资源的。

发自小木虫Android客户端
Practice makes perfect
4楼2016-07-29 22:30:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 一志愿河北工业大学0817化工278分求调剂 +7 jhybd 2026-03-23 12/600 2026-03-24 09:03 by jhybd
[考研] 一志愿吉大化学322求调剂 +3 17501029541 2026-03-23 4/200 2026-03-23 23:47 by Txy@872106
[考研] 环境学硕288求调剂 +8 皮皮皮123456 2026-03-22 8/400 2026-03-23 23:47 by 热情沙漠
[考研] 341求调剂(一志愿湖南大学070300) +5 番茄头--- 2026-03-22 6/300 2026-03-23 23:45 by Txy@872106
[考研] 材料/农业专业,07/08开头均可,过线就行 +3 呵唔哦豁 2026-03-23 4/200 2026-03-23 22:30 by 汪!?!
[考研] 材料专硕英一数二306 +8 z1z2z3879 2026-03-18 8/400 2026-03-23 20:49 by baobaoye
[考研] 0703化学求调剂 +4 奶油草莓. 2026-03-22 5/250 2026-03-23 19:37 by pswait
[考研] 生物学一志愿985,分数349求调剂 +6 zxts12 2026-03-21 9/450 2026-03-23 18:37 by macy2011
[考研] 招08考数学 +6 laoshidan 2026-03-20 14/700 2026-03-23 14:37 by 15614359529
[考研] 0854电子信息求调剂 324 +3 Promise-jyl 2026-03-23 3/150 2026-03-23 13:43 by wangkm
[考研] 263求调剂 +6 yqdszhdap- 2026-03-22 9/450 2026-03-23 12:57 by yqdszhdap-
[考研] 一志愿东华大学化学070300,求调剂 +7 2117205181 2026-03-21 8/400 2026-03-22 22:55 by chixmc
[考研] 材料与化工085600,总分304,本科有两篇sci参与,求调剂 +4 幸运的酱酱 2026-03-22 5/250 2026-03-22 20:15 by edmund7
[考研] 求调剂 +7 Auroracx 2026-03-22 7/350 2026-03-22 12:38 by 素颜倾城1988
[考研] 0856材料专硕353求调剂 +4 NIFFFfff 2026-03-20 4/200 2026-03-22 09:49 by 2026paper
[考研] 286求调剂 +10 Faune 2026-03-21 10/500 2026-03-21 23:34 by 314126402
[考研] 0805 316求调剂 +3 大雪深藏 2026-03-18 3/150 2026-03-21 18:55 by 学员8dgXkO
[考研] 求调剂 +3 13341 2026-03-20 3/150 2026-03-21 18:28 by 学员8dgXkO
[考研] 083200学硕321分一志愿暨南大学求调剂 +3 innocenceF 2026-03-17 3/150 2026-03-21 02:35 by JourneyLucky
[考研] 320求调剂0856 +3 不想起名字112 2026-03-19 3/150 2026-03-19 22:53 by 学员8dgXkO
信息提示
请填处理意见