24小时热门版块排行榜    

北京石油化工学院2026年研究生招生接收调剂公告
查看: 3797  |  回复: 19
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

惟舞幽游

新虫 (初入文坛)

[求助] 如何用python实现在某网页搜索框中输入字段后自动搜索信息并抓取 已有1人参与

如题,想要用python实现在某网页搜索框中输入自己想搜索的词后自动搜索相关信息,并对搜索出来的相关信息进行想要内容的抓取,后期还可加入解析和存库,如何实现这些功能,请大神指教有示例就更好了
回复此楼

» 猜你喜欢

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

惟舞幽游

新虫 (初入文坛)

引用回帖:
16楼: Originally posted by wy_zidu2012 at 2016-08-06 08:39:46
selenium没用过,只写过原生实现和scrapy。
基本原理是,请求一个页面,先保存页面中搜索结果位置处的连接在队列中,也就是通过bs4把含有下一层的连接拿到,然后要抓什么东西直接自己修改就可以。至于翻页的逻辑, ...

感谢,再摸索摸索,不会了再请教你

发自小木虫Android客户端
18楼2016-08-06 08:52:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 20 个回答

菜鸟学python

新虫 (小有名气)

2楼2016-07-29 15:58:43
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wy_zidu2012

金虫 (小有名气)

看下python codebook里面关于网络部分的样例代码,学会用python发送get或post请求。
然后看下三方库,类似bs4之类的可以解析html的。
最后用django写成网站的形式。

最基本的东西是这些,比较核心的地方在于抓取连接的方式,也就是个爬虫的实现过程。这里东西太多,可以先实现一个爬取百度、bing之类搜索引擎检索结果的简单版,然后后期再一步步加深,最后写一个全网的爬虫。

个人意见,仅供参考。
3楼2016-07-29 17:50:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Scorpio_0

银虫 (著名写手)

你说的就是爬虫啊,网上能找到资源的。

发自小木虫Android客户端
Practice makes perfect
4楼2016-07-29 22:30:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 286求调剂 +4 lim0922 2026-03-26 4/200 2026-03-27 10:28 by guoweigw
[考研] 269专硕求调剂 +8 金恩贝 2026-03-21 8/400 2026-03-27 10:17 by wangjy2002
[考研] 275求调剂 +10 Micky11223 2026-03-25 12/600 2026-03-27 09:41 by caszguilin
[考研] 359求调剂 +4 王了个楠 2026-03-25 4/200 2026-03-27 08:43 by 不吃魚的貓
[考研] 一志愿郑大085600,310分求调剂 +4 李潇可 2026-03-26 4/200 2026-03-27 08:12 by hypershenger
[硕博家园] 招收生物学/细胞生物学调剂 +3 IceGuo 2026-03-26 4/200 2026-03-27 05:35 by user003
[考研] 求调剂 一志愿 本科 北科大 化学 343 +6 13831862839 2026-03-24 7/350 2026-03-26 22:57 by 不吃魚的貓
[考研] 327求调剂 +7 prayer13 2026-03-23 7/350 2026-03-26 20:48 by 不吃魚的貓
[考研] 281求调剂 +3 亚克西good 2026-03-26 5/250 2026-03-26 19:48 by 不吃魚的貓
[考研] 生物学 296 求调剂 +4 朵朵- 2026-03-26 6/300 2026-03-26 19:01 by 不吃魚的貓
[考研] 考研调剂 +8 小蜡新笔 2026-03-26 8/400 2026-03-26 16:18 by dick_runner
[考研] 334分 一志愿武理 材料求调剂 +4 李李不服输 2026-03-26 4/200 2026-03-26 16:00 by 不吃魚的貓
[考研] 282求调剂 +3 wcq131415 2026-03-24 3/150 2026-03-25 12:16 by userper
[考研] 一志愿国科过程所081700,274求调剂 +3 三水研0水立方 2026-03-23 3/150 2026-03-23 23:11 by MajorWen
[考研] 一志愿重庆大学085700资源与环境,总分308求调剂 +7 墨墨漠 2026-03-23 8/400 2026-03-23 20:36 by Creta
[考研] 石河子大学(211、双一流)硕博研究生长期招生公告 +3 李子目 2026-03-22 3/150 2026-03-22 21:01 by 怎么释怀
[考研] 求调剂 +5 Zhangbod 2026-03-21 7/350 2026-03-22 13:13 by Zhangbod
[考研] 一志愿华中科技大学071000,求调剂 +4 沿岸有贝壳6 2026-03-21 4/200 2026-03-22 07:21 by ilovexiaobin
[考研] 297求调剂 +3 喜欢还是不甘心 2026-03-20 3/150 2026-03-21 18:33 by 学员8dgXkO
[考研] 求调剂 +3 eation27 2026-03-20 3/150 2026-03-20 19:32 by JourneyLucky
信息提示
请填处理意见