应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 专业学科区 » 信息科学 » 图像处理 » 高维数据降维
81/1返回列表
查看: 1798  |  回复: 7
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

爱问的小鸟

新虫 (小有名气)

[交流] 高维数据降维 已有3人参与

高维数据降维，机子内存不足时，所面临的问题
向各位高手请教：
       目前，图像处理中所提取的特征基本上维数都比较高，而由于实验设备的限制，需要对特征降维。可是对于高维数据
做降维处理时，还会面临高维数据的迭代处理，这样对于计算机内存来说，也是很大的开销，如果数据稍微大一点，
可能机子出现溢出，那么有没有什么方法，可以在内存较少的机子上对高维数据降维呢? 像传统的PCA需要求解协方差矩阵，
这需要占用很大内存空间。而且大多数降维方法，运行速度不是很理想。
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐，对您同样有帮助:
1楼 2014-12-15 16:01:59
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

爱问的小鸟

新虫 (小有名气)
或者说，目前的降维方法中，在性能相近的前提下，哪些方法的计算复杂度和时间复杂度较低？有没有关于这个方面的对比性论文，比较权威一点的。
赞一下 回复此楼
2楼2014-12-15 16:05:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ywj_huang

木虫 (著名写手)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
64bit操作系统，4G内存的机器应该就够了。
‘eco’(经济型)的SVD分解速度应该很快。
赞一下 回复此楼
优质产品
3楼2014-12-15 20:01:46
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcsydid

金虫 (正式写手)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
1 按照楼上说的把内存扩大，或者增加虚拟内存
2 如果用matlab，1的方法还不够。你可以把矩阵分为多个小矩阵，这样能运算更多的数据。
赞一下 回复此楼
4楼2014-12-16 10:40:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

爱问的小鸟

新虫 (小有名气)
引用回帖:
4楼: Originally posted by xmcsydid at 2014-12-16 10:40:03
1 按照楼上说的把内存扩大，或者增加虚拟内存
2 如果用matlab，1的方法还不够。你可以把矩阵分为多个小矩阵，这样能运算更多的数据。

谢谢，你的回复，我是把矩阵分解了多个小矩阵，这样会出现很多小矩阵不满足降维条件。
赞一下 回复此楼
5楼2014-12-17 09:01:35
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

爱问的小鸟

新虫 (小有名气)
引用回帖:
3楼: Originally posted by ywj_huang at 2014-12-15 20:01:46
64bit操作系统，4G内存的机器应该就够了。
‘eco’(经济型)的SVD分解速度应该很快。

谢谢你的回复
回复此楼
6楼2014-12-17 09:02:40
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcsydid

金虫 (正式写手)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
引用回帖:
5楼: Originally posted by 爱问的小鸟 at 2014-12-17 09:01:35
谢谢，你的回复，我是把矩阵分解了多个小矩阵，这样会出现很多小矩阵不满足降维条件。...

你这是主要的部分，当然不能分解。我的意思是在不是必须用大矩阵的情况下不要用大矩阵。另外，如果你的计算精度单精度够了，就不要用双精度，这样都是省内存的办法。
关于matlab内存处理办法
 增加虚拟内存 
在命令行输入 pack 整理内存空间
采用3GB 开关启动系统
 优化程序，减少变量 （使用稀疏矩阵 sparse ） save 保存变量 clear 变量 load 变量，需要时再读出来 
使用适当精度代替默认的双精度。
赞一下 回复此楼
7楼2014-12-19 08:50:58
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yp_nupt

木虫 (职业作家)

兔斯基
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
可以采用CNN（卷积神经网络）进行特征的提取，其中有pooling过程能做到很好的降维，最新的一个model可以从512*7*7降为512*1*1。另外，如果使用CNN或者机器学习的内容，需要涉及GPU的运算，比CPU运算的速度要快10倍以上。
另外，采用NN（神经网络）能够做到监督学习（动作识别与检测）与无监督学习（聚类分析），最近三年的ICCV、CVPR、ECCV、PAMI等顶级会议或期刊上有很多的相关工作。
赞一下 回复此楼
解放思想，实事求是
8楼2014-12-19 21:43:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 爱问的小鸟 的主题更新
81/1返回列表
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 面上再次挂了，太难了，躺也躺不了，倦也卷不过，小学校之殇！ +15 低垂的野花 2026-07-31 20/1000 2026-08-01 14:10 by gltch
[基金申请] 2026年国自然面上资助率 +15 布布和一二 2026-07-30 18/900 2026-08-01 13:56 by gltch
[博后之家] 售SCI一区T0P文章，我:8.O55.1.O.54,科目全,可十急 +3 jzg3xk1po8 2026-07-31 8/400 2026-08-01 13:53 by y4XuShGyllvT
[考博] 售SCI-T0P文章，我:8O.5.5.1.O.54,科目齐全,可+急 +3 jzg3xk1po8 2026-07-31 10/500 2026-08-01 13:51 by y4XuShGyllvT
[教师之家] 售SCI一区T0P文章，我:8.O55.1.O.54,科目全,可十急 +3 jzg3xk1po8 2026-07-31 7/350 2026-08-01 13:49 by y4XuShGyllvT
[考研] 售SCI一区T0P文章，我:8.O.55.1.O.5.4,科目全,可+急 +3 jzg3xk1po8 2026-07-31 10/500 2026-08-01 13:49 by y4XuShGyllvT
[基金申请] 小木虫看见有人已经知道结果了 +16 1234567wang 2026-07-25 20/1000 2026-08-01 08:57 by type2type
[基金申请] 微信指数没变化，科研之友没阅读 +14 wangze12014 2026-07-28 18/900 2026-07-31 18:35 by lzchaihuo
[教师之家] 基础研究怎么拉横向，学校到款任务越来越多，难以完成 拉横向，都有哪些途径啊 +8 锦衣卫寒战 2026-07-28 8/400 2026-07-31 18:13 by beefly
[高分子] HXDI做水性聚氨酯乳液，是不是特别容易出渣 15+3 yuyusuv 2026-07-29 3/150 2026-07-31 09:21 by huizingga
[基金申请] 系统今天又提示维护了，估计离放榜不远了 +11 winnerche 2026-07-29 15/750 2026-07-30 23:08 by jnhyjjm
[考博] 申请2027年材料/化学类博士 10+3 考研老狗? 2026-07-25 5/250 2026-07-30 19:33 by 白色木鱼
[基金申请] 你们的时间戳变了吗 +3 archvillain 2026-07-30 4/200 2026-07-30 18:53 by levinzhwen
[基金申请] 今年的WR进展到哪一步了？ +5 wsgjhwz 2026-07-25 9/450 2026-07-30 12:59 by 可淡不可忘
[有机交流] 产物和副产物价值比较 30+4 小汤02 2026-07-27 5/250 2026-07-30 12:44 by czyzsu
[基金申请] 时间戳他又来了 +14 晓晓爱翠翠 2026-07-26 17/850 2026-07-29 16:30 by 呵呵二哥
[有机交流] 这个自发加氧反应的机理是什么？ 50+4 YUAN2273 2026-07-25 7/350 2026-07-29 12:27 by xiaobenpu
[基金申请] 同事接到电话了，我却没有 +4 1234567wang 2026-07-27 4/200 2026-07-28 10:11 by GOODLUCKER
[基金申请] 准备明年的基金了 +5 Tide man 2026-07-27 5/250 2026-07-28 09:25 by newfuzzy1
[分析] 水蒸气蒸馏法乳化现象 +3 月光娇娇 2026-07-26 3/150 2026-07-26 23:25 by caiyun
信息提示
关闭
请填处理意见
关闭