24小时热门版块排行榜    

查看: 1829  |  回复: 7
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

爱问的小鸟

新虫 (小有名气)

[交流] 高维数据降维 已有3人参与

高维数据降维,机子内存不足时,所面临的问题
向各位高手请教:
       目前,图像处理中所提取的特征基本上维数都比较高,而由于实验设备的限制,需要对特征降维。可是对于高维数据
做降维处理时,还会面临高维数据的迭代处理,这样对于计算机内存来说,也是很大的开销,如果数据稍微大一点,
可能机子出现溢出,那么有没有什么方法,可以在内存较少的机子上对高维数据降维呢? 像传统的PCA需要求解协方差矩阵,
这需要占用很大内存空间。而且大多数降维方法,运行速度不是很理想。
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcsydid

金虫 (正式写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
引用回帖:
5楼: Originally posted by 爱问的小鸟 at 2014-12-17 09:01:35
谢谢,你的回复,我是把矩阵分解了多个小矩阵,这样会出现很多小矩阵不满足降维条件。...

你这是主要的部分,当然不能分解。我的意思是在不是必须用大矩阵的情况下不要用大矩阵。另外,如果你的计算精度单精度够了,就不要用双精度,这样都是省内存的办法。
关于matlab内存处理办法
 增加虚拟内存 
在命令行输入 pack 整理内存空间
采用3GB 开关启动系统
 优化程序,减少变量 (使用稀疏矩阵 sparse ) save 保存变量 clear 变量 load 变量,需要时再读出来 
使用适当精度代替默认的双精度。
7楼2014-12-19 08:50:58
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 8 个回答

爱问的小鸟

新虫 (小有名气)

或者说,目前的降维方法中,在性能相近的前提下,哪些方法的计算复杂度和时间复杂度较低?有没有关于这个方面的对比性论文,比较权威一点的。
2楼2014-12-15 16:05:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ywj_huang

木虫 (著名写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
64bit操作系统,4G内存的机器应该就够了。
‘eco’(经济型)的SVD分解速度应该很快。
优质产品
3楼2014-12-15 20:01:46
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcsydid

金虫 (正式写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
1 按照楼上说的把内存扩大,或者增加虚拟内存
2 如果用matlab,1的方法还不够。你可以把矩阵分为多个小矩阵,这样能运算更多的数据。
4楼2014-12-16 10:40:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 学科评审组评审是指会评吗? +4 瞬息宇宙 2026-08-31 4/200 2026-09-01 14:58 by jiaoxg
[基金申请] 面上合作单位盖章 +5 ssyjh 2026-08-27 8/400 2026-09-01 12:58 by ssyjh
[基金申请] 面上函评意见出来了,像什么等级? 20+4 Tsingking1 2026-08-27 15/750 2026-09-01 12:23 by icm639
[论文投稿] 小白求助 投论文要求的highlights应该如何写 5+3 l1963982152 2026-08-29 4/200 2026-09-01 09:04 by 北京莱茵编辑
[基金申请] 国社科又开始会评了,不知道这次命运如何 +7 雨打竹帘 2026-08-30 11/550 2026-08-31 23:16 by hittle2008
[基金申请] 面上意见出来了 +12 黄鸟于飞Chao 2026-08-29 23/1150 2026-08-31 18:57 by 黄鸟于飞Chao
[基金申请] 能否申诉? +7 echo8914667 2026-08-30 8/400 2026-08-31 17:00 by yihongxu
[基金申请] 29号明天会评吗 +4 笨笨唐 2026-08-28 4/200 2026-08-31 09:30 by huixian257
[基金申请] 有没有仍没收到信息的 +7 德尚中行 2026-08-27 8/400 2026-08-30 20:52 by purplejack
[基金申请] 国自然面上复盘~欢迎讨论 (金币+15) +15 晴天加油 2026-08-26 16/800 2026-08-29 18:28 by symmetry
[基金申请] 2026年叶企孙基金 +4 bud_bud 2026-08-27 7/350 2026-08-29 07:23 by foolishmani
[基金申请] 怎么查啊 +6 huang1991js 2026-08-26 6/300 2026-08-28 08:42 by winsaint
[基金申请] 为什么 国际(地区)合作与交流项目 没有放榜? 10+3 majunge000 2026-08-26 11/550 2026-08-27 08:42 by 北京莱茵编辑
[基金申请] 我不理解! +15 Edward_pc 2026-08-26 23/1150 2026-08-26 20:34 by zzuzxg
[基金申请] 出来了 +9 trojank 2026-08-26 9/450 2026-08-26 14:25 by 宝贝虫子
[基金申请] 为什么国自然不能直接公布 +4 bjdxyxy 2026-08-26 4/200 2026-08-26 13:12 by qingmu1201
[基金申请] 国合里面能看到了 +7 一怀馨秋 2026-08-26 7/350 2026-08-26 11:23 by zhaosm1982
[基金申请] 国际合作可查了,中了面上 (EPI+1)(金币+50) +18 Ldrop2023 2026-08-26 18/900 2026-08-26 11:15 by cmrandy
[基金申请] 系统进不去 +4 yanglien 2026-08-26 5/250 2026-08-26 11:10 by wenfengw83
[基金申请] 国合可查了 +3 paperzjh 2026-08-26 3/150 2026-08-26 10:41 by LemmonTr
信息提示
请填处理意见