24小时热门版块排行榜    

查看: 1872  |  回复: 7
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

爱问的小鸟

新虫 (小有名气)

[交流] 高维数据降维 已有3人参与

高维数据降维,机子内存不足时,所面临的问题
向各位高手请教:
       目前,图像处理中所提取的特征基本上维数都比较高,而由于实验设备的限制,需要对特征降维。可是对于高维数据
做降维处理时,还会面临高维数据的迭代处理,这样对于计算机内存来说,也是很大的开销,如果数据稍微大一点,
可能机子出现溢出,那么有没有什么方法,可以在内存较少的机子上对高维数据降维呢? 像传统的PCA需要求解协方差矩阵,
这需要占用很大内存空间。而且大多数降维方法,运行速度不是很理想。
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcsydid

金虫 (正式写手)

★
小木虫: 金币+0.5, 给个红包,谢谢回帖
引用回帖:
5楼: Originally posted by 爱问的小鸟 at 2014-12-17 09:01:35
谢谢,你的回复,我是把矩阵分解了多个小矩阵,这样会出现很多小矩阵不满足降维条件。...

你这是主要的部分,当然不能分解。我的意思是在不是必须用大矩阵的情况下不要用大矩阵。另外,如果你的计算精度单精度够了,就不要用双精度,这样都是省内存的办法。
关于matlab内存处理办法
 增加虚拟内存 
在命令行输入 pack 整理内存空间
采用3GB 开关启动系统
 优化程序,减少变量 (使用稀疏矩阵 sparse ) save 保存变量 clear 变量 load 变量,需要时再读出来 
使用适当精度代替默认的双精度。
7楼2014-12-19 08:50:58
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 8 个回答

爱问的小鸟

新虫 (小有名气)

或者说,目前的降维方法中,在性能相近的前提下,哪些方法的计算复杂度和时间复杂度较低?有没有关于这个方面的对比性论文,比较权威一点的。
2楼2014-12-15 16:05:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ywj_huang

木虫 (著名写手)

★
小木虫: 金币+0.5, 给个红包,谢谢回帖
64bit操作系统,4G内存的机器应该就够了。
‘eco’(经济型)的SVD分解速度应该很快。
优质产品
3楼2014-12-15 20:01:46
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcsydid

金虫 (正式写手)

★
小木虫: 金币+0.5, 给个红包,谢谢回帖
1 按照楼上说的把内存扩大,或者增加虚拟内存
2 如果用matlab,1的方法还不够。你可以把矩阵分为多个小矩阵,这样能运算更多的数据。
4楼2014-12-16 10:40:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考博] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +4 XJXMuRjD7cK7 2026-11-13 4/200 2026-11-16 13:29 by LrcgbaWjazY5
[论文投稿] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +4 XJXMuRjD7cK7 2026-11-13 4/200 2026-11-16 11:39 by K7HMGGdOpylw
[硕博家园] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +4 uKOSCocCb6Fm 2026-11-13 4/200 2026-11-16 11:06 by K7HMGGdOpylw
[考博] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +3 uKOSCocCb6Fm 2026-11-13 3/150 2026-11-16 10:33 by K7HMGGdOpylw
[硕博家园] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +4 XJXMuRjD7cK7 2026-11-13 4/200 2026-11-15 06:50 by xSrQNSSjcgoX
[考研] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 uKOSCocCb6Fm 2026-11-13 3/150 2026-11-15 05:11 by xSrQNSSjcgoX
[公派出国] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +3 uKOSCocCb6Fm 2026-11-12 7/350 2026-11-15 03:43 by xSrQNSSjcgoX
[论文投稿] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +4 uKOSCocCb6Fm 2026-11-12 7/350 2026-11-15 03:10 by xSrQNSSjcgoX
[考博] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +4 G2rhSvqvhNzl 2026-11-10 6/300 2026-11-15 00:24 by Equinoxhua
[硕博家园] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +5 YHiw1gou1Eda 2026-11-10 8/400 2026-11-14 22:20 by Equinoxhua
[公派出国] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +4 G2rhSvqvhNzl 2026-11-10 5/250 2026-11-13 11:37 by Equinoxhua
[考研] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +5 C6CRn66RYYXS 2026-11-10 6/300 2026-11-13 11:04 by Equinoxhua
[论文投稿] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +3 TgvkbZZl9tqB 2026-11-11 4/200 2026-11-12 13:02 by ECLTXnJnRSXf
[公派出国] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +3 TgvkbZZl9tqB 2026-11-11 4/200 2026-11-12 12:51 by ECLTXnJnRSXf
[考研] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +4 Z7qfCsdIiD1T 2026-11-11 5/250 2026-11-12 11:44 by HajghKOMynmz
[硕博家园] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +5 Z7qfCsdIiD1T 2026-11-10 8/400 2026-11-12 11:20 by HajghKOMynmz
[教师之家] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +4 G2rhSvqvhNzl 2026-11-10 6/300 2026-11-12 10:38 by HajghKOMynmz
[硕博家园] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +5 G2rhSvqvhNzl 2026-11-10 6/300 2026-11-12 10:30 by HajghKOMynmz
[教师之家] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +3 C6CRn66RYYXS 2026-11-10 8/400 2026-11-12 10:16 by HajghKOMynmz
[硕博家园] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +3 C6CRn66RYYXS 2026-11-10 5/250 2026-11-12 06:03 by 9fOTqj074tIg
信息提示
请填处理意见