24小时热门版块排行榜    

CyRhmU.jpeg
查看: 1658  |  回复: 7

爱问的小鸟

新虫 (小有名气)

[交流] 高维数据降维已有3人参与

高维数据降维,机子内存不足时,所面临的问题
向各位高手请教:
       目前,图像处理中所提取的特征基本上维数都比较高,而由于实验设备的限制,需要对特征降维。可是对于高维数据
做降维处理时,还会面临高维数据的迭代处理,这样对于计算机内存来说,也是很大的开销,如果数据稍微大一点,
可能机子出现溢出,那么有没有什么方法,可以在内存较少的机子上对高维数据降维呢? 像传统的PCA需要求解协方差矩阵,
这需要占用很大内存空间。而且大多数降维方法,运行速度不是很理想。
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

爱问的小鸟

新虫 (小有名气)

或者说,目前的降维方法中,在性能相近的前提下,哪些方法的计算复杂度和时间复杂度较低?有没有关于这个方面的对比性论文,比较权威一点的。
2楼2014-12-15 16:05:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ywj_huang

木虫 (著名写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
64bit操作系统,4G内存的机器应该就够了。
‘eco’(经济型)的SVD分解速度应该很快。
优质产品
3楼2014-12-15 20:01:46
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcsydid

金虫 (正式写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
1 按照楼上说的把内存扩大,或者增加虚拟内存
2 如果用matlab,1的方法还不够。你可以把矩阵分为多个小矩阵,这样能运算更多的数据。
4楼2014-12-16 10:40:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

爱问的小鸟

新虫 (小有名气)

引用回帖:
4楼: Originally posted by xmcsydid at 2014-12-16 10:40:03
1 按照楼上说的把内存扩大,或者增加虚拟内存
2 如果用matlab,1的方法还不够。你可以把矩阵分为多个小矩阵,这样能运算更多的数据。

谢谢,你的回复,我是把矩阵分解了多个小矩阵,这样会出现很多小矩阵不满足降维条件。
5楼2014-12-17 09:01:35
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

爱问的小鸟

新虫 (小有名气)

引用回帖:
3楼: Originally posted by ywj_huang at 2014-12-15 20:01:46
64bit操作系统,4G内存的机器应该就够了。
‘eco’(经济型)的SVD分解速度应该很快。

谢谢你的回复
6楼2014-12-17 09:02:40
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcsydid

金虫 (正式写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
引用回帖:
5楼: Originally posted by 爱问的小鸟 at 2014-12-17 09:01:35
谢谢,你的回复,我是把矩阵分解了多个小矩阵,这样会出现很多小矩阵不满足降维条件。...

你这是主要的部分,当然不能分解。我的意思是在不是必须用大矩阵的情况下不要用大矩阵。另外,如果你的计算精度单精度够了,就不要用双精度,这样都是省内存的办法。
关于matlab内存处理办法
 增加虚拟内存 
在命令行输入 pack 整理内存空间
采用3GB 开关启动系统
 优化程序,减少变量 (使用稀疏矩阵 sparse ) save 保存变量 clear 变量 load 变量,需要时再读出来 
使用适当精度代替默认的双精度。
7楼2014-12-19 08:50:58
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yp_nupt

木虫 (职业作家)

兔斯基


小木虫: 金币+0.5, 给个红包,谢谢回帖
可以采用CNN(卷积神经网络)进行特征的提取,其中有pooling过程能做到很好的降维,最新的一个model可以从512*7*7降为512*1*1。另外,如果使用CNN或者机器学习的内容,需要涉及GPU的运算,比CPU运算的速度要快10倍以上。
另外,采用NN(神经网络)能够做到监督学习(动作识别与检测)与无监督学习(聚类分析),最近三年的ICCV、CVPR、ECCV、PAMI等顶级会议或期刊上有很多的相关工作。
解放思想,实事求是
8楼2014-12-19 21:43:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 爱问的小鸟 的主题更新
普通表情 高级回复(可上传附件)
信息提示
请填处理意见