24小时热门版块排行榜    

查看: 3288  |  回复: 9
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

sapphirechina

铜虫 (正式写手)

[求助] 如何存储和计算超大规模稀疏矩阵 已有1人参与

本人在R语言环境中生成了一个18万行*18万列的单位矩阵,然后用循环给这个单位矩阵赋值,结果循环到8万多次就报错无法分配内存了。
代码如下:
#生成单位矩阵,用普通矩阵无法创建,所以用sparseMatrix来创建。
num_samples=180000
rownumber=c(1:num_samples)   
colnumber=c(1:num_samples)
value=c(rep(1,each=num_samples))
M=sparseMatrix(rownumber,colnumber,x=value)  

#给单位矩阵赋值,全部赋值完成后是一个4*50*180000个数值的对称稀疏矩阵。
for(i in 1:num_samples){     
    w=W[,i]                              #有50个浮点型数值。
    n=neighbors[,i]                 #有50个整型数值。
    M[i,n]=M[i,n]-t(w)
    M[n,i]=M[n,i]-w
    M[n,n]=M[n,n]+w%*%t(w)
}

请教上述的情况该怎么处理呢?我的机器内存是4G,32位操作系统。
如果这个矩阵能顺利赋值完毕,我随后还需要计算这个矩阵的特征值和特征向量。
请教可能实现么?
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

sapphirechina

铜虫 (正式写手)

引用回帖:
7楼: Originally posted by zhijian_duan at 2016-11-30 14:44:18
系数矩阵可以采用拉直的方式进行处理,只是调用程序繁琐而已

请问该怎么拉直呢?能详细指点一下么?
8楼2016-11-30 18:42:28
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 10 个回答

100403140212

木虫 (正式写手)

超级水晶虫

把矩阵及运算结果直接写入文件,不要挂载在内存,循环后及时释放内存

发自小木虫Android客户端
奔跑吧,骚年
2楼2016-11-26 22:23:15
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

sapphirechina

铜虫 (正式写手)

引用回帖:
2楼: Originally posted by 100403140212 at 2016-11-26 22:23:15
把矩阵及运算结果直接写入文件,不要挂载在内存,循环后及时释放内存

多谢指点! 不知道有无方便的稀疏矩阵存储工具可以使用的?
另外,赋值全部完毕后,还需要对该矩阵求特征值和特征向量。
这时候是否还需要恢复为原来的矩阵?如果这样的话,那又没戏了。
3楼2016-11-27 08:51:02
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

alober

木虫 (著名写手)

不懂这种程序语言,用python里的scipy.sparse.linalg.eigs到是能求稀疏矩阵前几个特征值。scipy.io用来读写矩阵到文件。不过这个语言我也不很懂,可以查一查相关的资料。
4楼2016-11-27 10:36:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[博后之家] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +3 j5mmowWXNWxv 2026-09-05 6/300 2026-09-06 18:41 by eObJPa4gWmp6
[硕博家园] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +4 jPDp0sc2B7zQ 2026-09-05 6/300 2026-09-06 18:21 by eObJPa4gWmp6
[博后之家] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +3 jPDp0sc2B7zQ 2026-09-05 6/300 2026-09-06 18:09 by eObJPa4gWmp6
[论文投稿] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +4 jPDp0sc2B7zQ 2026-09-05 6/300 2026-09-06 18:01 by eObJPa4gWmp6
[找工作] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +3 jPDp0sc2B7zQ 2026-09-05 8/400 2026-09-06 17:49 by eObJPa4gWmp6
[考研] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +3 jPDp0sc2B7zQ 2026-09-04 8/400 2026-09-06 17:09 by eObJPa4gWmp6
[教师之家] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +3 j5mmowWXNWxv 2026-09-05 3/150 2026-09-06 13:09 by eObJPa4gWmp6
[考博] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +3 j5mmowWXNWxv 2026-09-05 3/150 2026-09-06 13:09 by eObJPa4gWmp6
[基金申请] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +3 j5mmowWXNWxv 2026-09-05 3/150 2026-09-06 12:49 by eObJPa4gWmp6
[硕博家园] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +3 jPDp0sc2B7zQ 2026-09-05 7/350 2026-09-06 11:20 by eObJPa4gWmp6
[基金申请] 科研人应该花精力去思考如何解决问题,而不是去凝练问题 +10 瞬息宇宙 2026-09-01 19/950 2026-09-06 11:15 by jiangxuan2004
[博后之家] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +3 jPDp0sc2B7zQ 2026-09-05 8/400 2026-09-06 11:09 by eObJPa4gWmp6
[论文投稿] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +3 jPDp0sc2B7zQ 2026-09-04 8/400 2026-09-06 11:00 by eObJPa4gWmp6
[考研] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +3 jPDp0sc2B7zQ 2026-09-05 4/200 2026-09-06 07:20 by E1iiBLMU2XnD
[论文投稿] 售SCI一区T0P文章,我:8.O.55.1.O54,科目全,可伽急 +6 7ZYIEW2YWn72 2026-09-04 9/450 2026-09-06 06:00 by E1iiBLMU2XnD
[教师之家] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +8 CRJ0Aq2FtVH0 2026-09-03 15/750 2026-09-06 05:48 by E1iiBLMU2XnD
[基金申请] 面上没中,邀请各位路过的虫友分析一下分数 +12 jackleilei 2026-09-03 13/650 2026-09-05 18:10 by fireguard
[硕博家园] Ei源刊怎么投 +4 Fengshun9711 2026-09-04 4/200 2026-09-04 19:30 by 研途知予
[硕博家园] 哈尔滨工业大学韩晓军教授课题组招收2027年硕士推免生及博士研究生 +3 灯灯灯灯DDDD 2026-09-03 3/150 2026-09-03 21:22 by 科研皮皮猪
[基金申请] 要骂人了,新模版改版就是要淡化问题凝练这种虚的东西,结果有个评委还在说凝练得不够 +9 瞬息宇宙 2026-08-31 17/850 2026-09-02 14:04 by anjeeshine
信息提示
请填处理意见