24小时热门版块排行榜    

查看: 1672  |  回复: 15

ghlzt

新虫 (初入文坛)

[交流] MATLAB 存储10个G 以上数组怎么办? 已有15人参与

我现在有三个MAT文件,三个里面分别存放着具有相同行的数组,大小分别有2G,4G,5G。 我现在想把这三个MAT文件里面的数组合并成一个新的数组,那么这个数组大小应该就有11个G了,存储到一个新的MAT文件中,但是如果load每一个MAT文件的话,电脑内存直接卡机了。怎么处理呢?另外请假一个问题,虚拟内存有什么用呢?我这个好像虚拟内存挺大的,虚拟内存里面可以存储什么这么大的一个数组吗?
这个是电脑内存
memory
Maximum possible array:        9934 MB (1.042e+10 bytes) *
Memory available for all arrays:        9934 MB (1.042e+10 bytes) *
Memory used by MATLAB:         880 MB (9.230e+08 bytes)
Physical Memory (RAM):       12205 MB (1.280e+10 bytes)
虚拟内存
>> feature('memstats')
    Physical Memory (RAM):
        In Use:                             3280 MB (   cd02b000)
        Free:                               8924 MB (  22dcc5000)
        Total:                             12204 MB (  2facf0000)
    Page File (Swap space):
        In Use:                             3868 MB (   f1c5d000)
        Free:                               9936 MB (  26d093000)
        Total:                             13804 MB (  35ecf0000)
    Virtual Memory (Address Space):
        In Use:                             4221 MB (  107d7a000)
        Free:                           134213506 MB (7ffef8266000)
        Total:                          134217727 MB (7ffffffe0000)
    Largest Contiguous Free Blocks:
         1. [at   1800c2000]           134170621 MB (7ff47fd9c000)
         2. [at 7ff5fffff000]               23220 MB (  5ab451000)
         3. [at 7ffbc565c000]               17321 MB (  43a984000)
         4. [at   140029000]                1023 MB (   3ffd7000)
         5. [at   11c000000]                 576 MB (   24000000)
         6. [at   104000000]                 128 MB (    8000000)
         7. [at   110000000]                 128 MB (    8000000)
         8. [at 7ffbb0000000]                  74 MB (    4a70000)
         9. [at    b3ff0000]                  64 MB (    4000000)
        10. [at 7ffbab6aa000]                  46 MB (    2e46000)
                                            ======= ==========
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖支持 ( 显示支持度最高的前 50 名 )

兜兜妖神

铜虫 (初入文坛)


小木虫: 金币+0.5, 给个红包,谢谢回帖
最好是能变换处理公式,或者将矩阵分割的更小最好,现在限制你运算的是硬盘的IO速度了。
你说的虚拟内存是win将一部分硬盘作为内存开始用,如果你硬盘不是固态的话,由于机械硬盘读写速度小了内存条读写速度一个数量级,所以如果强行读取数据,在进行矩阵运算的时候会进一步变慢。

发自小木虫Android客户端
3楼2015-12-30 23:28:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wangww2011

木虫 (著名写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
没啥好办法 除非你换个内存大的电脑。
虚拟内存是把硬盘中的一部分在你内存不够的时候当内存来用的,速度奇慢无比。
6楼2016-01-01 19:30:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

mygt_hit

专家顾问 (职业作家)


小木虫: 金币+0.5, 给个红包,谢谢回帖
这数据确实大啊。分开存放到一个个小文件里不行吗?
知其然,知其所以然。
2楼2015-12-30 22:17:26
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
祝福祝福祝福
4楼2015-12-31 17:16:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

蜉蝣于天地

银虫 (小有名气)


小木虫: 金币+0.5, 给个红包,谢谢回帖
试试看load 有没有see also选项,可能有不会一次性读取所有内容的函数。
非宁静无以致远,非淡泊无以明志
5楼2016-01-01 17:02:56
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

jialay

铁虫 (小有名气)


小木虫: 金币+0.5, 给个红包,谢谢回帖
数据量确实过大,能不能精简数据?不然就用服务器吧。

发自小木虫Android客户端
qr
7楼2016-01-01 19:42:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wxws.2008

木虫 (正式写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
用c语言或者fortran

发自小木虫Android客户端
8楼2016-01-01 21:39:22
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

AAAding

铜虫 (小有名气)

9楼2016-01-02 08:51:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

duotojh

金虫 (小有名气)


小木虫: 金币+0.5, 给个红包,谢谢回帖
操作系统中内存管理一般数组最大1G,你需要采用多个数组或特殊的多维动态数组才能使用
10楼2016-01-02 15:03:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 ghlzt 的主题更新
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 一志愿华南师大 070300(化学)304分求调剂 +3 0703武芊慧雪304 2026-03-18 3/150 2026-03-21 00:48 by JourneyLucky
[考研] 一志愿 西北大学 ,070300化学学硕,总分287,双非一本,求调剂。 +3 晨昏线与星海 2026-03-18 3/150 2026-03-21 00:46 by JourneyLucky
[考研] 药学383 求调剂 +3 药学chy 2026-03-15 5/250 2026-03-20 22:11 by 云游重阳
[考研] 一志愿苏州大学材料求调剂,总分315(英一) +5 sbdksD 2026-03-19 5/250 2026-03-20 22:10 by luoyongfeng
[考研] 求调剂一志愿南京航空航天大学289分 +3 @taotao 2026-03-19 3/150 2026-03-20 21:34 by JourneyLucky
[考研] 353求调剂 +3 拉钩不许变 2026-03-20 3/150 2026-03-20 19:56 by JourneyLucky
[考研] 材料与化工专硕调剂 +7 heming3743 2026-03-16 7/350 2026-03-20 19:31 by zhukairuo
[基金申请] 学校已经提交到NSFC,还能修改吗? 40+4 babangida 2026-03-19 8/400 2026-03-20 15:58 by babero
[考研] 材料学硕318求调剂 +5 February_Feb 2026-03-19 5/250 2026-03-19 23:51 by 23Postgrad
[考研] 266求调剂 +5 阳阳哇塞 2026-03-14 10/500 2026-03-19 15:08 by 阳阳哇塞
[考研] 化学求调剂 +3 临泽境llllll 2026-03-17 4/200 2026-03-19 13:59 by houyaoxu
[考研] 一志愿福大288有机化学,求调剂 +3 小木虫200408204 2026-03-18 3/150 2026-03-19 13:31 by houyaoxu
[考研] 297求调剂 +8 戏精丹丹丹 2026-03-17 8/400 2026-03-18 14:30 by laoshidan
[考研] 070300化学319求调剂 +6 锦鲤0909 2026-03-17 6/300 2026-03-18 13:22 by Iveryant
[考研] 303求调剂 +4 睿08 2026-03-17 6/300 2026-03-18 11:01 by Iveryant
[考研] 326求调剂 +5 上岸的小葡 2026-03-15 6/300 2026-03-17 17:26 by ruiyingmiao
[硕博家园] 湖北工业大学 生命科学与健康学院-课题组招收2026级食品/生物方向硕士 +3 1喜春8 2026-03-17 5/250 2026-03-17 17:18 by ber川cool子
[考研] 材料工程专硕274一志愿211求调剂 +6 薛云鹏 2026-03-15 6/300 2026-03-17 11:05 by 学员h26Tkc
[考研] 26考研一志愿中国石油大学(华东)305分求调剂 +3 嘉年新程 2026-03-15 3/150 2026-03-15 13:58 by 哈哈哈哈嘿嘿嘿
[考研] 中科大材料与化工319求调剂 +3 孟鑫材料 2026-03-14 3/150 2026-03-14 20:10 by ms629
信息提示
请填处理意见