应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » MATLAB/Mathematica » MATLAB 存储10个G 以上数组怎么办？
161/2返回列表12下一页
查看: 1961  |  回复: 15
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

ghlzt

新虫 (初入文坛)

[交流] MATLAB 存储10个G 以上数组怎么办？ 已有15人参与

我现在有三个MAT文件，三个里面分别存放着具有相同行的数组，大小分别有2G,4G,5G。 我现在想把这三个MAT文件里面的数组合并成一个新的数组，那么这个数组大小应该就有11个G了，存储到一个新的MAT文件中，但是如果load每一个MAT文件的话，电脑内存直接卡机了。怎么处理呢？另外请假一个问题，虚拟内存有什么用呢？我这个好像虚拟内存挺大的，虚拟内存里面可以存储什么这么大的一个数组吗？
这个是电脑内存
memory
Maximum possible array:        9934 MB (1.042e+10 bytes) *
Memory available for all arrays:        9934 MB (1.042e+10 bytes) *
Memory used by MATLAB:         880 MB (9.230e+08 bytes)
Physical Memory (RAM):       12205 MB (1.280e+10 bytes)
虚拟内存
>> feature('memstats')
    Physical Memory (RAM):
        In Use:                             3280 MB (   cd02b000)
        Free:                               8924 MB (  22dcc5000)
        Total:                             12204 MB (  2facf0000)
    Page File (Swap space):
        In Use:                             3868 MB (   f1c5d000)
        Free:                               9936 MB (  26d093000)
        Total:                             13804 MB (  35ecf0000)
    Virtual Memory (Address Space):
        In Use:                             4221 MB (  107d7a000)
        Free:                           134213506 MB (7ffef8266000)
        Total:                          134217727 MB (7ffffffe0000)
    Largest Contiguous Free Blocks:
         1. [at   1800c2000]           134170621 MB (7ff47fd9c000)
         2. [at 7ff5fffff000]               23220 MB (  5ab451000)
         3. [at 7ffbc565c000]               17321 MB (  43a984000)
         4. [at   140029000]                1023 MB (   3ffd7000)
         5. [at   11c000000]                 576 MB (   24000000)
         6. [at   104000000]                 128 MB (    8000000)
         7. [at   110000000]                 128 MB (    8000000)
         8. [at 7ffbb0000000]                  74 MB (    4a70000)
         9. [at    b3ff0000]                  64 MB (    4000000)
        10. [at 7ffbab6aa000]                  46 MB (    2e46000)
                                            ======= ==========
回复此楼

» 猜你喜欢
1楼 2015-12-30 21:18:14
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖支持 ( 显示支持度最高的前 50 名 )

兜兜妖神

铜虫 (初入文坛)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
最好是能变换处理公式，或者将矩阵分割的更小最好，现在限制你运算的是硬盘的IO速度了。
你说的虚拟内存是win将一部分硬盘作为内存开始用，如果你硬盘不是固态的话，由于机械硬盘读写速度小了内存条读写速度一个数量级，所以如果强行读取数据，在进行矩阵运算的时候会进一步变慢。

发自小木虫Android客户端
赞一下(2人) 回复此楼
3楼2015-12-30 23:28:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wangww2011

木虫 (著名写手)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
没啥好办法 除非你换个内存大的电脑。
虚拟内存是把硬盘中的一部分在你内存不够的时候当内存来用的，速度奇慢无比。
赞一下(1人) 回复此楼
6楼2016-01-01 19:30:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

mygt_hit

专家顾问 (职业作家)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
这数据确实大啊。分开存放到一个个小文件里不行吗？
赞一下 回复此楼
知其然，知其所以然。
2楼2015-12-30 22:17:26
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

meng5142
祝福祝福祝福
4楼2015-12-31 17:16:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

蜉蝣于天地

银虫 (小有名气)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
试试看load 有没有see also选项，可能有不会一次性读取所有内容的函数。
赞一下 回复此楼
非宁静无以致远，非淡泊无以明志
5楼2016-01-01 17:02:56
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

jialay

铁虫 (小有名气)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
数据量确实过大，能不能精简数据？不然就用服务器吧。

发自小木虫Android客户端
赞一下 回复此楼
qr
7楼2016-01-01 19:42:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wxws.2008

木虫 (正式写手)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
用c语言或者fortran

发自小木虫Android客户端
赞一下 回复此楼
8楼2016-01-01 21:39:22
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

AAAding

铜虫 (小有名气)
在服务器上跑吧

发自小木虫IOS客户端
回复此楼
9楼2016-01-02 08:51:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

duotojh

金虫 (小有名气)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
操作系统中内存管理一般数组最大1G，你需要采用多个数组或特殊的多维动态数组才能使用
赞一下 回复此楼
10楼2016-01-02 15:03:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 ghlzt 的主题更新
161/2返回列表12下一页
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 奇怪，两个人的filecode固定段从头到尾一模一样 +7 布布和一二 2026-08-10 8/400 2026-08-11 21:19 by zhanghaozhu
[教师之家] 售SCI一区文章，我:8.O.551.O.5.4,科目全,可伽急 +4 yPv6ndDtiRxQ 2026-08-11 4/200 2026-08-11 21:15 by thgx1vqMqrLw
[基金申请] 有时候，自然基金真的不能太认真 （我的申报经验） +3 majunge000 2026-08-11 4/200 2026-08-11 20:13 by lch2012
[基金申请] 为什么网上很多人说本周 12号出结果 +6 瞬息宇宙 2026-08-10 7/350 2026-08-11 19:25 by Tide man
[基金申请] 分享一下我之前已中青C的计划书的filecode +3 布布和一二 2026-08-11 4/200 2026-08-11 15:20 by aasahr
[基金申请] 听说今天filecode变了 +26 布布和一二 2026-08-06 49/2450 2026-08-11 13:18 by WH3796
[基金申请] 我的国基提前知道中了，可是同事的操作让我实在接受不了，怎么会有这样的人 +8 家与远方 2026-08-10 13/650 2026-08-11 09:49 by 家与远方
[基金申请] 基金中了 +15 laoda193707 2026-08-06 15/750 2026-08-11 00:11 by jiafei2190
[基金申请] 关于代码变化问题，想知道的进来 +17 且听虎啸 2026-08-07 24/1200 2026-08-10 18:35 by zhangduo2008
[基金申请] 据悉今年马上要出结果了 +7 瞬息宇宙 2026-08-10 8/400 2026-08-10 12:42 by Vivilian
[基金申请] 这样的filecode谁见过 +11 布布和一二 2026-08-08 22/1100 2026-08-10 11:10 by wmfsnow
[基金申请] filecode与中标关系的预测 +5 布布和一二 2026-08-07 5/250 2026-08-09 16:15 by 袁向阳007
[基金申请] 关于豆爷回答的JTJC与%2F数量 +5 yang182083 2026-08-06 7/350 2026-08-08 18:29 by zhanghaozhu
[基金申请] 国基金的申报应该改成非等额制，评价高的钱多评价低的钱少，但是增加资助率 +7 a089 2026-08-07 7/350 2026-08-08 18:05 by gltch
[基金申请] 关于filecode +4 布布和一二 2026-08-07 7/350 2026-08-07 22:55 by zhanghaozhu
[基金申请] filecode变化情况 +6 布布和一二 2026-08-07 22/1100 2026-08-07 14:45 by 且听虎啸
[基金申请] 大家散了吧，后缀研究没有意义，别浪费时间了，过好目前的每一天，不要焦虑 +5 Tide man 2026-08-06 7/350 2026-08-07 13:11 by 医学老男孩
[基金申请] filecode +14 等待解的谜 2026-08-06 19/950 2026-08-07 12:20 by wlwhappy
[基金申请] filecode +8 布布和一二 2026-08-06 11/550 2026-08-06 20:41 by tangpu318
[基金申请] 求各位大神看下 100+6 hpkpkpkp 2026-08-05 33/1650 2026-08-06 14:49 by zhiyanjiang
信息提示
关闭
请填处理意见
关闭