24小时热门版块排行榜    

查看: 2597  |  回复: 10
本帖产生 1 个 程序强帖 ,点击这里进行查看
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

盏盏

铜虫 (正式写手)


[交流] 【求助】请问如果数据量很大,如何统计?

如果我的数据有上千万条,如何做统计分析。matlab老是死机。大家有什么高招?谢谢
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

linyujack

铜虫 (小有名气)


★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+2):谢谢参与应助,欢迎常来程序语言版! 2010-12-13 21:55:24
zyj8119(金币+10, 程序强帖+1):很好的分析。 2010-12-15 12:40:10
[quote]Originally posted by holmescn at 2010-12-09 19:17:17:
上千万条可以:
1、不一次性读入内存, 每次读一部分,统计,释放内存(或者覆盖),读入下一部分。
2、如果统计得比较简单,比如求数据的出现频率,平均值,方差,标准差什么的,可以考虑使用数据库,比如MySQ ...
、尝试使用专业的统计工具:SAS, SPSS等.......[/quote]
如楼上所说,建议使用专业的统计学软件进行分析,SAS,SPSS,Minitab等等,matlab毕竟不是专门做统计学的分析,做其他的数学分析运算还可以。
如果非得要编程序做统计分析,而且数据量很大,还是用编译之后生成的二进制程序速度比较快,比如用C、C++编写程序,统计数据单独存储在其他文档中。

[ Last edited by linyujack on 2010-12-13 at 21:51 ]
11楼2010-12-13 21:45:55
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 11 个回答

xmc21

金虫 (小有名气)


★
余泽成(金币+1):谢谢参与应助! 2010-12-12 20:53:04
不知道你的是什么数据,如果是随时间变化的某种变量,可以分时间段来分析
2楼2010-12-03 18:36:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hsqlxsz

新虫 (著名写手)


★ ★ ★ ★
余泽成(金币+1):谢谢参与应助! 2010-12-12 20:53:21
zyj8119(金币+3):谢谢。 2010-12-15 12:39:16
数据太多,要么分段,要么精简,别无他法
3楼2010-12-04 03:34:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

1dubo

银虫 (小有名气)


可以减小统计的频率
4楼2010-12-06 09:28:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[公派出国] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +3 GxESXJmptOtQ 2026-09-25 4/200 2026-09-27 06:44 by XgCC8uTcwILl
[考博] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +3 GxESXJmptOtQ 2026-09-25 4/200 2026-09-27 06:42 by XgCC8uTcwILl
[论文投稿] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +3 GxESXJmptOtQ 2026-09-25 4/200 2026-09-27 06:39 by XgCC8uTcwILl
[找工作] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 vQZoDrrm7mUF 2026-09-25 3/150 2026-09-27 06:08 by XgCC8uTcwILl
[公派出国] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +3 vQZoDrrm7mUF 2026-09-25 3/150 2026-09-27 06:05 by XgCC8uTcwILl
[硕博家园] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +4 vQZoDrrm7mUF 2026-09-25 4/200 2026-09-27 05:56 by XgCC8uTcwILl
[论文投稿] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +4 vQZoDrrm7mUF 2026-09-25 4/200 2026-09-27 05:56 by XgCC8uTcwILl
[考研] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +3 vQZoDrrm7mUF 2026-09-25 3/150 2026-09-27 05:56 by XgCC8uTcwILl
[找工作] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +5 vQZoDrrm7mUF 2026-09-25 5/250 2026-09-27 05:53 by XgCC8uTcwILl
[博后之家] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +4 vQZoDrrm7mUF 2026-09-25 4/200 2026-09-27 05:50 by XgCC8uTcwILl
[考研] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +3 vQZoDrrm7mUF 2026-09-25 5/250 2026-09-27 05:44 by XgCC8uTcwILl
[考博] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +3 vQZoDrrm7mUF 2026-09-25 3/150 2026-09-27 05:44 by XgCC8uTcwILl
[公派出国] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +4 vQZoDrrm7mUF 2026-09-25 4/200 2026-09-27 05:44 by XgCC8uTcwILl
[论文投稿] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +3 vQZoDrrm7mUF 2026-09-25 6/300 2026-09-27 05:42 by XgCC8uTcwILl
[找工作] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +4 PGTSwSC3F6nQ 2026-09-24 5/250 2026-09-25 11:19 by yhq9807
[公派出国] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +4 PGTSwSC3F6nQ 2026-09-24 7/350 2026-09-25 11:18 by yhq9807
[硕博家园] 上海工程技术大学 激光智能制造课题组 2027级博士研究生招生 +4 oxidpl 2026-09-20 6/300 2026-09-24 20:40 by oxidpl
[教师之家] 课题组招2027级博士 上海工程技术大学 激光智能制造方向 +4 oxidpl 2026-09-20 6/300 2026-09-24 20:37 by oxidpl
[基金申请] 师弟论文见刊大半年才想起来申请专利,还能抢救一下吗? +4 13108017953 2026-09-21 4/200 2026-09-24 10:06 by kudofaye
[有机交流] 有机合成以后会不会被AI改变?做科研的虫友怎么看 +5 zapen 2026-09-20 8/400 2026-09-23 17:21 by tianxiaoxian
信息提示
请填处理意见