应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » C/C++ » 【求助】请问如果数据量很大，如何统计？
111/1返回列表
查看: 2099  |  回复: 10
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看
本帖产生 1 个 程序强帖 ，点击这里进行查看

盏盏

铜虫 (正式写手)

[交流] 【求助】请问如果数据量很大，如何统计？

如果我的数据有上千万条，如何做统计分析。matlab老是死机。大家有什么高招？谢谢
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐，对您同样有帮助:

» 抢金币啦！回帖就可以得到:

查看全部散金贴
1楼 2010-12-03 18:11:24
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmc21

金虫 (小有名气)
★
余泽成(金币+1):谢谢参与应助！ 2010-12-12 20:53:04
不知道你的是什么数据，如果是随时间变化的某种变量，可以分时间段来分析
赞一下(1人) 回复此楼
2楼2010-12-03 18:36:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hsqlxsz

新虫 (著名写手)
★ ★ ★ ★
余泽成(金币+1):谢谢参与应助！ 2010-12-12 20:53:21
zyj8119(金币+3):谢谢。 2010-12-15 12:39:16
数据太多，要么分段，要么精简，别无他法
赞一下(2人) 回复此楼
3楼2010-12-04 03:34:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

1dubo

银虫 (小有名气)
可以减小统计的频率
赞一下 回复此楼
4楼2010-12-06 09:28:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

holmescn

金虫 (正式写手)
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+3):辛苦了！ 2010-12-12 20:56:09
盏盏(金币+1):谢谢 很专业 2010-12-13 05:09:40
zyj8119(金币+10):谢谢。 2010-12-15 12:39:30
上千万条可以：
1、不一次性读入内存， 每次读一部分，统计，释放内存（或者覆盖），读入下一部分。
2、如果统计得比较简单，比如求数据的出现频率，平均值，方差，标准差什么的，可以考虑使用数据库，比如MySQL,Oracle,SQL Server,然后使用SQL语句进行统计
3、尝试使用专业的统计工具：SAS, SPSS等。
赞一下(2人) 回复此楼
5楼2010-12-09 19:17:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjyl

金虫 (正式写手)
LZ到是说一下你的到底是怎么样的数据啊
赞一下 回复此楼
6楼2010-12-11 23:25:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xioooli

金虫 (小有名气)
★
余泽成(金币+1):谢谢参与应助！ 2010-12-13 21:54:00
建议用 awk 语言，人家搞天文的那种海量数据都用这个，很小很快。
赞一下(1人) 回复此楼
7楼2010-12-12 21:44:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Su47

铁杆木虫 (正式写手)
上个高配置电脑试试看
赞一下 回复此楼
8楼2010-12-12 22:08:30
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

holmescn

金虫 (正式写手)
★
余泽成(金币+1):谢谢参与应助！ 2010-12-13 21:54:17
引用回帖:
Originally posted by xioooli at 2010-12-12 21:44:57:
建议用 awk 语言，人家搞天文的那种海量数据都用这个，很小很快。

还不如用Perl 呢。 或者Python。
awk是很小，很小很简单， 但要说快，还算不上。要不就不会有Perl了。:-)
赞一下(1人) 回复此楼
9楼2010-12-13 09:31:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xioooli

金虫 (小有名气)
★ ★ ★ ★ ★ ★
余泽成(金币+1):鼓励讨论交流！ 2010-12-13 21:54:44
zyj8119(金币+5):分析的不错。 2010-12-15 12:39:48
引用回帖:
Originally posted by holmescn at 2010-12-13 09:31:29:


还不如用Perl 呢。 或者Python。
awk是很小，很小很简单， 但要说快，还算不上。要不就不会有Perl了。:-)

各种语言的使用范围是不一样的，awk 做简单的数据统计速度是非常快的，当然 perl 和 python 的功能要强大不少。有人做过一个简单的测试，awk 比 perl 要快不少（当然 python 比 perl 还慢些就不说了）：
http://dbablog.journalspace.com/?p=233
赞一下(2人) 回复此楼
10楼2010-12-13 16:37:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

linyujack

铜虫 (小有名气)
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+2):谢谢参与应助，欢迎常来程序语言版！ 2010-12-13 21:55:24
zyj8119(金币+10, 程序强帖+1):很好的分析。 2010-12-15 12:40:10
[quote]Originally posted by holmescn at 2010-12-09 19:17:17:
上千万条可以：
1、不一次性读入内存， 每次读一部分，统计，释放内存（或者覆盖），读入下一部分。
2、如果统计得比较简单，比如求数据的出现频率，平均值，方差，标准差什么的，可以考虑使用数据库，比如MySQ ...
、尝试使用专业的统计工具：SAS, SPSS等.......[/quote]
如楼上所说，建议使用专业的统计学软件进行分析，SAS，SPSS，Minitab等等，matlab毕竟不是专门做统计学的分析，做其他的数学分析运算还可以。
如果非得要编程序做统计分析，而且数据量很大，还是用编译之后生成的二进制程序速度比较快，比如用C、C++编写程序，统计数据单独存储在其他文档中。

[ Last edited by linyujack on 2010-12-13 at 21:51 ]
赞一下(2人) 回复此楼
11楼2010-12-13 21:45:55
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 盏盏 的主题更新
111/1返回列表
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 理学，工学，农学调剂，少走弯路，这里欢迎您！ +5 likeihood 2026-03-02 8/400 2026-03-02 20:39 by ji493940045
[考研] 085600求调剂 +4 LRZZZZZZ 2026-03-02 5/250 2026-03-02 20:33 by 云旗yunqi
[考研] 285求调剂 +9 满头大汗的学生 2026-02-28 9/450 2026-03-02 20:29 by hypershenger
[考研] 272求调剂 +9 材紫有化 2026-02-28 9/450 2026-03-02 20:22 by hypershenger
[考研] 材料270求调剂 6+4 Eiiiio 2026-03-01 7/350 2026-03-02 20:17 by hypershenger
[考研] 化学，材料，环境类求调剂 +7 考研版棒棒 2026-03-02 7/350 2026-03-02 19:56 by hypershenger
[考研] 302材料工程求调剂 +5 Doleres 2026-03-01 6/300 2026-03-02 19:53 by 张晓芳0105
[考研] 261求调剂 +3 陆lh 2026-03-01 3/150 2026-03-02 19:32 by zhukairuo
[考研] 275求调剂 +7 明远求学 2026-03-01 7/350 2026-03-02 19:22 by zhukairuo
[考研] 材料调剂 +3 恒顺自然 2026-03-02 3/150 2026-03-02 18:49 by L135790
[考研] 282求调剂 +4 2103240126 2026-03-02 6/300 2026-03-02 18:07 by 2103240126
[考研] 清华大学 材料与化工 353分求调剂 +4 awaystay 2026-03-02 5/250 2026-03-02 17:33 by yeahyou
[考研] 303求调剂 +5 今夏不夏 2026-03-01 5/250 2026-03-02 15:01 by 向上的胖东
[考研] 281求调剂 +5 2026计算机_诚心 2026-03-01 8/400 2026-03-02 11:05 by 汪！？！
[考研] 274求调剂 +3 cgyzqwn 2026-03-01 7/350 2026-03-02 10:38 by lature00
[考研] 材料类求调剂 +11 wana_kiko 2026-02-28 14/700 2026-03-02 08:46 by 聪明的大松鼠
[考研] 272求调剂 +6 田智友 2026-02-28 6/300 2026-03-01 21:40 by 公瑾逍遥
[考研] 311求调剂 +9 南迦720 2026-02-28 10/500 2026-03-01 10:55 by sunny81
[高分子] 求环氧树脂研发1名 +3 孙xc 2026-02-25 11/550 2026-02-28 16:57 by ichall
[硕博家园] 【博士招生】太原理工大学2026化工博士 +4 N1ce_try 2026-02-24 8/400 2026-02-26 08:40 by N1ce_try
信息提示
关闭
请填处理意见
关闭