应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

Znn3bq.jpeg
小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » C/C++ » 【求助】请问如果数据量很大，如何统计？
111/1返回列表
查看: 2205  |  回复: 10
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看
本帖产生 1 个 程序强帖 ，点击这里进行查看

盏盏

铜虫 (正式写手)

[交流] 【求助】请问如果数据量很大，如何统计？

如果我的数据有上千万条，如何做统计分析。matlab老是死机。大家有什么高招？谢谢
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐，对您同样有帮助:

» 抢金币啦！回帖就可以得到:

查看全部散金贴
1楼 2010-12-03 18:11:24
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmc21

金虫 (小有名气)
★
余泽成(金币+1):谢谢参与应助！ 2010-12-12 20:53:04
不知道你的是什么数据，如果是随时间变化的某种变量，可以分时间段来分析
赞一下(1人) 回复此楼
2楼2010-12-03 18:36:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hsqlxsz

新虫 (著名写手)
★ ★ ★ ★
余泽成(金币+1):谢谢参与应助！ 2010-12-12 20:53:21
zyj8119(金币+3):谢谢。 2010-12-15 12:39:16
数据太多，要么分段，要么精简，别无他法
赞一下(2人) 回复此楼
3楼2010-12-04 03:34:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

1dubo

银虫 (小有名气)
可以减小统计的频率
赞一下 回复此楼
4楼2010-12-06 09:28:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

holmescn

金虫 (正式写手)
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+3):辛苦了！ 2010-12-12 20:56:09
盏盏(金币+1):谢谢 很专业 2010-12-13 05:09:40
zyj8119(金币+10):谢谢。 2010-12-15 12:39:30
上千万条可以：
1、不一次性读入内存， 每次读一部分，统计，释放内存（或者覆盖），读入下一部分。
2、如果统计得比较简单，比如求数据的出现频率，平均值，方差，标准差什么的，可以考虑使用数据库，比如MySQL,Oracle,SQL Server,然后使用SQL语句进行统计
3、尝试使用专业的统计工具：SAS, SPSS等。
赞一下(2人) 回复此楼
5楼2010-12-09 19:17:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjyl

金虫 (正式写手)
LZ到是说一下你的到底是怎么样的数据啊
赞一下 回复此楼
6楼2010-12-11 23:25:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xioooli

金虫 (小有名气)
★
余泽成(金币+1):谢谢参与应助！ 2010-12-13 21:54:00
建议用 awk 语言，人家搞天文的那种海量数据都用这个，很小很快。
赞一下(1人) 回复此楼
7楼2010-12-12 21:44:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Su47

铁杆木虫 (正式写手)
上个高配置电脑试试看
赞一下 回复此楼
8楼2010-12-12 22:08:30
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

holmescn

金虫 (正式写手)
★
余泽成(金币+1):谢谢参与应助！ 2010-12-13 21:54:17
引用回帖:
Originally posted by xioooli at 2010-12-12 21:44:57:
建议用 awk 语言，人家搞天文的那种海量数据都用这个，很小很快。

还不如用Perl 呢。 或者Python。
awk是很小，很小很简单， 但要说快，还算不上。要不就不会有Perl了。:-)
赞一下(1人) 回复此楼
9楼2010-12-13 09:31:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xioooli

金虫 (小有名气)
★ ★ ★ ★ ★ ★
余泽成(金币+1):鼓励讨论交流！ 2010-12-13 21:54:44
zyj8119(金币+5):分析的不错。 2010-12-15 12:39:48
引用回帖:
Originally posted by holmescn at 2010-12-13 09:31:29:


还不如用Perl 呢。 或者Python。
awk是很小，很小很简单， 但要说快，还算不上。要不就不会有Perl了。:-)

各种语言的使用范围是不一样的，awk 做简单的数据统计速度是非常快的，当然 perl 和 python 的功能要强大不少。有人做过一个简单的测试，awk 比 perl 要快不少（当然 python 比 perl 还慢些就不说了）：
http://dbablog.journalspace.com/?p=233
赞一下(2人) 回复此楼
10楼2010-12-13 16:37:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

linyujack

铜虫 (小有名气)
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+2):谢谢参与应助，欢迎常来程序语言版！ 2010-12-13 21:55:24
zyj8119(金币+10, 程序强帖+1):很好的分析。 2010-12-15 12:40:10
[quote]Originally posted by holmescn at 2010-12-09 19:17:17:
上千万条可以：
1、不一次性读入内存， 每次读一部分，统计，释放内存（或者覆盖），读入下一部分。
2、如果统计得比较简单，比如求数据的出现频率，平均值，方差，标准差什么的，可以考虑使用数据库，比如MySQ ...
、尝试使用专业的统计工具：SAS, SPSS等.......[/quote]
如楼上所说，建议使用专业的统计学软件进行分析，SAS，SPSS，Minitab等等，matlab毕竟不是专门做统计学的分析，做其他的数学分析运算还可以。
如果非得要编程序做统计分析，而且数据量很大，还是用编译之后生成的二进制程序速度比较快，比如用C、C++编写程序，统计数据单独存储在其他文档中。

[ Last edited by linyujack on 2010-12-13 at 21:51 ]
赞一下(2人) 回复此楼
11楼2010-12-13 21:45:55
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 盏盏 的主题更新
111/1返回列表
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 化学070300 求调剂 +16 哈哈哈^_^ 2026-04-12 16/800 2026-04-13 00:17 by wadb64
[考研] 调剂 +10 月@163.com 2026-04-11 10/500 2026-04-12 09:14 by zhouyuwinner
[考研] 一志愿厦大0856，306求调剂 +15 Bblinging 2026-04-11 15/750 2026-04-11 22:53 by 314126402
[考研] 电子信息279求调剂，有书读就行 +8 wwwooden 2026-04-08 11/550 2026-04-11 20:22 by cq2548
[考研] 269求调剂 +11 啊啊我我 2026-04-07 11/550 2026-04-11 16:45 by vgtyfty
[考研] 085500求调剂材料 +10 易11122 2026-04-09 10/500 2026-04-11 10:39 by maddjdld
[考研] 22408 327分求调剂 +4 韵风kon 2026-04-10 4/200 2026-04-11 09:51 by 猪会飞
[考研] 本科211 工科085400 280分求调剂 可跨专业 +11 LZH（等待调剂中 2026-04-10 11/550 2026-04-11 08:39 by zhq0425
[考研] 287求调剂 +15 Fnhc 2026-04-07 21/1050 2026-04-10 19:09 by chemisry
[考研] 材料专业344求调剂 +16 hualkop 2026-04-10 21/1050 2026-04-10 17:28 by laoshidan
[考研] 一志愿京区985，085401电子信息，本科电子信息 +3 阳光开朗的男孩 2026-04-10 3/150 2026-04-10 16:29 by sophia_93
[考研] 青岛科技大学材料学院，环境学院调剂补录4月10日以前都可以 +3 1青科大。 2026-04-09 5/250 2026-04-10 09:58 by 翩翩一书生
[考研] 生物学调剂，一志愿西南大学348，Top期刊一区二作、二区三作，三等奖学金三次 +4 candyyyi 2026-04-09 4/200 2026-04-09 18:39 by l_paradox
[考研] 085501机械英二77总分294求调剂，接受跨专业学习 +6 守法公民亓纪 2026-04-08 6/300 2026-04-09 15:55 by wp06
[考研] 368化学求调剂 +13 wwwwabcde 2026-04-07 14/700 2026-04-09 14:47 by heaven_jay
[考研] 一志愿鲁东大学071000生物学学硕初试分数276求调剂 +3 慕绝cc 2026-04-09 3/150 2026-04-09 09:57 by liuhuiying09
[考研] 材料与化工专硕306分找合适调剂 +27 沧海轻舟e 2026-04-06 28/1400 2026-04-08 22:06 by wdyheheeh
[考研] 考研求调剂 +4 雯??? 2026-04-08 4/200 2026-04-08 21:44 by 土木硕士招生
[考研] 277求调剂 +4 考研调剂lxh 2026-04-06 6/300 2026-04-08 10:40 by 逆水乘风
[考研] 软工学硕299求调剂 +6 useryy 2026-04-07 6/300 2026-04-07 09:50 by vgtyfty
信息提示
关闭
请填处理意见
关闭