应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » C/C++ » 【求助】请问如果数据量很大，如何统计？
111/1返回列表
查看: 2098  |  回复: 10
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看
本帖产生 1 个 程序强帖 ，点击这里进行查看

盏盏

铜虫 (正式写手)

[交流] 【求助】请问如果数据量很大，如何统计？

如果我的数据有上千万条，如何做统计分析。matlab老是死机。大家有什么高招？谢谢
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐，对您同样有帮助:

» 抢金币啦！回帖就可以得到:

查看全部散金贴
1楼 2010-12-03 18:11:24
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmc21

金虫 (小有名气)
★
余泽成(金币+1):谢谢参与应助！ 2010-12-12 20:53:04
不知道你的是什么数据，如果是随时间变化的某种变量，可以分时间段来分析
赞一下(1人) 回复此楼
2楼2010-12-03 18:36:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hsqlxsz

新虫 (著名写手)
★ ★ ★ ★
余泽成(金币+1):谢谢参与应助！ 2010-12-12 20:53:21
zyj8119(金币+3):谢谢。 2010-12-15 12:39:16
数据太多，要么分段，要么精简，别无他法
赞一下(2人) 回复此楼
3楼2010-12-04 03:34:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

1dubo

银虫 (小有名气)
可以减小统计的频率
赞一下 回复此楼
4楼2010-12-06 09:28:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

holmescn

金虫 (正式写手)
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+3):辛苦了！ 2010-12-12 20:56:09
盏盏(金币+1):谢谢 很专业 2010-12-13 05:09:40
zyj8119(金币+10):谢谢。 2010-12-15 12:39:30
上千万条可以：
1、不一次性读入内存， 每次读一部分，统计，释放内存（或者覆盖），读入下一部分。
2、如果统计得比较简单，比如求数据的出现频率，平均值，方差，标准差什么的，可以考虑使用数据库，比如MySQL,Oracle,SQL Server,然后使用SQL语句进行统计
3、尝试使用专业的统计工具：SAS, SPSS等。
赞一下(2人) 回复此楼
5楼2010-12-09 19:17:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjyl

金虫 (正式写手)
LZ到是说一下你的到底是怎么样的数据啊
赞一下 回复此楼
6楼2010-12-11 23:25:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xioooli

金虫 (小有名气)
★
余泽成(金币+1):谢谢参与应助！ 2010-12-13 21:54:00
建议用 awk 语言，人家搞天文的那种海量数据都用这个，很小很快。
赞一下(1人) 回复此楼
7楼2010-12-12 21:44:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Su47

铁杆木虫 (正式写手)
上个高配置电脑试试看
赞一下 回复此楼
8楼2010-12-12 22:08:30
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

holmescn

金虫 (正式写手)
★
余泽成(金币+1):谢谢参与应助！ 2010-12-13 21:54:17
引用回帖:
Originally posted by xioooli at 2010-12-12 21:44:57:
建议用 awk 语言，人家搞天文的那种海量数据都用这个，很小很快。

还不如用Perl 呢。 或者Python。
awk是很小，很小很简单， 但要说快，还算不上。要不就不会有Perl了。:-)
赞一下(1人) 回复此楼
9楼2010-12-13 09:31:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xioooli

金虫 (小有名气)
★ ★ ★ ★ ★ ★
余泽成(金币+1):鼓励讨论交流！ 2010-12-13 21:54:44
zyj8119(金币+5):分析的不错。 2010-12-15 12:39:48
引用回帖:
Originally posted by holmescn at 2010-12-13 09:31:29:


还不如用Perl 呢。 或者Python。
awk是很小，很小很简单， 但要说快，还算不上。要不就不会有Perl了。:-)

各种语言的使用范围是不一样的，awk 做简单的数据统计速度是非常快的，当然 perl 和 python 的功能要强大不少。有人做过一个简单的测试，awk 比 perl 要快不少（当然 python 比 perl 还慢些就不说了）：
http://dbablog.journalspace.com/?p=233
赞一下(2人) 回复此楼
10楼2010-12-13 16:37:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

linyujack

铜虫 (小有名气)
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+2):谢谢参与应助，欢迎常来程序语言版！ 2010-12-13 21:55:24
zyj8119(金币+10, 程序强帖+1):很好的分析。 2010-12-15 12:40:10
[quote]Originally posted by holmescn at 2010-12-09 19:17:17:
上千万条可以：
1、不一次性读入内存， 每次读一部分，统计，释放内存（或者覆盖），读入下一部分。
2、如果统计得比较简单，比如求数据的出现频率，平均值，方差，标准差什么的，可以考虑使用数据库，比如MySQ ...
、尝试使用专业的统计工具：SAS, SPSS等.......[/quote]
如楼上所说，建议使用专业的统计学软件进行分析，SAS，SPSS，Minitab等等，matlab毕竟不是专门做统计学的分析，做其他的数学分析运算还可以。
如果非得要编程序做统计分析，而且数据量很大，还是用编译之后生成的二进制程序速度比较快，比如用C、C++编写程序，统计数据单独存储在其他文档中。

[ Last edited by linyujack on 2010-12-13 at 21:51 ]
赞一下(2人) 回复此楼
11楼2010-12-13 21:45:55
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 盏盏 的主题更新
111/1返回列表
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 295求调剂。一志愿报考郑州大学化学工艺学硕，总分295分 +7 yl1 2026-03-02 7/350 2026-03-02 19:03 by zhukairuo
[考研] 一志愿中石油（华东）本科齐鲁工业大学 +3 石能伟 2026-03-02 3/150 2026-03-02 18:54 by caszguilin
[考研] 材料调剂 +3 恒顺自然 2026-03-02 3/150 2026-03-02 18:49 by L135790
[考研] 一志愿山东大学材料与化工325求调剂 +5 半截的诗0927 2026-03-02 5/250 2026-03-02 18:37 by 明亮9527
[考研] 282求调剂 +4 2103240126 2026-03-02 6/300 2026-03-02 18:07 by 2103240126
[考研] 欢迎采矿、地质、岩土、计算机、人工智能等专业的同学报考 +6 pin8023 2026-02-28 8/400 2026-03-02 17:13 by 0854蹲调剂
[考研] 考研复试调剂，过国家线的同学都可报名 +4 黑！在干嘛 2026-02-28 5/250 2026-03-02 16:48 by chock1337
[考研] 材料工程274求调剂 +4 Lilithan 2026-03-01 4/200 2026-03-02 12:06 by yuchj
[考研] 哈工大计算机刘劼团队招生 +4 hit_aiot 2026-03-01 6/300 2026-03-02 11:53 by 一声问好
[考研] 材料工程专硕283求调剂 5+4 ，！？ 2026-03-02 6/300 2026-03-02 11:07 by 黑！在干嘛
[考研] 264求调剂 +4 巴拉巴拉根556 2026-02-28 4/200 2026-03-02 10:48 by yuchj
[考研] 279求调剂 +3 dua1 2026-03-01 4/200 2026-03-02 00:23 by 大脸蛋子
[考研] 0856求调剂285 +10 吕仔龙 2026-02-28 10/500 2026-03-01 21:37 by 公瑾逍遥
[考研] 311求调剂 +6 亭亭亭01 2026-03-01 6/300 2026-03-01 15:41 by 324616
[考研] 298求调剂 +9 人间唯你是清欢 2026-02-28 12/600 2026-03-01 14:23 by Ducount.Y
[考研] 寻找调剂 +4 LYidhsjabdj 2026-02-28 4/200 2026-03-01 10:56 by sunny81
[考研] 311求调剂 +9 南迦720 2026-02-28 10/500 2026-03-01 10:55 by sunny81
[硕博家园] 2025届双非化工硕士毕业，申博 +3 更多的是 2026-02-27 4/200 2026-03-01 10:04 by ztg729
[考研] 307求调剂 +4 73372112 2026-02-28 6/300 2026-03-01 00:04 by ll247
[高分子] 求环氧树脂研发1名 +3 孙xc 2026-02-25 11/550 2026-02-28 16:57 by ichall
信息提示
关闭
请填处理意见
关闭