24小时热门版块排行榜    

查看: 2517  |  回复: 10
本帖产生 1 个 程序强帖 ,点击这里进行查看
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

盏盏

铜虫 (正式写手)


[交流] 【求助】请问如果数据量很大,如何统计?

如果我的数据有上千万条,如何做统计分析。matlab老是死机。大家有什么高招?谢谢
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

1dubo

银虫 (小有名气)


可以减小统计的频率
4楼2010-12-06 09:28:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 11 个回答

xmc21

金虫 (小有名气)



余泽成(金币+1):谢谢参与应助! 2010-12-12 20:53:04
不知道你的是什么数据,如果是随时间变化的某种变量,可以分时间段来分析
2楼2010-12-03 18:36:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hsqlxsz

新虫 (著名写手)


★ ★ ★ ★
余泽成(金币+1):谢谢参与应助! 2010-12-12 20:53:21
zyj8119(金币+3):谢谢。 2010-12-15 12:39:16
数据太多,要么分段,要么精简,别无他法
3楼2010-12-04 03:34:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

holmescn

金虫 (正式写手)


★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+3):辛苦了! 2010-12-12 20:56:09
盏盏(金币+1):谢谢 很专业 2010-12-13 05:09:40
zyj8119(金币+10):谢谢。 2010-12-15 12:39:30
上千万条可以:
1、不一次性读入内存, 每次读一部分,统计,释放内存(或者覆盖),读入下一部分。
2、如果统计得比较简单,比如求数据的出现频率,平均值,方差,标准差什么的,可以考虑使用数据库,比如MySQL,Oracle,SQL Server,然后使用SQL语句进行统计
3、尝试使用专业的统计工具:SAS, SPSS等。
5楼2010-12-09 19:17:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 基金不中,共勉 +8 eulota 2026-08-26 8/400 2026-08-27 12:34 by lice_1987
[基金申请] 怎么看青基中了没有啊 +5 叶九微 2026-08-26 5/250 2026-08-27 10:35 by l_zh2008
[基金申请] 面上合作单位盖章 +3 ssyjh 2026-08-27 3/150 2026-08-27 09:59 by 阿拉贡aragon
[基金申请] 看板上这么多中的,有点像50人群里49个人都是骗子的那种感觉…… +4 a089 2026-08-26 5/250 2026-08-27 09:24 by Howard28
[基金申请] 为什么 国际(地区)合作与交流项目 没有放榜? 10+3 majunge000 2026-08-26 11/550 2026-08-27 08:42 by 北京莱茵编辑
[基金申请] 让我中一个面上吧! +13 大萍1987 2026-08-20 17/850 2026-08-27 08:20 by 大萍1987
[基金申请] 国自然面上复盘~欢迎讨论 +7 晴天加油 2026-08-26 8/400 2026-08-27 07:53 by longfie172
[硕博家园] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +3 LIbGuocjEEYw 2026-08-26 4/200 2026-08-27 02:01 by Ie9AyIAvGbvs
[基金申请] 系统查不到 +10 董八千 2026-08-26 10/500 2026-08-26 16:30 by Equinoxhua
[基金申请] 范进中举一文的中心思想 +9 炎黄贵胄 2026-08-22 10/500 2026-08-26 15:40 by semaglutide
[基金申请] 2026国自然函评费到账 +22 羊腰板 2026-08-21 25/1250 2026-08-26 15:00 by zuocuiping
[基金申请] 能否退出参与的面上项目解除限项 +23 koalala 2026-08-24 26/1300 2026-08-26 14:29 by 宝贝虫子
[基金申请] 哪位高人中了,把查询到的截图贴出来让我看看,让我长长见识 +4 yuleib84 2026-08-26 5/250 2026-08-26 13:40 by yuleib84
[基金申请] 国合里面能看到了 +7 一怀馨秋 2026-08-26 7/350 2026-08-26 11:23 by zhaosm1982
[基金申请] 项目信息和经费信息在系统里都可以看到了 +6 wittyboy 2026-08-26 14/700 2026-08-26 10:55 by wittyboy
[基金申请] 国合现在查不到了吗? +10 chengyan1220 2026-08-24 20/1000 2026-08-26 08:57 by peasantsprig
[基金申请] 在坚冰还盖着北海的时候,我看到了怒放的梅花。 (金币+10) +6 ziyangfang 2026-08-25 9/450 2026-08-25 20:26 by huagongfeihu
[基金申请] 某些机构,以效率低为荣,以效率低作为存在感 +9 yuleib84 2026-08-25 10/500 2026-08-25 17:14 by alexon
[基金申请] 时间戳又变了 +13 wuchongjun 2026-08-20 19/950 2026-08-21 17:21 by 紫杉醇
[基金申请] 基金啊基金 +4 longfie172 2026-08-20 4/200 2026-08-21 08:58 by mark mao
信息提示
请填处理意见