24小时热门版块排行榜

返回列表

本帖产生 1 个程序强帖，点击这里进行查看

当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖

盏盏

铜虫 (正式写手)

应助: 1 (幼儿园)
金币: 412.1
帖子: 502
在线: 224.7小时
虫号: 491776

[交流] 【求助】请问如果数据量很大，如何统计？

如果我的数据有上千万条，如何做统计分析。matlab老是死机。大家有什么高招？谢谢

回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐，对您同样有帮助:

如何XPS和BET数据计算活性位的数量已经有9人回复
【教程】个人大量珍藏数据统计分析软件SPSS教程（全力助力科研数据分析）已经有1122人回复
Gaussian计算和其他方法得到的热力学数据哪个更准确呢已经有11人回复
gaussian03计算出的拉曼光谱数据怎么在orgin中作图？已经有6人回复
请问如何统计数据聚类的结果？已经有5人回复
【软件】一个科研数据处理软件和一个化学分子量，元素含量，配平等计算软件已经有83人回复
【请教】两种混合晶型的产物，如何通过XRD数据计算两种不同晶体所占的比例已经有10人回复
【求助】为什么XRD数据希尔公式计算的晶粒尺寸和HR-TEM照出来差别很大？已经有7人回复
【求助】想问一下我想查国内外肉类产量消费量的最新统计数据，在哪查？已经有6人回复
【求助】请问如果数据量很大，如何统计？已经有6人回复

» 抢金币啦！回帖就可以得到:

查看全部散金贴

1楼 2010-12-03 18:11:24

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖

holmescn

金虫 (正式写手)

程序强帖: 37
应助: 1 (幼儿园)
金币: 1918.8
帖子: 699
在线: 102.6小时
虫号: 913482

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+3):辛苦了！ 2010-12-12 20:56:09
盏盏(金币+1):谢谢很专业 2010-12-13 05:09:40
zyj8119(金币+10):谢谢。 2010-12-15 12:39:30

上千万条可以：
1、不一次性读入内存，每次读一部分，统计，释放内存（或者覆盖），读入下一部分。
2、如果统计得比较简单，比如求数据的出现频率，平均值，方差，标准差什么的，可以考虑使用数据库，比如MySQL,Oracle,SQL Server,然后使用SQL语句进行统计
3、尝试使用专业的统计工具：SAS, SPSS等。