| 查看: 2618 | 回复: 10 | |||
| 本帖产生 1 个 程序强帖 ，点击这里进行查看 | |||
[交流]
【求助】请问如果数据量很大，如何统计？
|
|||
| 如果我的数据有上千万条，如何做统计分析。matlab老是死机。大家有什么高招？谢谢 |
回复此楼» 猜你喜欢
二审4个多月了还是Awaiting Reviewer Scores
已经有4人回复
-
OpenAI又攻克数学难题了，离AI做有机合成还有多远？
已经有13人回复
-
申请科研项目纯靠实力能成功吗？
已经有7人回复
-
极限拉扯，如何抉择
已经有14人回复
-
课题组会帮你通过考核么？
已经有7人回复
-
入职后第一次管课题组的专利缴费，对账才发现官费比别人多掏了一倍
已经有6人回复
-
售一区SCI文章T0P，我:8O.551.O54,科目全,可十急
已经有9人回复
-
售SCI一区文章，我:8O5.5.1.O5.4,科目全,可伽急
已经有10人回复
-
售SCI一区T0P文章，我:8.O55.1.O.54,科目全,可十急
已经有8人回复
-
售SCI一区T0P文章，我:8.O55.1.O.54,科目全,可十急
已经有9人回复
» 本主题相关价值贴推荐，对您同样有帮助:
- 如何XPS和BET数据计算活性位的数量
已经有9人回复
- 【教程】个人大量珍藏数据统计分析软件SPSS教程（全力助力科研数据分析）
已经有1122人回复
- Gaussian计算和其他方法得到的热力学数据哪个更准确呢
已经有11人回复
- gaussian03计算出的拉曼光谱数据怎么在orgin中作图？
已经有6人回复
- 请问如何统计数据聚类的结果？
已经有5人回复
- 【软件】一个科研数据处理软件和一个化学分子量，元素含量，配平等计算软件
已经有83人回复
- 【请教】两种混合晶型的产物，如何通过XRD数据计算两种不同晶体所占的比例
已经有10人回复
- 【求助】为什么XRD数据希尔公式计算的晶粒尺寸和HR-TEM照出来差别很大？
已经有7人回复
- 【求助】想问一下我想查国内外肉类产量消费量的最新统计数据，在哪查？
已经有6人回复
- 【求助】请问如果数据量很大，如何统计？
已经有6人回复
» 抢金币啦！回帖就可以得到:
-
2026年人文教育与社会发展国际会议（HESD 2026）
+1/805
-
诚征女友
+1/481
-
重庆医科大学合川医院（合川区人民医院）公开招收博士后研究人员
+1/96
-
中国科学院北京纳米能源与系统研究所 诚招2027级“申请-考核”制普通博士2名
+5/95
-
复旦大学化学系材料化学方向招聘博后及科研助理
+3/93
-
浙江农林大学生物质能源团队青年教师招聘通知
+1/92
-
硫化物负极充电充不上去
+2/68
-
沈阳工业大学 环境电化学技术研究团队 招收硕士研究生（学硕/专硕）
+2/60
-
大湾区大学-中山大学联合培养2027级博士研究生（二维材料/量子输运/自旋电子学）
+3/49
-
浙江农林大学生物质能源团队青年教师招聘通知
+1/46
-
北京工商大学食品与健康学院杨绍祥课题组食品科学与工程博士招生
+1/40
-
中国地质大学（武汉）氢能研究院杨明团队-招收27年博士-新能源材料化学及催化
+1/35
-
爱丁顿实验
+1/32
-
湖南大学-分析检测技术和生物柔性传感器-招收1名博士研究生 (2027年)
+1/23
-
坐标广州，诚征女友，结婚对象，非诚勿扰
+1/23
-
高分辨质谱测试丨科研单位对外服务
+1/18
-
上交化院邓楠楠组招收27年春/秋季入学申请考核博士-化学、生物相关方向
+1/12
-
中国科大-合肥国家实验室冷原子量子网络团队招聘启事
+1/12
-
海南大学材料学院国家级人才团队诚聘在职科研骨干和博士后
+1/3
-
雷达盯不过百批目标的低空时代：开源大模型本地部署做跟踪数据标注与航迹报告生成
+1/2
2楼2010-12-03 18:36:34
3楼2010-12-04 03:34:45
4楼2010-12-06 09:28:05
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+3):辛苦了！ 2010-12-12 20:56:09
盏盏(金币+1):谢谢 很专业 2010-12-13 05:09:40
zyj8119(金币+10):谢谢。 2010-12-15 12:39:30
余泽成(金币+3):辛苦了！ 2010-12-12 20:56:09
盏盏(金币+1):谢谢 很专业 2010-12-13 05:09:40
zyj8119(金币+10):谢谢。 2010-12-15 12:39:30
|
上千万条可以： 1、不一次性读入内存， 每次读一部分，统计，释放内存（或者覆盖），读入下一部分。 2、如果统计得比较简单，比如求数据的出现频率，平均值，方差，标准差什么的，可以考虑使用数据库，比如MySQL,Oracle,SQL Server,然后使用SQL语句进行统计 3、尝试使用专业的统计工具：SAS, SPSS等。 |
5楼2010-12-09 19:17:17
6楼2010-12-11 23:25:05
7楼2010-12-12 21:44:57
8楼2010-12-12 22:08:30
9楼2010-12-13 09:31:29
★ ★ ★ ★ ★ ★
余泽成(金币+1):鼓励讨论交流！ 2010-12-13 21:54:44
zyj8119(金币+5):分析的不错。 2010-12-15 12:39:48
余泽成(金币+1):鼓励讨论交流！ 2010-12-13 21:54:44
zyj8119(金币+5):分析的不错。 2010-12-15 12:39:48
|
各种语言的使用范围是不一样的，awk 做简单的数据统计速度是非常快的，当然 perl 和 python 的功能要强大不少。有人做过一个简单的测试，awk 比 perl 要快不少（当然 python 比 perl 还慢些就不说了）： http://dbablog.journalspace.com/?p=233 |
10楼2010-12-13 16:37:44
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
余泽成(金币+2):谢谢参与应助，欢迎常来程序语言版！ 2010-12-13 21:55:24
zyj8119(金币+10, 程序强帖+1):很好的分析。 2010-12-15 12:40:10
余泽成(金币+2):谢谢参与应助，欢迎常来程序语言版！ 2010-12-13 21:55:24
zyj8119(金币+10, 程序强帖+1):很好的分析。 2010-12-15 12:40:10
|
[quote]Originally posted by holmescn at 2010-12-09 19:17:17: 上千万条可以： 1、不一次性读入内存， 每次读一部分，统计，释放内存（或者覆盖），读入下一部分。 2、如果统计得比较简单，比如求数据的出现频率，平均值，方差，标准差什么的，可以考虑使用数据库，比如MySQ ... 、尝试使用专业的统计工具：SAS, SPSS等.......[/quote] 如楼上所说，建议使用专业的统计学软件进行分析，SAS，SPSS，Minitab等等，matlab毕竟不是专门做统计学的分析，做其他的数学分析运算还可以。 如果非得要编程序做统计分析，而且数据量很大，还是用编译之后生成的二进制程序速度比较快，比如用C、C++编写程序，统计数据单独存储在其他文档中。 [ Last edited by linyujack on 2010-12-13 at 21:51 ] |
11楼2010-12-13 21:45:55
