应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » MATLAB/Mathematica » 倾尽所有积分，求如何截取一个6G大的文件中指定行并生成新的文件
81/1返回列表
查看: 903  |  回复: 7
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

liusinuo

木虫 (小有名气)

[求助] 倾尽所有积分，求如何截取一个6G大的文件中指定行并生成新的文件 已有3人参与

各位大神，我现在有个6G大的文件，里面共五百多万行，以大括号分行，见下，最后两行其实为一行，因为都在一个大括号里
{(23,23,3),(4,34,54),(23,343,43),(23,23,54)}
{(23,23,3),(4,34,54),(23,343,43),(23,23,54)}
{(23,23,3),(4,34,54),(23,343,43),(23,23,54),(454,56),(3,456,78),
(34,34,45),(45,54,676),(23,45,45)}
我现在想用ultraedit按行截取该文件，并生成几个新的文件，请大神帮忙！或者用其他工具和编程方法也行，比如matlab、Python等、、、跪谢！！
回复此楼

» 猜你喜欢
1楼 2014-08-30 10:25:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

cooooldog

铁杆木虫 (著名写手)

ส็็็
你6G文件什么格式? 推测是txt格式??

选取的行有什么特征?区别于其它行?
赞一下 回复此楼
ส็็็็็็็็็็็็็็็็็็็็
2楼2014-08-30 10:37:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

NicoleLas

木虫 (正式写手)
还没有用UltraEdit打开过这么大的文件呢..............我也不是很熟悉。
赞一下 回复此楼
Be water, my friend.
3楼2014-08-30 10:45:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

liusinuo

木虫 (小有名气)
引用回帖:
2楼: Originally posted by cooooldog at 2014-08-30 10:37:54
你6G文件什么格式? 推测是txt格式??

选取的行有什么特征?区别于其它行?

是PKL格式的，行没有特征，只是行与行之间是用大括号{}分开的~~
赞一下 回复此楼
4楼2014-08-30 11:52:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hytao2012

铁杆木虫 (正式写手)

木头虫子

【答案】应助回帖

感谢参与，应助指数 +1
对读取数据不是太熟，大致是这样的
% 读取的数据存储到data里
clear; clc;
readrows=2; % 读取行数
startrow=3; % 起始读取位置
FileName='123.pkl'; % 要读取的文件
fid=fopen(FileName, 'r');
data=textscan(fid,'%s',readrows,'headerlines',startrow-1); % 逐点读取数据
fclose(fid);
赞一下 回复此楼
5楼2014-08-30 21:08:23
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

z8261337

新虫 (初入文坛)

【答案】应助回帖

感谢参与，应助指数 +1
按行读取的话，可以这样，开一个线程，每次读取固定大小的文件，比如512k,读进来后就放到一个文件块列表里，列表大小固定，每个文件块编个序号。
然后，开多线程，对列表里的文件块进行处理，查找{}找出一行一行的数据，遇到结尾的半行数据就和
比当前文件块编号大1的文件块首行合并。

[ 发自手机版 http://muchong.com/3g ]
赞一下 回复此楼
6楼2014-08-31 10:54:14
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Eumenidez

新虫 (初入文坛)
能不能这样：
from numpy import *
a=load('***.pkl')
a[0]-a[n]就是你所有行的数据
再根据你的需求进行合并组成新的矩阵？
赞一下 回复此楼
7楼2014-12-08 21:41:00
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xwteamobj007

木虫 (著名写手)

【答案】应助回帖

自己用Fortran或者C写一个小程序读一下不就行了。
赞一下 回复此楼
8楼2015-02-09 08:50:20
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 liusinuo 的主题更新
81/1返回列表
普通表情 龙 兔 虎 猫
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 有没有仍没收到信息的 +6 德尚中行 2026-08-27 7/350 2026-08-30 12:53 by Bxndjjd
[找工作] 售SCI文章，我:8O5.5.1.O.54,科目齐全,可+急 +5 gy1nBQXYQJqL 2026-08-29 8/400 2026-08-30 12:14 by l0VvVHGBGRLv
[博后之家] 售SCI文章，我:8O5.5.1.O.54,科目齐全,可+急 +6 gy1nBQXYQJqL 2026-08-29 7/350 2026-08-30 12:13 by l0VvVHGBGRLv
[找工作] 售SCI一区T0P文章，我:8O.55.1.O.54,科目全,可伽急 +4 gy1nBQXYQJqL 2026-08-29 8/400 2026-08-30 12:03 by l0VvVHGBGRLv
[公派出国] 售SCI一区T0P文章，我:8.O.55.1.O54,科目全,可伽急 +5 gy1nBQXYQJqL 2026-08-29 8/400 2026-08-30 12:02 by l0VvVHGBGRLv
[找工作] 售SCI文章，我:8O5.5.1.O.54,科目齐全,可+急 +5 ASdOkHsho7FD 2026-08-28 9/450 2026-08-30 11:41 by l0VvVHGBGRLv
[博后之家] 售SCI文章，我:8O.5.5.1O.54,科目全,可十急 +8 ASdOkHsho7FD 2026-08-28 9/450 2026-08-30 11:40 by l0VvVHGBGRLv
[公派出国] 售SCI一区T0P文章，我:8.O.55.1.O.5.4,科目全,可+急 +5 ASdOkHsho7FD 2026-08-28 6/300 2026-08-30 11:18 by l0VvVHGBGRLv
[考博] 售SCI-T0P文章，我:8O.5.5.1.O.54,科目齐全,可+急 +3 ASdOkHsho7FD 2026-08-28 6/300 2026-08-30 11:10 by l0VvVHGBGRLv
[基金申请] 29号明天会评吗 +3 笨笨唐 2026-08-28 3/150 2026-08-30 09:29 by cww8181
[基金申请] 我就是申请一个面上项目而已，这评审意见是按照杰青的条件评的吧？ +6 gouxfjh 2026-08-28 11/550 2026-08-30 07:57 by gouxfjh
[考博] 售SCI一区T0P文章，我:8.O.55.1.O54,科目全,可伽急 +6 ASdOkHsho7FD 2026-08-28 10/500 2026-08-30 06:11 by ZPa0EcMwuECS
[论文投稿] 售SCI一区文章，我:8.O.551.O.5.4,科目全,可伽急 +4 ASdOkHsho7FD 2026-08-28 5/250 2026-08-30 01:03 by ZPa0EcMwuECS
[基金申请] 中青基了要发朋友圈吗？ +4 349506619 2026-08-28 4/200 2026-08-29 22:41 by alongwaytogo
[基金申请] 国自然面上复盘~欢迎讨论 (金币+15) +15 晴天加油 2026-08-26 16/800 2026-08-29 18:28 by symmetry
[基金申请] 国自然评审意见 +13 wangmingqi 2026-08-28 19/950 2026-08-29 10:22 by Poppy1104
[基金申请] 系统查不到 +11 董八千 2026-08-26 11/550 2026-08-28 18:06 by Leogzhya
[基金申请] 基金系统什么内容也没有 30+4 winsaint 2026-08-27 9/450 2026-08-28 11:06 by maolC
[基金申请] 怎么看青基中了没有啊 +5 叶九微 2026-08-26 5/250 2026-08-27 10:35 by l_zh2008
[基金申请] 某些机构，以效率低为荣，以效率低作为存在感 +9 yuleib84 2026-08-25 10/500 2026-08-25 17:14 by alexon
信息提示
关闭
请填处理意见
关闭