博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python处理大文件——文件流处理
阅读量:5350 次
发布时间:2019-06-15

本文共 277 字,大约阅读时间需要 1 分钟。

最近处理一份1000G+的大文件,直接loading进内存不可能,只能分片读取。文件介绍如下:

该文件是一份压缩的比对后文件(sam文件),该文件由很多细小的结构单元组成,一个结构如下:

两种方法:

1、用open([buffer])的方法;

2、根据文件内容的结构快读取;

由于该文件有自己的结构,如果直接用open的buffer的方法,很粗暴地根据一次性读取一定大小的文件内容的方法,容易把文件读碎了。

根据文件的结构特点,用流的方法读取处理。编码如下:

 

转载于:https://www.cnblogs.com/zdwu/p/7827469.html

你可能感兴趣的文章
Spring中@相关注解的意义
查看>>
redis事务
查看>>
Redis入门教程(一)
查看>>
举例说明数据结构在网络技术领域和实际生活中的应用
查看>>
SVG.坐标转换_使用CSS
查看>>
广州菁宏信息科技有限公司团队
查看>>
拾遗:~/.zshrc 配置
查看>>
放假第六周
查看>>
解决oracle 中文入库是乱码的问题
查看>>
好听的昵称
查看>>
HashMap就是这么简单【源码剖析】
查看>>
伽玛分布
查看>>
hibernate.hbm2ddl.auto配置详解
查看>>
HTML5QQ登录cav demo
查看>>
ASP.NET MVC学习之母版页和自定义控件的使用
查看>>
交互式学习资源
查看>>
16位汇编第九讲汇编指令以及逆向中的花指令
查看>>
【Win10 应用开发】集成语音命令
查看>>
SPI 方式初始化 SD 卡总流程图(V2.0)
查看>>
杭电 2854Central Meridian Number 完全不懂的数论
查看>>