当前位置:首页 > 下载频道 > Excel > Excel > 正文

「开源」阿里出品,可避免OOM的java处理Excel工具包

     IT技术圈  2019-05-31 08:01:00
【导读】前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然POI是目前使用最多的用来做ex...

前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大

今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。

easyExcel解决了什么问题?

Excel读写时候内存溢出

虽然POI是目前使用最多的用来做excel解析的框架,但这个框架并不那么完美。大部分使用POI都是使用他的userModel模式。userModel的好处是上手容易使用简单,随便拷贝个代码跑一下,剩下就是写业务转换了,虽然转换也要写上百行代码,相对比较好理解。然而userModel模式最大的问题是在于非常大的内存消耗,一个几兆的文件解析要用掉上百兆的内存。现在很多应用采用这种模式,之所以还正常在跑一定是并发不大,并发上来后一定会OOM或者频繁的full gc。

其他开源框架使用复杂

对POI有过深入了解的估计才知道原来POI还有SAX模式。但SAX模式相对比较复杂,excel有03和07两种版本,两个版本数据存储方式截然不同,sax解析方式也各不一样。想要了解清楚这两种解析方式,才去写代码测试,估计两天时间是需要的。再加上即使解析完,要转换到自己业务模型还要很多繁琐的代码。总体下来感觉至少需要三天,由于代码复杂,后续维护成本巨大。

其他开源框架存在一些BUG修复不及时

由于我们的系统大多数都是大并发的情况下运行的,在大并发情况下,我们会发现poi存在一些bug,如果让POI团队修复估计遥遥无期了。所以我们在easyexcel对这些bug做了规避。

Excel格式分析格式分析

  • xls是Microsoft Excel2007前excel的文件存储格式,实现原理是基于微软的ole db是微软com组件的一种实现,本质上也是一个微型数据库,由于微软的东西很多不开源,另外也已经被淘汰,了解它的细节意义不大,底层的编程都是基于微软的com组件去开发的。
  • xlsx是Microsoft Excel2007后excel的文件存储格式,实现是基于openXml和zip技术。这种存储简单,安全传输方便,同时处理数据也变的简单。
  • csv 我们可以理解为纯文本文件,可以被excel打开。他的格式非常简单,解析起来和解析文本文件一样。

核心原理

写有大量数据的xlsx文件时,POI为我们提供了SXSSFWorkBook类来处理,这个类的处理机制是当内存中的数据条数达到一个极限数量的时候就flush这部分数据,再依次处理余下的数据,这个在大多数场景能够满足需求。 读有大量数据的文件时,使用WorkBook处理就不行了,因为POI对文件是先将文件中的cell读入内存,生成一个树的结构(针对Excel中的每个sheet,使用TreeMap存储sheet中的行)。如果数据量比较大,则同样会产生java.lang.OutOfMemoryError: Java heap space错误。POI官方推荐使用“XSSF and SAX(event API)”方式来解决。 分析清楚POI后要解决OOM有3个关键。

1、文件解压文件读取通过文件形式

2、避免将全部全部数据一次加载到内存

采用sax模式一行一行解析,并将一行的解析结果以观察者的模式通知处理。

3、抛弃不重要的数据

Excel解析时候会包含样式,字体,宽度等数据,但这些数据是我们不关系的,如果将这部分数据抛弃可以大大降低内存使用。Excel中数据如下Style占了相当大的空间。

开源地址:

https://github.com/alibaba/easyexcel?utm_source=gold_browser_extension

更多有关Excel

  • excel高手常用的四个excel公式

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2018-06-03 08:41:12
  • 10个超实用Excel透视表教程,收藏学习!

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2017-03-21 09:32:15
  • 如何按时间段统计工作量?用EXCEL数据透视表呗,快速又方便

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2019-09-21 11:01:15
  • 十个Excel小技巧,专治各种不服

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2018-09-15 09:38:06
  • 如何按时间段统计工作量?用EXCEL数据透视表呗,快速又方便

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2019-09-21 11:01:15
  • 10个超实用Excel透视表教程,收藏学习!

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2017-03-21 09:32:15
  • excel高手常用的四个excel公式

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2018-06-03 08:41:12
  • excel高手常用的四个excel公式

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2018-06-03 08:41:12
  • 65个excel操作教程大全,新手很容易上手,建议收藏备用

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2019-09-17 05:15:55
  • excel高手常用的四个excel公式

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2018-06-03 08:41:12
  • 十个Excel小技巧,专治各种不服

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2018-09-15 09:38:06
  • 如何按时间段统计工作量?用EXCEL数据透视表呗,快速又方便

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2019-09-21 11:01:15
  • 如何按时间段统计工作量?用EXCEL数据透视表呗,快速又方便

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2019-09-21 11:01:15
  • 10个超实用Excel透视表教程,收藏学习!

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2017-03-21 09:32:15
  • 7个Excel求和技巧 总有几个你不会的

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2019-06-05 08:19:22
  • 系统地学习Excel第01课,Excel概述

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2019-06-05 09:26:08
  • Excel分两栏打印,你还在一个个的复制粘贴么,2个方法快速解决

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2019-06-03 01:58:03
  • Excel函数排名你多少,3个函数教你高效完成单条件、多条件排名

    前两天发了一个用户操作excel的库,「开源」操作Excel的工具包,功能强大今天再推荐一个,来自阿里巴巴的,easyExcel。大厂出品,质量应该更有保障吧。easyExcel解决了什么问题?Excel读写时候内存溢出虽然P
    2019-06-05 09:32:39
免责申明:本栏目所发资料信息部分来自网络,仅供大家学习、交流。我们尊重原创作者和单位,支持正版。若本文侵犯了您的权益,请直接点击提交联系我们,立刻删除!
 
相关推荐
 
图文热点
 

 
 
 
联系方式 | 使用协议 | 版权隐私 | 辽ICP备11016505号-2