Java中excel文件解析总结以及超大文件读写的分析报告
ztj100 2024-11-05 13:27 38 浏览 0 评论
在系统与系统之间进行数据传递时,经常需要使用Excel文件来进行数据的导入或者导出。因此,在Java语言实现这类需求时,往往会面临着数据的导入(解析)或者导出(生成)。Java中可以用来处理Excel文件的主流技术主要包括Apache POI、JXL、Alibaba的easyExcel等。
APache POI 是用Java编写的免费开源的Java API ,Apache POI 提供对Microsoft Office格式进行读写功能的API。 POI是基于DOM方式进行解析的,它将文件数据一次性全部加载到内存中,速度会较快,一般比较适合数据量较小的应用场景。JXL技术只支持EXcel 2003以下的版本,现在基本用不到。
Alibaba的easyExcel采用逐行读取的解析方式,将每一行的解析结果以观察者的模式通知处理,在并发量很大的情况下,依然能稳定运行。
对于POI解析Excel文件,我们主要使用Workbook接口,Workbook接口代表一个Excel文件,它用于创建或者解析Excel文件,常见实现类有XSSFWorkbook、SXSSFWorkbook(读取大数据量文件)等。
1、创建Excel文件
public class Demo03 {
public static void main(String[] args) {
// 创建Excel文件对象
try (Workbook workbook = new XSSFWorkbook();
// 创建FileOutputStream输出流对象
FileOutputStream out = new FileOutputStream("C:\\user\\test.xlsx")) {
// 通过输出流进行写入
workbook.write(out);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
2、读取Excel文件
// 创建输入流对象
try (FileInputStream fis = new FileInputStream("C:\\user\\test.xlsx");
// 创建Excel文件对象并将输入流传给文件对象
Workbook workbook = new XSSFWorkbook(fis)) {
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
3、创建工作簿对象(Sheet 对象)
Sheet sheet1 = workbook.createSheet()
// 按照自定义名字创建
Sheet sheet2 = workbook.createSheet("工作表");
4、获取Sheet对象
// 根据工作簿下标获取工作簿
Sheet sheet1 = workbook.getSheetAt(0);
// 根据工作簿名称获取工作簿
Sheet sheet2 = workbook.getSheet("工作表");
5、获取工作簿数量
int n = workbook.getNumberOfSheets();
6、获取数据行
// 创建数据行
Row row = sheet.createRow(0));
// 获取首行下标
int start = sheet.getFirstRowNum();
// 获取尾行下标
int end = sheet.getLastRowNum();
// 根据下标获取指定行
Row row = sheet.getRow(0);
// 遍历所有行
for (Row row : sheet){
System.out.println(row);
}
// 遍历指定区域(根据i 控制)
for (int i = 0; i < sheet.getLastRowNum){
Row row = sheet.getRow(i);
System.out.println(row);
}
7、Cell单元格对象方法
// 创建单元格
Cell cell = row.createCell(0);
// 设置单元格
cell.setCellValue(UUID.randomUUID().toString());
// 根据下标获取单元格
Cell cell = row.getCell(1);
// 遍历所有单元格
for(Cell cell : row) {
}
// 获取单元格类型
CellType type = cell.getCellType();
// 设置单元格样式
// 创建单元格样式
DataFormat dataFormat = workbook.createDataFormat();
short formatCode = dataFormat.getFormat("yyyy-MM-dd HH:mm:ss");
CellStyle cellStyle = workbook.createCellStyle();
cellStyle.setDataFormat(formatCode);
// 对当前行设置单元格样式
cell.setCellStyle(cellStyle);
cell.setCellValue(new Date());
// 设置单元格对齐
// 创建单元格样式
CellStyle cellStyle = workbook.createCellStyle();
//设置单元格的水平对齐类型。 此时水平居中
cellStyle.setAlignment(HorizontalAlignment.CENTER);
// 设置单元格的垂直对齐类型。 此时垂直靠底边
cellStyle.setVerticalAlignment(VerticalAlignment.BOTTOM);
超大文件的读写分析(以写入为例):
Apache POI技术中Workbook的实现类SXSSFWorkbook VS Alibaba的easyExcel
SXSSFWorkbook:
使用SXSSFWorkbook进行写入,通过设置SXSSFWorkbook的构造参数,可以设置每次往内存中保持的行数,每当达到这个数字时,就会将内存中的数据flush到硬盘中,从而不会使内存出现溢出的情况。
下面是通过SXSSFWorkbook写入100w条数据源码
package com.apesource;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.text.SimpleDateFormat;
import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.Date;
import java.util.UUID;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.CellStyle;
import org.apache.poi.ss.usermodel.DataFormat;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
public class Demo10 {
public static void main(String[] args) {
// 大数据量的写入
try (Workbook workbook = new SXSSFWorkbook(100);
OutputStream out = new FileOutputStream("D:\\IOTest\\test100W.xlsx")) {
// 记录程序开始执行的时间
long startTime = System.currentTimeMillis();
// 创建一个工作簿
Sheet sheet = workbook.createSheet();
// 创建数据格式对象
DataFormat dataFormat = workbook.createDataFormat();
short dataCode = dataFormat.getFormat("yyyy年MM月dd日 HH:mm:ss");
// 创建日期格式对象
CellStyle dateCellStyle = workbook.createCellStyle();
dateCellStyle.setDataFormat(dataCode);
// 创建金额格式对象
CellStyle moneyCellStyle = workbook.createCellStyle();
moneyCellStyle.setDataFormat(dataFormat.getFormat("¥#,###"));
// 创建列头数据
Row row = sheet.createRow(0);
Cell cell0 = row.createCell(0);
cell0.setCellValue("订单编号");
Cell cell1 = row.createCell(1);
cell1.setCellValue("支付金额");
Cell cell2 = row.createCell(2);
cell2.setCellValue("创建日期");
// 创建数据行并输入数据
for (int i = 1; i < 1000000; i++) {
Row dataRow = sheet.createRow(i);
// 序号
Cell dataCell1 = dataRow.createCell(0);
String num = LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyyMMddhhmmss"))
+ UUID.randomUUID().toString().substring(0, 5);
dataCell1.setCellValue(num);
// 支付金额
Cell dataCell2 = dataRow.createCell(1);
dataCell2.setCellStyle(moneyCellStyle);
dataCell2.setCellValue((Math.random()*10000));
// 创建日期
Cell dataCell3 = dataRow.createCell(2);
dataCell3.setCellStyle(dateCellStyle);
dataCell3.setCellValue(new Date());
}
// 通过输出流向Excel文件中写入数据
workbook.write(out);
// 记录程序执行结束后的时间
long endTime = System.currentTimeMillis();
System.out.println("SXSSFWorkbook方式写入100万条数据所需时间为:" + (endTime - startTime) + "毫秒");
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
执行结束后可以看到SXSSFWorkbook执行时间为:
使用easyExcel前需要做一些准备:Alibaba easyExcel的相关jar包、实体类、Converter转换类(兼容LocalDateTime时间类),
首先,我们创建一个实体类UserEntity,其中@Excel注解表示导出文件的头部信息。
实体类:
package com.apesource.entity;
import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.UUID;
import com.alibaba.excel.annotation.ExcelProperty;
import com.alibaba.excel.annotation.format.NumberFormat;
import com.apesource.LocalDateTimeConverter;
public class Order {
@ExcelProperty("订单编号")
private String orderId; // 订单编号
@ExcelProperty("支付金额")
@NumberFormat("¥#,###")
private Double payment; // 支付金额
@ExcelProperty(value = "创建日期",converter = LocalDateTimeConverter.class)
private LocalDateTime creationTime; // 创建时间
public Order() {
this.orderId = LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyyMMddhhmmss"))
+ UUID.randomUUID().toString().substring(0, 5);
this.payment = Math.random() * 10000;
this.creationTime = LocalDateTime.now();
}
public String getOrderId() {
return orderId;
}
public void setOrderId(String orderId) {
this.orderId = orderId;
}
public Double getPayment() {
return payment;
}
public void setPayment(Double payment) {
this.payment = payment;
}
public LocalDateTime getCreationTime() {
return creationTime;
}
public void setCreationTime(LocalDateTime creationTime) {
this.creationTime = creationTime;
}
@Override
public String toString() {
return "Order [orderId=" + orderId + ", payment=" + payment + ", creationTime=" + creationTime + "]";
}
}
接着,我们来编写导出服务
package com.apesource;
import java.util.ArrayList;
import java.util.List;
import com.alibaba.excel.EasyExcel;
import com.apesource.entity.Order;
public class Demo01 {
public static void main(String[] args) {
// 程序开始执行的时间
long startTime = System.currentTimeMillis();
// 写入100w
EasyExcel.write("D:\\IOTest\\easy100W.xlsx", Order.class)
.sheet("订单列表")
.doWrite(data());
long endTime = System.currentTimeMillis();
System.out.println("easyExcel方式写入100万条数据所需时间为:" + (endTime - startTime) + "毫秒");
}
// 创建100w条订单数据
private static List<Order> data() {
List<Order> list = new ArrayList<Order>();
for (int i = 0; i < 1000000; i++) {
list.add(new Order());
}
return list;
}
}
转换类:
package com.apesource;
import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import com.alibaba.excel.converters.Converter;
import com.alibaba.excel.enums.CellDataTypeEnum;
import com.alibaba.excel.metadata.CellData;
import com.alibaba.excel.metadata.GlobalConfiguration;
import com.alibaba.excel.metadata.property.ExcelContentProperty;
public class LocalDateTimeConverter implements Converter<LocalDateTime> {
@Override
public Class<LocalDateTime> supportJavaTypeKey() {
return LocalDateTime.class;
}
@Override
public CellDataTypeEnum supportExcelTypeKey() {
return CellDataTypeEnum.STRING;
}
@Override
public LocalDateTime convertToJavaData(CellData cellData, ExcelContentProperty contentProperty,
GlobalConfiguration globalConfiguration) {
return LocalDateTime.parse(cellData.getStringValue(), DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"));
}
@Override
public CellData<String> convertToExcelData(LocalDateTime value, ExcelContentProperty contentProperty,
GlobalConfiguration globalConfiguration) {
return new CellData<>(value.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")));
}
}
最终结果为:
总结:
虽然两者读取大数据量在时间上所差无几,但是easyExcel的主要特点就是将更多重复的工作,全部简单化,避免编写重复的代码。easyExcel最大的亮点就是基于注解实体类来导出、导入excel,使用起来非常简单。
easyExcel基于sax(逐行扫描,边扫描,边解析)模式进行读写数据,不会出现oom情况,程序有过高并发场景的验证,因此程序运行比较稳定,相对于 SXSSFWorkbook来说,读写性能稍慢!
SXSSFWorkbook与 easyExcel还有一点区别在于,SXSSFWorkbook对定制化的导出支持非常的丰富,如果当前的项目需求,并发量不大、数据量也不大,但是需要导出 excel 的文件样式千差万别,那么我推荐你用 SXSSFWorkbook。反之,使用 easyExcel。
相关推荐
- 作为后端开发,你知道MyBatis有哪些隐藏的 “宝藏” 扩展点吗?
-
在互联网大厂后端开发领域,MyBatis作为一款主流的持久层框架,凭借其灵活的配置与强大的数据处理能力,广泛应用于各类项目之中。然而,随着业务场景日趋复杂、系统规模不断扩张,开发过程中常面临SQL...
- 基于Spring+SpringMVC+Mybatis分布式敏捷开发系统架构(附源码)
-
前言zheng项目不仅仅是一个开发架构,而是努力打造一套从前端模板-基础框架-分布式架构-开源项目-持续集成-自动化部署-系统监测-无缝升级的全方位J2EE企业级开发解...
- 基于Java实现,支持在线发布API接口读取数据库,有哪些工具?
-
基于java实现,不需要编辑就能发布api接口的,有哪些工具、平台?还能一键发布、快速授权和开放提供给第三方请求调用接口的解决方案。架构方案设计:以下是一些基于Java实现的无需编辑或只需少量编辑...
- Mybatis Plus框架学习指南-第三节内容
-
自动填充字段基本概念MyBatis-Plus提供了一个便捷的自动填充功能,用于在插入或更新数据时自动填充某些字段,如创建时间、更新时间等。原理...
- 被你误删了的代码,在 IntelliJ IDEA中怎么被恢复
-
在IntelliJIDEA中一不小心将你本地代码给覆盖了,这个时候,你ctrl+z无效的时候,是不是有点小激动?我今天在用插件mybatisgenerator自动生成mapper的时候,...
- 修改 mybatis-generator 中数据库类型和 Java 类型的映射关系
-
使用mybatis-generator发现数据库类型是tinyint(4),生成model时字段类型是Byte,使用的时候有点不便数据库的类型和Model中Java类型的关系...
- 又被问到了, java 面试题:反射的实现原理及用途?
-
一、反射的实现原理反射(Reflection)是Java在运行时动态获取类的元数据(如方法、字段、构造器等)并操作类对象的能力。其核心依赖于...
- Spring Boot 中JPA和MyBatis技术那个更好?
-
你在进行SpringBoot项目开发时,是不是也经常在选择JPA和MyBatis这两个持久化技术上犯难?面对众多前辈的经验之谈,却始终拿不准哪种技术才最适合自己的项目?别担心,今天咱们就...
- Spring Boot (七)MyBatis代码自动生成和辅助插件
-
一、简介1.1MyBatisGenerator介绍MyBatisGenerator是MyBatis官方出品的一款,用来自动生成MyBatis的mapper、dao、entity的框架,让...
- 解决MyBatis Generator自动生成.java.1文件
-
MyBatis框架操作数据库,一张表对应着一个实体类、一个Mapper接口文件、一个Mapper映射文件。一个工程项目通常最少也要几十张表,那工作量可想而知非常巨大的,MyBatis框架替我们想好了解...
- Linux yq 命令使用详解
-
简介yq是一个轻量级、可移植的命令行...
- Python学不会来打我(62) json数据操作汇总
-
很多小伙伴学了很久的python一直还是没有把数据类型之间的转换搞明白,上一篇文章我们详细分享了python的列表、元组、字典、集合之间的相互转换,这一篇文章我们来分享json数据相关的操作,虽然严格...
- 之前3W买的Python全系列教程完整版(懂中文就能学会)
-
今天给大家带来了干货,Python入门教程完整版,完整版啊!完整版!言归正传,小编该给大家介绍一下这套教程了,希望每个小伙伴都沉迷学习,无法自拔...
- x-cmd pkg | grex - 正则表达式生成利器,解决手动编写的烦恼
-
简介grex是一个旨在简化创作正则表达式的复杂且繁琐任务的库和命令行程序。这个项目最初是DevonGovett编写的JavaScript工具regexgen的Rust移植。但re...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 作为后端开发,你知道MyBatis有哪些隐藏的 “宝藏” 扩展点吗?
- 基于Spring+SpringMVC+Mybatis分布式敏捷开发系统架构(附源码)
- 基于Java实现,支持在线发布API接口读取数据库,有哪些工具?
- Mybatis Plus框架学习指南-第三节内容
- 被你误删了的代码,在 IntelliJ IDEA中怎么被恢复
- 修改 mybatis-generator 中数据库类型和 Java 类型的映射关系
- 又被问到了, java 面试题:反射的实现原理及用途?
- Spring Boot 中JPA和MyBatis技术那个更好?
- Spring Boot (七)MyBatis代码自动生成和辅助插件
- 解决MyBatis Generator自动生成.java.1文件
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)
- vmware17pro最新密钥 (34)
- mysql单表最大数据量 (35)