java百万千万级别excel导出问题(导出慢和Out Of Memory内存溢出)

目录

业务场景

原因分析

解决思路

优化后效果

实现代码DEMO

业务场景

由于很多业务需要导出数据库里的数据，一般我们导出的数据都是要给业务部门看的，他们也会拿到做一些数据统计，所以一般都是给他们导出Excel格式的数据文件，但是当我导出五十万条数据时遇到了两个问题：

导出时一般使用POI工具包，这时很容易导致内存溢出

导出时间很慢，很容易导致超时

下面是直接导出时内存占用.

原因分析

由于Java对象是封装型对象，所以内存中对象大小是实际数据的好几倍，所以50W条的数据，最少要有50W个对象，再加上我们可能使用map对象或者JsonObject对其进行一些数据操作，所以内存中保守会有100W个对象，可能要占用至少2G的内存大小。

POI工具为了加快速度，采用把文件全部读到内存中的形式操作文件，这导致如果要操作一个500M的Excel文件将至少占用500M的内存。

这导致内存维持在一个很高的水平

解决思路

1.减少内存中存在的封装类型对象个数

第一，这个我们可以使用分页查询的形式进行查询；

第二我们尽量使用String和int类型存储数据

2.替换POI操作文件形式，使用文件流形式写数据，但是Excel是有严格格式的文件，直接采用文本形式写入流根本无法用Excel形式打开，这时候我们想到了一个文件格式，那就是 csv格式的文件，本质上是文本格式，但是可以用Excel形式打开，并保存为Excel格式。于是我们测试了一下

优化后效果

当每次查询1000条，每次查出来这1000条往文件写一次，查询1000次时内存变化如下：

可以看出内存最多占用350M，不会再往上增加，但是分页次数太多，所以整体时间太长

当每次查询50000条，每一条写一次时内存变化如下：

可以看到内存涨到800M时就不会再增加了，我们可以适当的调整每页的大小，直到我们能够接受的内存大小和总体时间就可以了。

另外写入文件和数据库查询是IO操作，耗时的操作，所以我们也可以通过判断，在适合的时机查询和写入，适当的减少写入次数来提升整体速度。平衡时间和内存的使用，一般时间使用短了，内存使用就会变大。

实现代码DEMO
@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration({"classpath:cn/xdf/wlyyb/spring-context.xml"})
public class TestExportLog {




  @Autowired
  private CheckInOutDaoTest checkInOutDaoTest;
  @Test
  public void export() throws IOException {
    long startTime = System.currentTimeMillis();
    File file = new File("e:/log.csv");
    if (!file.exists()) {
      file.createNewFile();
    }else {
      file.delete();
      file.createNewFile();
    }
    //声明文件流
    FileWriterWithEncoding writer = new FileWriterWithEncoding(file, "gbk");
    StringBuffer content = new StringBuffer();
    for (int i = 1; i < 1000; i++) {
      PageUntil page = new PageUntil();
      //通过页大小调整查询次数
      page.setPageSize(100000);
      page.setPageNum(i);
      List  logList = checkInOutDaoTest.getListByPage( page);
      for (int j = 0; j < loglist.size j checkinout logs='logList.get(j);' content.appendlogs.getcheckdatelogs.getchecktimelogs.getcreat_timelogs.getsn logs.getuidlogs.getusercodelogs.getmachineidlogs.getsensorid\r\n if content.length> 3*1024*1024) {
          //追加文本内容
          writer.write(content.toString());
          content = new StringBuffer();
        }


      }
//      System.out.println("第"+i+"页"+content);
      System.out.println("第"+i+"页");
      if (StringUtils.isBlank(content)) {
        break;
      }
    }
    追加文本内容
    writer.write(content.toString());




    //关闭流
    writer.close();




    System.out.println("用时:"+(System.currentTimeMillis()-startTime));
  }
}