EasyExcel追加写入数据,分批查询多次写入场景下,注意使用方式【OOM警告】

使用.withTemplate(file) 将临时数据文件和真实数据文件合并的方式,在生产环境大批量数据下,完全不可取,有很高的内存溢出风险

伪代码

    public static void writeAppend(String fileName) {
        String filePath = "tempDir".concat(File.separator).concat(fileName);
        File file = new File(filePath);
        File tempFile = new File(filePath.concat(".tmp"));
        if (file.exists()){
            // 第二次按照原有格式,不需要表头,追加写入
            EasyExcel.write(file, TestData.class)
                    .needHead(false)
                    // 这里有重大问题(拿中转的数据去做模板)
                    .withTemplate(file) 
                    .file(tempFile)
                    .sheet()
                    .doWrite(getDataList());
        } else {
	        if (!file.getParentFile().exists()) {
	            file.getParentFile().mkdirs();
	        }
            // 第一次写入需要表头
            EasyExcel.write(file,TestData.class)
                    .sheet()
                    .doWrite(getDataList());
        }

        if (tempFile.exists()){
            file.delete();
            tempFile.renameTo(file);
        }
    }

开发过程验证时,产生内存溢出
在这里插入图片描述

内存正常的用法

EasyExcel重复多次写入

		// 方法1 如果写到同一个sheet
        String fileName = TestFileUtil.getPath() + "repeatedWrite" + System.currentTimeMillis() + ".xlsx";
        // 这里 需要指定写用哪个class去写
        ExcelWriter excelWriter = EasyExcel.write(fileName, DemoData.class).build();
        // 这里注意 如果同一个sheet只要创建一次
        WriteSheet writeSheet = EasyExcel.writerSheet("模板").build();
        // 去调用写入,这里我调用了五次,实际使用时根据数据库分页的总的页数来
        for (int i = 0; i < 5; i++) {
            // 分页去数据库或者其他服务查询数据,推荐主键范围加limit查询
            List<DemoData> dataList = getDataList();
            excelWriter.write(data, writeSheet);
            dataList = null;
        }
        // 千万别忘记finish 会帮忙关闭流
        excelWriter.finish();

相关推荐

  1. EasyExcel追加写入(新增POI、CSV)

    2024-04-13 10:04:02       33 阅读
  2. 使用Spark写入数据数据库

    2024-04-13 10:04:02       37 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-13 10:04:02       19 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-13 10:04:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-13 10:04:02       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-13 10:04:02       20 阅读

热门阅读

  1. div浮动后高度丧失问题

    2024-04-13 10:04:02       13 阅读
  2. 新型物联网创新实践教学体系建设

    2024-04-13 10:04:02       14 阅读
  3. HBase Shell命令

    2024-04-13 10:04:02       12 阅读
  4. Vivado Design Suite中的Routing优化

    2024-04-13 10:04:02       18 阅读
  5. 洛谷 P2863

    2024-04-13 10:04:02       18 阅读
  6. 虾基因组学:概念、历史、现状与展望

    2024-04-13 10:04:02       21 阅读
  7. PCB工艺规范及PCB设计安规原则

    2024-04-13 10:04:02       17 阅读