项目描述
将一千万条数据，大约500M的文本文档的数据导入到数据库
分析:通过Java的IO流解析txt文本文档，拼接动态sql实现insert入库，可以实现，缺点如下
第一:IO流解析大文本文件对机器性能要求较高，测试大约消耗2G左右的内存
第二:拼接sql语句insert一千万条数据大约需要2小时时间，长时间insert会锁表，如果是核心业务表，例如订单表，会造成大量用户无法下单，影响数据库的性能
第三:这种操作可扩展性不强，每次只能针对指定的表，指定的列操作
针对以上缺点，现在通过接口调用数据库系统命令实现，通过可视化界面，选择要导入的表，要导入那些字段，上传指定的txt文本，会自动生成对应的模板文件，实现大批量数据高效率的导入到数据库，通过可配置化即可实现，相对前一种思路扩展性较强，
运行环境
jdk7+tomcat7+oracle+Eclipse+maven
项目技术(必填)
springboot+SqlLoader
本文链接：https://my.lmcjl.com/post/6380.html
展开阅读全文
4 评论