Skip to content

数据加载入库 覆盖更新

任务名称:loadJobHandler

任务作用:trs文件加载入库|覆盖更新

数据加载入库-任务串示例

配置示例
text
readPath=/home/data/weixin_ret
skipError=false
overrideUniq=true
hybaseDbId=1

任务串解释

  • readPath:必填 文件读取路径
  • hybaseDbId:必填 要读取的海贝库配置id,默认获取xxl配置文件中的海贝库
  • skipError: 是否跳过错误的记录,默认不跳过,错误记录指的是记录自身有问题,例如数值字段的值为文本,日期字段的值格式不正确等
  • overrideUniq: 当设置了唯一值字段时,碰到相同的唯一值,是否进行覆盖,默认不覆盖

覆盖更新-任务串示例

配置示例
text
readPath=/home/data/gn_news_num
loadType=2
hybaseDbId=1

任务串解释

  • readPath:必填 文件读取路径
  • hybaseDbId:必填 要读取的海贝库配置id,默认获取xxl配置文件中的海贝库
  • loadType:装库类型 ,默认为1
    1. loadRecords从文件进行装库操作
    2. executeUpdate根据TRS文件更新数据库里指定的记录(代码中指定了SID为唯一值字段)

其他参数

  • corePoolSize:核心线程池大小,默认为3,可根据实际情况调整大小
  • maximumPoolSize:最大线程数,默认为5
  • fileEncode:文件读写编码,文件编码 默认trs格式 GB18030
  • maxdelFile:每个线程每次处理最大文件数,默认值200。达到最大处理文件数时,当前线程结束执行
  • keepPath:
    1. 文件保留路径,多个路径使用英文分号 ; 分隔;
    2. 当此路径不为空时,入库完毕的源数据将挪到此目录下(如有ok文件,一并移动);
    3. 此路径为空时,入库完的数据将作常规删除
  • isBakFile:是否备份文件,默认备份,默认路径为当前文件所在父级同级todbbak下,指定bakPath参数时,备份至bakPath路径下
  • isDeleteErrorFile:是否删除入库异常的文件,默认是true(删除),false(不删除),注意的是如果配置了isBakFile=true,此参数无效。
  • bakPath:文件备份路径(发生异常或者入库失败时保留的路径)

数据业务研发中心