文档中心

主题

数据加载入库 覆盖更新 ​

任务名称：loadJobHandler ​

任务作用：trs文件加载入库|覆盖更新

数据加载入库-任务串示例 ​

配置示例
text
readPath=/home/data/weixin_ret
skipError=false
overrideUniq=true
hybaseDbId=1

任务串解释 ​

  • readPath：必填 文件读取路径
  • hybaseDbId：必填 要读取的海贝库配置id，默认获取xxl配置文件中的海贝库
  • skipError： 是否跳过错误的记录，默认不跳过，错误记录指的是记录自身有问题，例如数值字段的值为文本，日期字段的值格式不正确等
  • overrideUniq： 当设置了唯一值字段时，碰到相同的唯一值，是否进行覆盖，默认不覆盖

覆盖更新-任务串示例 ​

配置示例
text
readPath=/home/data/gn_news_num
loadType=2
hybaseDbId=1

任务串解释 ​

  • readPath：必填 文件读取路径
  • hybaseDbId：必填 要读取的海贝库配置id，默认获取xxl配置文件中的海贝库
  • loadType：装库类型 ，默认为1
    1. loadRecords从文件进行装库操作
    2. executeUpdate根据TRS文件更新数据库里指定的记录（代码中指定了SID为唯一值字段）

其他参数 ​

  • corePoolSize：核心线程池大小，默认为3，可根据实际情况调整大小
  • maximumPoolSize：最大线程数，默认为5
  • fileEncode：文件读写编码，文件编码 默认trs格式 GB18030
  • maxdelFile：每个线程每次处理最大文件数，默认值200。达到最大处理文件数时，当前线程结束执行
  • keepPath：
    1. 文件保留路径，多个路径使用英文分号 ; 分隔；
    2. 当此路径不为空时，入库完毕的源数据将挪到此目录下(如有ok文件，一并移动)；
    3. 此路径为空时，入库完的数据将作常规删除
  • isBakFile：是否备份文件，默认备份，默认路径为当前文件所在父级同级todbbak下，指定bakPath参数时，备份至bakPath路径下
  • isDeleteErrorFile：是否删除入库异常的文件，默认是true（删除），false（不删除），注意的是如果配置了isBakFile=true，此参数无效。
  • bakPath：文件备份路径(发生异常或者入库失败时保留的路径)

数据业务研发中心