文档中心

主题

海贝数据导出为TRS文件任务 ​

任务名称：exportJobHandler ​

任务作用：根据海贝条件导出海贝数据为 trs 文件

一次性导出数据 ​

配置示例
text
readPath=/yqfk/cjdata/daochu
hybaseDbId=87
conds=(SY_INFOTYPE:1 AND IR_SITENAME:(新华社客户端 OR 今日头条客户端 OR 杭州之家客户端) AND IR_URLTIME:\["2022/03/01 00:00:00" TO "2022/03/03 23:59:59"\])

任务串解释 ​

  • readPath：必填 文件导出路径，当有多个导出路径时，多个之间英文分号【;】分隔
  • hybaseDbId：要读取的海贝库配置id，默认获取xxl配置文件中的海贝库
  • conds：必填 数据导出条件

持续导出数据-任务串示例 ​

配置示例
text
readPath=E:\ANALYZE\rank\ywt\app_push
hybaseDbId=1
conds=(SY_CEXTAG6:"数家APP_PUSH")
condsTime=2d
isKeepEpt=true
interceptPath=E:\ANALYZE\rank\ywt\app_push

任务串解释 ​

  • readPath：必填 文件导出路径，当有多个导出路径时，多个之间英文分号【;】分隔
  • hybaseDbId：要读取的海贝库配置id，默认获取xxl配置文件中的海贝库
  • conds： 必填 数据导出条件
  • condsTime：海贝表达式时间条件 示例：10min（近10分钟），1h（近1小时），1d（近1天），1m（近1月），today（今天），week（本周），month（本月），season（本季）
  • isKeepEpt：导出任务完成后，是否继续保持检索导出，默认为false。为true时适用于条件范围内有新数据进入
  • interceptPath：文件检查目录，当持续导出时必填，当有多个导出路径时，多个之间英文分号【;】分隔。当导出状态为已完成，且设置持续导出，但目录中仍有未完成处理文件，则本次持续导出跳过， 即interceptPath指定目录下存在文件时，不会导出数据，所以下次执行任务前要将该目录下清空

其他参数 ​

  • fileEncode：文件读写编码，文件编码 默认trs格式 GB18030

  • maxdelFile：每个线程每次处理最大文件数，默认值200。达到最大处理文件数时，当前线程结束执行

  • eptFields：导出字段 多个字段分号分割 示例：RID;IR_URLTIME;IR_URLTITLE

  • eptFieldMaping：导出字段映射，默认为"OmDataBean.full"，可选值："OmDataBean.stat","OmDataBean.comment","OmDataBean.full","OmDataBean.yybMark"

    注意： 不同项目大库的字段略有不同，当导出文件的字段有缺失或和需要字段不一致时，建议配置eptFields参数 同时配置eptFields参数和eptFieldMaping参数时，eptFields参数优先生效

  • dateType：任务处理的时间类型 默认：IR_URLTIME

  • dateType：任务处理的时间类型 默认：IR_URLTIME

  • fileSkipNum：当readPath目录下文件个数达到指定数目时，跳过本次任务执行，默认值为500

  • eptFileDataNum：数据导出时每个文件中数据量，默认2000

  • eptMaxFileNum：每次导出最大文件数量，默认200。

数据业务研发中心