文档中心

主题

海贝数据导出为TRS文件或海贝库（新） ​

任务名称：exportToTrsJobHandler ​

任务作用：根据条件导出海贝数据到trs文件或者点对点导出到其他海贝库

导出到 TRS 文件 ​

配置示例
text
eptFields=RID;SID;LOADTIME;IR_URLTIME
conds=((IR_URLTIME:["2022/05/01 00:00:00" TO "2022/05/31 23:59:59"]))
:数据来源:地址="127.0.0.1",端口="5555",用户名="admin",口令="trsadmin",库名="trsom_maindb_common",增量更新记录字段="RID",下载记录数="50";
:数据存储:类型="文件",文件地址="D:\data\common";

任务串解释 ​

  • conds：必填 数据导出条件（海贝检索条件）
  • eptFields：导出字段：多个字段分号分割，如果不填写该字段默认导出全部字段
  • :数据来源: 数据来源这一行应以 :数据处理: 开头，末尾以 ; 英文分号结尾
    • 地址、端口、用户名、口令（密码）、库名，源海贝库的配置字段，均为必填字段。
    • 增量更新记录字段：按照指定字段排序导出。必填
    • 下载记录数：指定单个文件的接收的最大数据量。 默认是2000
  • :数据存储: 数据存储这一行应以 :数据存储: 开头，末尾以 ; 英文分号结尾
    • 类型：文件，,指定导出到trs文件。必填（当导出到文件时填写"文件"，导出到hybase时填写"hybase"）
    • 文件地址：指定文件导出后存储地址。必填（文件地址是必填的，不论导出到hybase还是导出到文件）

导出到 Hybase ​

配置示例
text
conds=((IR_URLTIME:["2021/05/01 00:00:00" TO "2023/05/31 23:59:59"]))
:数据来源:地址="127.0.0.1",端口="5555",用户名="admin",口令="trsadmin",库名="trsom_maindb_common",增量更新记录字段="LOADTIME",下载记录数="500";
:数据存储:类型="hybase",文件地址="D:\data\common",地址="127.0.0.1",端口="5555",用户名="admin",口令="trsadmin",库名="trsom_maindb_common_ywt";

任务串解释 ​

  • eptFields：导出字段：多个字段分号分割，如果不填写该字段默认导出全部字段。向hybase导入数据时，表中不能为空的字段必须填写，否则导入失败
  • :数据存储: 数据存储这一行应以 :数据存储: 开头，末尾以 ; 英文分号结尾
    • 类型：hybase,指定导出到 hybase。必填
    • 文件地址：指定文件导出后存储地址。必填
    • 地址、端口、用户名、口令（密码）、库名，目的海贝库的配置字段，均为必填字段。
  • conds 和 :数据来源: 两个字段与导出到 TRS 文件配置相同

其他字段 ​

  • fileSkipNum：当文件导出目录下文件个数达到指定数目时，跳过本次任务执行，默认值为500
  • eptMaxFileNum：每次导出最大文件数量，默认200。
  • maxdelFile：每个线程每次处理最大文件数，默认值200。达到最大处理文件数时，当前线程结束执行

注意

点对点导出时，会生成临时文件保存到指定的文件目录，当导出完毕或暂停会将临时文件全部删除
也可以配置其他任务组件，做数据分析
当点对点导出使用eptFields时，若有非空字段未被设置，不能导出文件

数据业务研发中心