Skip to content

跳过极冷数据

插件名称: plug_sublibrary_filter

注:(正常过滤插件为在其他插件执行前执行,如需在本条数据分析完后执行,插件名改为 plug_sublibrary_filter_later) 插件作用:从 trs 文件中过滤极冷数据

任务串示例

配置示例
text
:数据处理:任务="plug_sublibrary_filter",参数列表="IR_URLTIME+month+7+false";

任务串解释

任务="plug_sublibrary_filter" :

  1. 任务插件固定名称:plug_sublibrary_filter 参数列表="IR_URLTIME+month+7+false" :
  2. 多个参数之间使用加号 + 分割
  3. 第 1 个参数 "IR_URLTIME" 表示按照该字段值进行过滤
  4. 第 2 个参数 "month" 表示当输入字段 hybase 分区字段为 month。
  5. 🎈"year" 表示当分库表达式为 date 时分库颗粒度为 year。
  6. 🎈"day" 表示当分库表达式为 date 时分库颗粒度为 day。
  7. 🎈"hour" 表示当分库表达式为 date 时分库颗粒度为 hour。
  8. 第 3 个参数 "7" 表示历史子库保留数,默认为 7
  9. 第 4 个参数 "false" 表示日期超过当前日期的数据是否保留,仅当参数值为 false 时不保留

数据业务研发中心