主题
跳过极冷数据
插件名称: plug_sublibrary_filter
注:(正常过滤插件为在其他插件执行前执行,如需在本条数据分析完后执行,插件名改为 plug_sublibrary_filter_later) 插件作用:从 trs 文件中过滤极冷数据
任务串示例
配置示例
text
:数据处理:任务="plug_sublibrary_filter",参数列表="IR_URLTIME+month+7+false";
任务串解释
任务="plug_sublibrary_filter" :
- 任务插件固定名称:plug_sublibrary_filter 参数列表="IR_URLTIME+month+7+false" :
- 多个参数之间使用加号 + 分割
- 第 1 个参数 "IR_URLTIME" 表示按照该字段值进行过滤
- 第 2 个参数 "month" 表示当输入字段 hybase 分区字段为 month。
- 🎈"year" 表示当分库表达式为 date 时分库颗粒度为 year。
- 🎈"day" 表示当分库表达式为 date 时分库颗粒度为 day。
- 🎈"hour" 表示当分库表达式为 date 时分库颗粒度为 hour。
- 第 3 个参数 "7" 表示历史子库保留数,默认为 7
- 第 4 个参数 "false" 表示日期超过当前日期的数据是否保留,仅当参数值为 false 时不保留