文档中心

Skip to content

Main Navigation 首页

任务组件说明

Crontab 定时重启服务

Git仓库更换

om5产品系统架构说明

om7开发记录

OM5环境搭建

OM6环境搭建

Java开发手册

主题

Sidebar Navigation

任务配置

通用分析任务

数据加载入库覆盖更新

文件传输任务至指定服务器

海贝数据预警任务配置

数据评论数数更新任务

TRS数据库文件转换

Hybase数据转为Json文件

删除文件目录

Zip解压为TRS入库

Mysql

TRS文件导入Mysql数据库

MySQL数据存入Redis

Mysql表数据转TRS文件

Mysql表数据同步

数据导出

海贝数据导出为TRS文件或海贝库（新）

海贝数据导出为TRS文件任务

数据更新任务数据导出至另一个库

功能性

历史数据与未来数据过滤

定时清理xxl_job_log表数据

手动垃圾回收

清理任务

项目定制

新华财经-数家评论采集任务配置

新华财经-APP数据获取

鄂尔多斯-12345分析任务

国网-导入数据到ai向量库

任务组件说明

RID自增主键生成

关键词摘要抽取

主题词抽取

规则分类打标

MD5生成

相似文章转载

媒体分级

媒体分级-通用

URL格式化处理

字符个数统计

时间格式化处理

通用字段映射

字段映射-数字类型

信息类型映射

SID唯一值生成

文本内容html过滤

标准md5串生成

正负面抽取

文件移动-复制-删除

微博内容抽取

观点抽取

微博账号详情关联

hkey生成

保留记录指定字段

指定字段全空过滤

重复数据过滤

跳过极冷数据

内容截取删除

跳过满足条件记录

跳过指定时间的记录

image标签图片下载与替换

文件下载

文件下载数家

翻译指定字段

提取TRS文件正文字段中的图片链接

识别指定字段语种

下载微博账号信息插件

UUID生成

繁体转简体插件

字段合并

Crontab 定时重启服务

页面导航

最后更新于:

Pager

上一页繁体转简体插件

下一页Crontab 定时重启服务

数据业务研发中心