Skip to content

下载指定字段中的图片

插件名称: plug_replace_pic

插件作用:分析指定目录下的 trs 文件,可设置多个过滤参数(例如 IR_SITENAME=百度贴吧),对应参数的数据下载正文中的图片到指定路径,并将正文图片地址替换为保存的图片名称

任务串示例

text
picServerId=33
:数据处理:输入字段="IR_URLTIME",任务="plug_replace_pic",参数列表="D:\trs\军号\image+\img\1",过滤参数="IR_SITENAME=百度贴吧+IR_CHANNEL=新闻中心";

任务串解释

  • picServerld:在 om-job 配置管理中配置这个 id(图片下载服务的地址),配置管理中填写配置地址示例:"127.0.0.1:8087;127.0.0.1:8086"。不同服务地址之间以分号分割
  • :数据处理:输入字段="IR_URLTIME" :
    1. 每一组任务串都应以 :数据处理: 开头,末尾以 ; 英文分号结尾。
    2. 指定要分析的字段
  • 任务="plug_replace_pic" :
    1. 任务插件固定名称:plug_replace_pic
  • 参数列表="D:\trs\军号\image+\img\1" :
    1. 第一个参数是图片本地保存地址
    2. 第二个参数是图片访问前缀
    3. 这两个参数必填,参数填写顺序不可修改,参数之间以+号分割
  • 过滤参数="IR_SITENAME=百度贴吧+IR_CHANNEL=新闻中心" :
    1. 筛选符合过滤参数条件的数据进行分析,满足过滤参数条件进行分析,不满足不分析
    2. 多个参数之间通过+分割
    3. 如果不配置过滤参数则全部数据都进行分析

数据业务研发中心