OGG目标队列抽取到flume传入kafka

作者简介:卢鹏,现任职于海天起点,从事国家电网数据库相关维护工作,曾就职于中国移动,从事数据模型数据治理等工作。擅长oracle数据库性能优化,数据治理,数据标准等。
以下是目标端的具体配置:

  • kafka配置,创建topic
  • flume配置并启动
  • 复制端的ogg的配置
  • 配置ogg复制进程并启动
  • 验证kafka是否有实时数据

kafka配置,创建topic

(注意点:一个Topic可以认为是一类消息、主题、队列。创建sink和channel的topic名称不一样,patitions分区和replication-factor复制因子自定义)

创建flume的sink topic,命令如下:

创建flume的channel topic,命令如下:

flume配置并启动

(注意点:端口号自定义一个,和其他人的不冲突即可;topic与自己创建的要对应;启动时,以自己的配置文件启动,可以选择后台启动)

  • Source是数据的收集端,负责将数据捕获后进行特殊的格式化,将数据封装到事件(event) 里,然后将事件推入Channel中。
  • Channel是连接Source和Sink的组件,大家可以将它看做一个数据的缓冲区(数据队列),它可以将事件暂存到内存中也可以持久化到本地磁盘上, 直到Sink处理完该事件。
  • Sink从Channel中取出事件,然后将数据发到别处,可以向文件系统、数据库、 hadoop存数据等。

在flume安装目录的conf目录下,新建rpyxfk1-flume.conf,内容如下:

如遇到kafka权限问题,则在flume-env.sh内加入:

启动flume,命令如下:

复制端的ogg配置

到ogg目录下的dirprm目录新建一个properties文件:

到ogg目录下的dirprm目录新建一个props文件(将上面的文件名写入props文件)

配置ogg复制进程并启动

(set property后面接的是以上配置的props文件)

验证kafka是否有实时数据

(只需将topic换成自己新建的channel topic即可)

未经允许不得转载:Oracle一体机用户组 » OGG目标队列抽取到flume传入kafka

相关推荐