Spark修炼之道(进阶篇)——Spark入门到精通:第十五节 Kafka 0.8.2.1 集群搭建

  • 时间:
  • 浏览:0

kafka 安装与配置

将整个安装文件进行跨机器拷贝:

将sparkslave02机器上的server.properties文件内容如下:

至此Kafka 集群搭建与测试完毕

解压,解压后的目录如下

作者:周志湖

微信号:zhouzhihubeyond

下一节当中,亲戚亲戚我们歌词 歌词 将演示kafka咋样与Spark Streaimg结合起来使用

进入config目录,将server.properties文件内容如下:

5 接收kafka发送来的消息

4 发送消息至kafka

在sparkslave01机器上执行下列命令并向kafka发送消息

到下面的地址下载:Scala 2.10 - kafka_2.10-0.8.2.1.tgz

http://kafka.apache.org/downloads.html

下载完成后,使用命令

本节为下一节Kafka与Spark Streaming做铺垫

将sparkslave01机器上的server.properties文件内容如下:

3 创建topic

在sparkmaster机器上执行下列命令创建一有三个 多topic

1.kafka 集群搭建

在sparkslave02机器上执行下列命令并接收kafka发送消息