2020-01-02发表2020-01-02更新技术 / kafka7 分钟读完 (大约1026个字)

备份方案

使用两个kafka connectors，一个sink connector向外部数据源（S3、ES、Hive）导出数据，一个source connector从外部源恢复数据
使用connect同步数据到s3，然后清除60天以前的数据，可以达到备份+归档且释放硬盘空间的目的

2019-09-19发表2020-01-20更新技术 / kafka1 分钟读完 (大约177个字)

KafkaManager安装启动流程

安装脚本

# 安装jdk
yum install -y jdk8

JAVA_HOME="/home/jdk1.8.0"
PATH=$PATH:$JAVA_HOME/bin

export JAVA_HOME PATH

# 下载kafka-manager
wget https://github.com/yahoo/kafka-manager/archive/2.0.0.2.tar.gz
mkdir kafka-manager
tar -xzvf 2.0.0.2.tar.gz -C ./kafka-manager --strip-components 1

# 安装sbt
curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
mv bintray-sbt-rpm.repo /etc/yum.repos.d/
yum install sbt -y

# make
cd kafka-manager
./sbt clean dist
cp target/universial/kafka-manager-2.0.0.2.zip /home/
cd /home
unzip kafka-manager-2.0.0.2.zip
cd kafka-manager-2.0.0.2

# 修改kafka-manager的链接信息
sed -i "s/kafka\-manager\-zookeeper:2181/common1-t1.zookeeper.s.news:2181/" conf/application.conf

启动脚本

KAFKA_MANAGER_USERNAME="admin"
KAFKA_MANAGER_PASSWORD="admin"
JAVA_HOME=/home/jdk1.8.0
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/usr/jdk1.8.0/bin
export JAVA_HOME PATH
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8888 > kafka-manager.log 2>&1 &

2019-09-12发表2020-01-02更新技术 / kafka3 分钟读完 (大约484个字)

Kafka简介

简单介绍下Kafka相关内容，大部分内容摘自网络

备份方案

安装脚本

启动脚本

链接

分类

最新文章

归档

标签

广告