kafka mysql 迁移,kafka迁移数据目录

news/2024/7/7 15:36:41

问题

先前存储kafka日志的磁盘空间太小,zabbix警报不断,于是加了磁盘,将日志存到新磁盘上。

解决方案

依次在每台机器上操作,保证有机器能响应producer和consumer的操作。

加磁盘需要重启服务器。

1. 拷贝日志

服务器启动后,将以前的日志拷贝到新目录

cp /data/kafka-logs /home/data/kafka-logs

2. 修改配置文件

这里以默认配置文件为例config/server.properties

vim server.properties

#修改log存放位置

log.dirs=/home/data/kafka-logs

3. 启动服务

启动zookeeper(因为zk和broker在同一节点,所以要先启动zk,否则跳过该步骤)

sudo /usr/install/zookeeper/bin/zkServer.sh start

启动broker

nohup sudo /usr/install/kafka/bin/kafka-server-start.sh /usr/install/kafka/config/server.properties &

Tip

在整个集群还没完整迁移完的情况下,操作会报出大量如下错误,此时并不影响producer和consumer进行操作(存活的其余partition会响应相应请求)

WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)

java.net.ConnectException: 拒绝连接

at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)

at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:744)

at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1146)


http://www.niftyadmin.cn/n/3297550.html

相关文章

js时间格式化通用方法

/*** 时间工具类*//*** 获取现在的时间戳(精确到s)* 使用:new Date().nowTimestamp* type {number}*/ Date.prototype.nowTimestamp Date.parse(new Date()) / 1000;/*** 时间戳转换成Date* 使用:new Date().timestampToDate(149…

redis 3.0的集群部署

文章转载自:http://hot66hot.iteye.com/blog/2050676 转载请注明出处:http://hot66hot.iteye.com/admin/blogs/2050676 最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后,换掉memCache 集群. 一:关于redis…

部分去重复php,找到重复小数的重复部分 – PHP

要说这并不像我想象的那么容易.但我得到了它的工作.我确信有一种更有效的方法可以做到这一点,希望其他人会改进这一点.特别是它被打印的部分.$number1 $number / $divisor;if(findRepeat( $number1 ) ! false){$result findRepeat($number1);$leadingNum strstr($number1, .…

深入理解ASP.NET MVC(4)

系列目录 DataTokens和Areas机制 到目前为止Route对象只剩下DataTokens属性没有涉及,事实上这个Areas机制的核心。 DataTokens实际上也是一个RouteValueDictionary,在用MapRoute方法构造在Route构造的时候,可以传一个namespaces字符串数组&am…

mysql 数据 信息,Mysql 获取最近数据信息

今天select * from 表名 where to_days(时间字段名) to_days(now());昨天SELECT * FROM 表名 WHERE TO_DAYS( NOW( ) ) - TO_DAYS( 时间字段名) < 1近7天SELECT * FROM 表名 where DATE_SUB(CURDATE(), INTERVAL 7 DAY) < date(时间字段名)近30天SELECT * FROM 表名 whe…

多线程编程(9)Barrier

魔兽世界组队下副本 下副本一般都要找5个人,一般玩家都在副本门口等,然后等待其他玩家跑过来 即玩家在做两个动作 1.跑到副本门口 2.等5个人到齐了&#xff0c;然后进副本. 如果玩家先到就得等其他玩家到了才可以下副本&#xff0c;即大家跑到副本门口的时间是不同的&#xff0…

php ldap扩展无法启动,Ubuntu 安装PHP的LDAP扩展时遇到的问题以及解决方案

运行环境&#xff1a;Ubuntu 15.04PHP 5.5.19安装PHP的扩展LDAP&#xff0c;按往常习惯&#xff0c;先phpize&#xff0c;再configure&#xff0c;先是碰到下面这个问题&#xff1a;configure: error: Cannot find ldap libraries in /usr/lib然后我用apt-cache search ldap | …

关系图:Linux演化图,Ubuntu应用图

Ubuntu应用图&#xff1a; http://hustslb.blog.163.com/blog/static/145706216201010198521555/ Linux演化图两张&#xff1a; http://hustslb.blog.163.com/blog/static/1457062162010101984814156/ 转载于:https://www.cnblogs.com/dartagnan/archive/2010/11/19/20…