百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

centos7-codis安装部署,解决redis分布式的方案

cac55 2024-10-07 06:38 16 浏览 0 评论

前言

Codis是一个分布式的Redis解决方案。

codis-proxy是codis的转发代理,使用的时候,连接codis-proxy进行操作,与连接原生的redis对比,存在一些不支持的命令,其他没有明显的区别。

codis-fe开启Web服务,通过浏览器进行操作,简化了复杂的设置。

GITHUB地址:https://github.com/CodisLabs/codis

github给出的架构图

Codis Server:基于 redis-3.2.8 分支开发。增加了额外的数据结构,以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。

Codis Proxy:客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表),表现的和原生的 Redis 没有区别(就像 Twemproxy)。

对于同一个业务集群而言,可以同时部署多个 codis-proxy 实例;不同 codis-proxy 之间由 codis-dashboard 保证状态同步。

Codis Dashboard:集群管理工具,支持 codis-proxy、codis-server 的添加、删除,以及据迁移等操作。在集群状态发生改变时,codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。对于同一个业务集群而言,同一个时刻 codis-dashboard 只能有 0个或者1个;所有对集群的修改都必须通过 codis-dashboard 完成。

Codis Admin:集群管理的命令行工具。

可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。

Codis FE:集群管理界面。

多个集群实例共享可以共享同一个前端展示页面;

通过配置文件管理后端 codis-dashboard 列表,配置文件可自动更新。

需要zookeeper的支持

可以根据这个文章进行安装部署:

centos-试试zookeeper集群部署

下载:

在github上已经有编译好的二进制包(注:需要Centos7系统)

https://github.com/CodisLabs/codis/releases

最新版本是3.2

下载二进制包:codis3.2.0-go1.8.1-linux.tar.gz

部署需要zookeeper运行环境

解压二进制包到/opt/

tar zxvf codis-3.2.0-go.1.8.1-linux.tar.gz -C /opt/

cd /opt/

ln -s codis-3.2.0-go.1.8.1-linux codis

创建配置文件

cd /opt/codis

mkdir -p etc scripts

./codis-dashboard --default-config | tee etc/dashboard.toml

修改其中的zookeeper地址

coordinator_name = "zookeeper"

coordinator_addr = "127.0.0.1:2181"

./codis-proxy --default-config | tee etc/proxy.toml

创建codis-server配置文件:

cat >etc/8001.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8001.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8001.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8001.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8002.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8002.pid

port 8002

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8002.log"

databases 16

rdbcompression yes

dbfilename dump-8002.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8002.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8003.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8003.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8003.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8003.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8004.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8004.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8004.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8004.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

启动脚本:

cat >scripts/start_codis_dashboard.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup \${CODIS_HOME}/bin/codis-dashboard --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --config=\${CODIS_HOME}/etc/dashboard.toml --log=/data/codis/logs/dashboard.log --log-level=WARN &

EOF

chmod +x scripts/start_codis_dashboard.sh

cat >scripts/start_codis_proxy.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup \${CODIS_HOME}/bin/codis-proxy --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --config=\${CODIS_HOME}/etc/proxy.toml --log=/data/codis/logs/proxy.log --log-level=WARN &

EOF

chmod +x scripts/start_codis_proxy.sh

cat >scripts/start_codis_fe.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup ${CODIS_HOME}/codis-fe --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --log=/data/codis/logs/fe.log --log-level=WARN --zookeeper=127.0.0.1:2181 --listen=0.0.0.0:8080 &

EOF

chmod +x scripts/start_codis_fe.sh

cat >scripts/start_codis_server.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

for conf in \`ls \${CODIS_HOME}/etc/80??.conf\`

do

\${CODIS_HOME}/bin/codis-server \${conf}

done

EOF

chmod +x scripts/start_codis_proxy.sh

创建目录:

mkdir -p /data/codis/logs

mkdir -p /data/codis/data

启动codis:

(先启动zookeeper)

/opt/codis/scripts/start_codis_dashboard.sh

/opt/codis/scripts/start_codis_proxy.sh

/opt/codis/scripts/start_codis_fe.sh

/opt/codis/scripts/start_codis_server.sh

fe启动了就可以在浏览器访问

http://[fe所在的服务器的IP地址]:8080

在Proxy:

[proxy所在服务器的ip]:11080

点击 New Proxy

在Group先创建组

输入组数字

点击New Group

然后添加codis-server

codis-server+端口 to 组

点击 Add Server

每组添加两个codis-server作为一主一从

添加完以后,同步一下组关系

点击第二个节点的主从设置安装,就会自动设置主从关系

使用

客户端连接 :proxy所在服务器IP:19000

相关推荐

MIRIX重塑AI记忆:超Gemini 410%,节省99.9%内存,APP同步上线

MIRIX,一个由UCSD和NYU团队主导的新系统,正在重新定义AI的记忆格局。在过去的十年里,我们见证了大型语言模型席卷全球,从写作助手到代码生成器,无所不能。然而,即使最强大的模型依...

硬盘坏了怎么把数据弄出来对比10种硬盘数据恢复软件

机械硬盘或固态硬盘损坏导致数据丢失时,应立即停止对硬盘的读写操作,并根据损坏类型选择逻辑层恢复工具或专业物理恢复服务。紧急处置措施立即停止通电使用:发现硬盘异响、无法识别或数据异常时,需立即断开连接,...

蓝宝石B850A WIFI主板新玩法:内存小参调节体验

蓝宝石前段时间发布了一款性价比极高的主板:NITRO氮动B850AWIFI主板。这款主板的售价只要1349元,相比普遍1500元以上的B850主板,确实极具竞争力。虽然价格实惠,蓝宝石NITR...

内存卡损坏读不出怎么修复?这5个数据恢复工具汇总,3秒挽回!

在数字化生活的浪潮中,内存卡凭借小巧便携与大容量存储的特性,成为相机、手机、行车记录仪等设备存储数据的得力助手,承载着无数珍贵回忆与重要文件。然而,当内存卡突然损坏无法读取,无论是误删、格式化、病毒入...

内存卡修复不再难,2025年必学的6款软件工具

内存卡出现问题时,通常是因为文件系统损坏、物理损坏或病毒感染。通过专业的修复工具,我们可以尝试恢复数据并修复内存卡。内存卡修复利器:万兴恢复专家万兴恢复专家是一款功能强大的数据恢复软件,支持多种设备和...

有5款内存卡修复工具汇总,内存卡数据轻松找回!

在如今的数字时代,内存卡作为不可或缺的存储介质,广泛应用于相机、手机、行车记录仪等各类设备中,承载着我们珍贵的照片、视频以及重要文件。然而,数据丢失的风险却如影随形,误删、格式化、病毒入侵、硬件故障等...

揭秘:如何通过多种方式精准查询内存条型号及规避风险?

以下是内存条型号查询的常用方法及注意事项,综合了物理查看、软件检测、编码解析等多种方式:一、物理标签查看法1.拆机查看标签打开电脑主机/笔记本后盖找到内存条,观察标签上的型号标识。例如内存标签通常标...

内存卡数据恢复5个工具汇总推荐,轻松找回珍贵记忆!

在这个数字化时代,内存卡作为我们存储珍贵照片、重要文件的常用载体,广泛应用于手机、相机、平板电脑等设备。但数据丢失的意外却常常不期而至,误删除、格式化、病毒攻击,甚至内存卡的物理损坏,都可能让辛苦保存...

电脑内存智能监控清理,优化性能的实用软件

软件介绍Memorycleaner是一款内存清理软件。功能很强,效果很不错。Memorycleaner会在内存用量超出80%时,自动执行“裁剪进程工作集”“清理系统缓存”以及“用全部可能的方法清理...

TechPowerUp MemTest64:内存稳定性测试利器

TechPowerUpMemTest64:内存稳定性测试利器一、软件简介TechPowerUpMemTest64,由知名硬件信息工具GPU-Z的出品公司TechPowerUp发布,是一款专为64位...

微软推出AI恶意软件检测智能体Project Ire,精确度高达98%

IT之家8月6日消息,当地时间周二,微软宣布推出可自主分析恶意软件的AI检测系统原型——ProjectIre。该项目由微软研究院、Defender研究团队及Discovery&a...

农村老木匠常用的20种老工具,手艺人靠它养活一家人,你认识几种

生活中的手艺老匠人是非常受到尊敬和崇拜的,特别是在农村曾经的老匠人都是家里的“座上宾”。对于民间传统的手艺人,有一种说法就是传统的八大匠:木匠、泥匠、篾匠、铁匠、船匠、石匠、油匠和剃头匠。木匠的祖始爷...

恶意木马新变种伪装成聊天工具诱人点击

国家计算机病毒应急处理中心通过对互联网监测发现,近期出现一种恶意木马程序变种Trojan_FakeQQ.CTU。该变种通过伪装成即时聊天工具,诱使计算机用户点击运行。该变种运行后,将其自身复制到受感染...

学习网络安全 这些工具你知道吗?

工欲善其事必先利其器,在新入门网络安全的小伙伴而言。这些工具你必须要有所了解。本文我们简单说说这些网络安全工具吧!Web安全类web类工具主要是通过各种扫描工具,发现web站点存在的各种漏洞...

5分钟盗走你的隐私照片,这个全球性漏洞到底有多可怕?

这个时代,大家对电脑出现漏洞,可能已经习以为常。但如果机哥告诉大家,这个漏洞能够在5分钟内,破解并盗取你所有加密文件,而且还无法通过软件和补丁修复...这可就有点吓人啦。事情是酱婶的。来自荷兰埃因...

取消回复欢迎 发表评论: