一起聊聊Mycat实现 Mysql 集群读写分离（mycat怎么用

发布时间：2024-10-11 07:00

导读本篇文章给大家介绍了关于 mysql 读写分离的相关知识，希望对大家有帮助。 MySQL 读写分离的概述 MySQL 作为目前世界上使用最广泛的免费数据库，相信所有从事系统运维的工程师都一定

本篇文章给大家介绍了关于mysql读写分离的相关知识，希望对大家有帮助。

zvvq.cn

内容来自samhan

MySQL 读写分离的概述

MySQL 作为目前世界上使用最广泛的免费数据库，相信所有从事系统运维的工程师都一定接触过。

内容来自samhan

在实际的生产环境中，由单台 MySQL 作为独立的数据库是完全不能满足实际需求的，无论是在安全性，高可用性以及高并发等各个方面。 copyright zvvq

因此，一般来说都是通过主从复制（Master-Slave）的方式来同步数据，再通过读写分离（MySQL-Proxy/Amoeba）来提升数据库的并发负载能力进行部署与实施。

本文来自zvvq

读写分离工作原理

基本的原理是：

zvvq

主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE） 本文来自zvvq

从数据库处理 SELECT 查询操作 zvvq

数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。 zvvq.cn

zvvq

本文来自zvvq

为什么要读写分离

面对越来越大的访问压力，单台的服务器的性能成为瓶颈，需要分担负载 zvvq好，好zvvq

主从只负责各自的写和读，极大程度的缓解 X（写）锁和 S（读）锁争用本文来自zvvq

从库可配置 myisam 引擎，提升查询性能以及节约系统开销

内容来自zvvq

增加冗余，提高可用性

实现读写分离的方式

一般有两种方式实现应用程序层实现，网站的程序实现应用程序层实现指的是在应用程序内部及连接器中实现读写分离

zvvq

优点：

应用程序内部实现读写分离，安装既可以使用 copyright zvvq

减少一定部署难度 zvvq好，好zvvq

访问压力在一定级别以下，性能很好 copyright zvvq

缺点：

架构一旦调整，代码要跟着变内容来自zvvq，别采集哟

难以实现高级应用，如自动分库，分表内容来自zvvq

无法适用大型应用场景内容来自samhan

中间件层实现：

中间件层实现是指在外部中间件程序实现读写分离

内容来自zvvq，别采集哟

常见的中间件程序

内容来自zvvq，别采集哟

内容来自samhan666

Cobar：

内容来自samhan

阿里巴巴 B2B 开发的关系型分布式系统，管理将近 3000 个 MySQL 实例。在阿里经受住了考验，后面由于作者的走开的原因 cobar 没有人维护了，阿里也开发了 tddl 替代 cobar。

MyCAT： copyright zvvq

社区爱好者在阿里 cobar 基础上进行二次开发，解决了 cobar 当时存在的一些问题，并且加入了许多新的功能在其中。目前 MyCAT 社区活跃度很高，已经有一些公司在使用 MyCAT。总体来说支持度比

本文来自zvvq

较高，也会一直维护下去。

OneProxy：

zvvq.cn

数据库界大牛，前支付宝数据库团队领导楼总开发，基于 mysql 官方的 proxy 思想利用 c 进行开发的，OneProxy 是一款商业收费的中间件，楼总舍去了一些功能点，专注在性能和稳定性上。有人测 zvvq

试过说在高并发下很稳定。 zvvq

Vitess： copyright zvvq

这个中间件是 Youtube 生产在使用的，但是架构很复杂。与以往中间件不同，使用 Vitess 应用改动比较大，要使用他提供语言的 API 接口，我们可以借鉴他其中的一些设计思想。 zvvq

Kingshard：

内容来自samhan666

Kingshard 是前 360Atlas 中间件开发团队的陈菲利用业余时间用 go 语言开发的，目前参与开发的人员有 3 个左右，目前来看还不是成熟可以使用的产品，需要在不断完善。内容来自zvvq，别采集哟

Atlas：内容来自zvvq，别采集哟

360 团队基于 mysql proxy 把 lua 用 C 改写。原有版本是支持分表，目前已经放出了分库分表版本。在网上看到一些朋友经常说在高并发下会经常挂掉，如果大家要使用需要提前做好测试。

内容来自zvvq

MaxScale 与 MySQL Route： zvvq好，好zvvq

这两个中间件都算是官方的，MaxScale 是 mariadb (MySQL 原作者维护的一个版本)研发的，目前版本不支持分库分表。MySQL Route 是现在 MySQL 官方 Oracle 公司发布出来的一个中间件。

本文来自zvvq

优点：

zvvq.cn

架构设计更灵活本文来自zvvq

可以在程序上实现一些高级控制，如：透明化水平拆分，failover，监控可以依靠技术手段提高 mysql 性能对业务代码的影响小，同时也安全内容来自zvvq

缺点： zvvq好，好zvvq

需要一定的开发运维团队的支持。 zvvq

什么是 MyCAT

一个彻底开源的，面向企业应用开发的大数据库集群内容来自samhan666

支持事务、ACID、可以替代 MySQL 的加强版数据库

内容来自zvvq，别采集哟

一个可以视为 MySQL 集群的企业级数据库，用来替代昂贵的 Oracle 集群

zvvq.cn

一个融合内存缓存技术、NoSQL 技术、HDFS 大数据的新型 SQL Server 内容来自zvvq

结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

内容来自samhan666

一个新颖的数据库中间件产品 copyright zvvq

内容来自zvvq，别采集哟

MyCat 服务安装与配置

MyCat 有提供编译好的安装包，支持 Windows、Linux、Mac、Solaris 等系统上安装与运行

zvvq.cn

官方下载主页 http://www.mycat.org.cn/ 本文来自zvvq

zvvq

内容来自zvvq

实验架构： 192.168.2.2 Mycat CentOS 8.3.2011 192.168.2.3 主服务器 CentOS 7.6 192.168.2.5 从服务器 CentOS 7.6 运行 Mycat 需要JDK 1.7 或者以上版

内容来自zvvq

下载 Mycat wget http://dl.mycat.org.cn/1.6.7.6/20210303094759/Mycat-server-1.6.7.6-release-20210303094759-linux.tar.gz tar xf Mycat-server-1.6.7.6-release-20210303094759-linux.tar.gz -C /usr/local/ sudo useradd -M -N -s /sbin/nologin mycat && echo "123456" | sudo passwd --stdin mycat sudo chown -R mycat. /usr/local/mycat/

内容来自samhan

内容来自zvvq，别采集哟

bin 程序目录，Linux 下运行：./mycat console,首先要 chmod +x

zvvq

注：mycat 支持的命令{ console | start | stop | restart | status | dump } zvvq好，好zvvq

conf 目录下存放配置文件：server.xml 是 Mycat 服务器参数调整和用户授权的配置文件，schema.xml 是逻辑库定义和表以及分片定义的配置文件，rule.xml 是分片规则的配置文件，分片规则的具体一些参数信息单独存放为文件，也在这个目录下，配置文件修改，需要重启 Mycat 生效。 zvvq.cn

lib 目录下主要存放 mycat 依赖的一些 jar 文件。 zvvq.cn

日志存放在 logs/mycat.log 中，每天一个文件，日志的配置是在 conf/log4j.xml 中，根据自己的需要，可以调整输出级别为 debug，在 debug 级别下，会输出更多的信息，方便排查问题。

MyCat 服务启动与启动设置

MyCAT 在 Linux 中部署启动时，首先需要在 Linux 系统的环境变量中配置 MYCAT_HOME，操作方式如下：

zvvq.cn

sudo vim /etc/profile.d/mycat.sh 内容来自samhan666

MYCAT_HOME=/usr/local/mycat PATH=$MYCAT_HOME/bin:$PATH

使环境变量生效

内容来自zvvq

. /etc/profile.d/mycat.sh copyright zvvq

启动服务 /usr/local/mycat/bin/mycat start cat /usr/local/mycat/logs/wrapper.log

zvvq.cn

本文来自zvvq

mycat 的用户账号和授权信息是在 conf/server.xml 文件中配置

vim /usr/local/mycat/conf/server.xml

zvvq

这里定义的是在 192.168.2.2 上登陆 mycat 的用户名和密码，名称可以自定义。192.168.2.2 上没有运行 mysqld 服务，schemas里面指定的数据库名是服务器端必须存在的数据库！

内容来自samhan666

编辑 MyCAT 的配置文件 schema.xml，关于 dataHost 的配置信息如下：

备份原先的配置文件 \cp /usr/local/mycat/conf/schema.xml{,.bak} 编辑配置文件

vim /usr/local/mycat/conf/schema.xml 内容来自zvvq

注意这里的网址，错写会启动失败！

balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="-1" copyright zvvq

slaveThreshold="100">

内容来自samhan666

show slave status

写服务器

zvvq.cn

读服务器 zvvq好，好zvvq

强制所有的读操作都在读服务器上运行，只有写入数据时才切换到写服务器

内容来自samhan666

注意这里的 mycat 用户都要在主从数据库上 192.168.2.3 和 2.5 授权内容来自zvvq，别采集哟

GRANT ALL PRIVILEGES ON . TO mycat@% IDENTIFIED BY 123456;

内容来自samhan666

或者指定网段

zvvq好，好zvvq

GRANT ALL PRIVILEGES ON . TO mycat@192.168.2.% IDENTIFIED BY 123456;

flush privileges;

zvvq

如果报这个错误，服务器运行正常的话，首先检查有没有授权 内容来自samhan666

ERROR 1184 (HY000): Invalid DataSource:0 内容来自zvvq，别采集哟

zvvq

zvvq好，好zvvq

本文来自zvvq

　　schema： copyright zvvq

逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。 zvvq.cn

　　table

：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode，这是通过表格的分片规则定义来实现的，table可以定义其所属的“子表(childTable)”，子表的分片依赖于与“父表”的具体分片地址，简单的说，就是属于父表里某一条记录A的子表的所有记录都与A存储在同一个分片上。

zvvq好，好zvvq

分片规则：是一个字段与函数的捆绑定义，根据这个字段的取值来返回所在存储的分片（DataNode）的序号，每个表格可以定义一个分片规则，分片规则可以灵活扩展，默认提供了基于数字的分片规则，字符串的分片规则等。

内容来自samhan666

　　dataNode：

MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上，一般来说，为了高可用性，每个DataNode都设置两个DataSource，一主一从，当主节点宕机，系统自动切换到从节点。

本文来自zvvq

　　dataHost：定义某个物理库的访问地址，用于捆绑到dataNode上。

MyCAT目前通过配置文件的方式来定义逻辑库和相关配置：

内容来自samhan

　　MYCAT_HOME/conf/schema.xml中定义逻辑库，表、分片节点等内容；

zvvq.cn

　　MYCAT_HOME/conf/rule.xml中定义分片规则；

zvvq

　　MYCAT_HOME/conf/server.xml中定义用户以及系统相关变量，如端口等。

注解：

本文来自zvvq

schema 标签用于定义 MyCat 实例中的逻辑库，name:后面就是逻辑库名 MyCat 可以有多个逻辑库，每个逻辑库都有自己的相关配置。可以使用 schema 标签来划分这些不同的逻辑库。 zvvq

checkSQLschema 这个属性默认就是 false，官方文档的意思就是是否去掉表前面的数据库的名称，”select from db1.testtable” ，设置为 true 就会去掉 db1。但是如果 db1 的名称不是

内容来自zvvq，别采集哟

schema 的名称，那么也不会被去掉，因此官方建议不要使用这种语法。同时默认设置为 false。内容来自samhan666

sqlMaxLimit 当该值设置为某个数值时。每条执行的 SQL 语句，如果没有加上 limit 语句，MyCat 也会自动的加上所对应的值。例如设置值为 100，执行”select from test_table”,则效果为

内容来自zvvq

“selelct from test_table limit 100”. 内容来自zvvq

dataNode 标签定义了 MyCat 中的数据节点，也就是我们通常说所的数据分片

内容来自zvvq

内容来自samhan

zvvq

内容来自zvvq

zvvq

重新启动服务 /usr/local/mycat/bin/mycat restart zvvq

Stopping Mycat-server...

本文来自zvvq

Stopped Mycat-server.

本文来自zvvq

Starting Mycat-server...

内容来自zvvq，别采集哟

tail /usr/local/mycat/logs/wrapper.log

内容来自zvvq

配置 MySQL 主从

在2台服务器上分别安装、配置mariadb，具体步骤请参阅：https://blog.csdn.net/gaofei0428/article/details/103829676?spm=1001.2014.3001.5501

首先在主数据库端 192.168.2.3 编辑 /etc/my.cnf

/etc/my.cnf

内容来自samhan666

[mysqld] copyright zvvq

datadir=/var/lib/mysql 内容来自zvvq

socket=/var/lib/mysql/mysql.sock

zvvq好，好zvvq

symbolic-links=0

本文来自zvvq

log-bin=/data/mysql/mysql-bin 内容来自zvvq

server-id=1

binlog-ignore-db=mysql 内容来自samhan

binlog-ignore-db=information_schema

内容来自samhan

binlog-ignore-db=performance_schema zvvq好，好zvvq

binlog-ignore-db=test

内容来自samhan666

innodb_flush_log_at_trx_commit=1

binlog-do-db=mydata replicate-do-db=mydata lower_case_table_names=1 开启大小写匹配注意需要同步的数据库必须事先存在

zvvq好，好zvvq

内容来自zvvq

启动无误后在然后在从服务器 192.168.2.5 上配置 /etc/my.cnf

vim /etc/my.cnf  1 zvvq

[mysqld]

zvvq

datadir=/var/lib/mysql 内容来自samhan

socket=/var/lib/mysql/mysql.sock zvvq.cn

symbolic-links=0

本文来自zvvq

log-bin=/data/mysql/mysql-bin copyright zvvq

server-id=2 内容来自zvvq

relay-log-index=/data/mysql/slave-relay-bin.index

zvvq.cn

relay-log=/data/mysql/slave-relay-bin

zvvq.cn

lower_case_table_names=1 read_only=1 开启只读模式，防止数据回写,不会影响 slave 同步复制 lower_case_table_names=1 开启大小写匹配

zvvq.cn

重启从数据库服务后进行以下操作

停止从服务器的slave，创建slave数据库用户 mysql -uroot -p123456 -e "stop slave"

内容来自samhan

mysql -uroot -p123456 -e "grant replication slave on . to slave@% identified by 123456" 内容来自zvvq，别采集哟

mysql -uroot -p123456 -e "select user,password from mysql.user"

zvvq.cn

mysql -uroot -p123456 -e "change master to master_host=192.168.2.3,master_user=slave,master_password=123456,master_log_file=mysql-bin.000002,master_log_pos=245;"

内容来自samhan666

mysql -uroot -p123456 -e "start slave" copyright zvvq

mysql -uroot -p123456 -e "show slave status"