Canal實(shí)現(xiàn)Mysql和ES數(shù)據(jù)同步

      1.ES概述

　　ES全稱為"ElasticSewrch", 是一個(gè)基于RESTful web接口, 并且構(gòu)建在Apache Lucene之上的開(kāi)源分布式搜索引擎。

　　ES可以在極短的時(shí)間內(nèi)存儲(chǔ)、搜索和分析大量的數(shù)據(jù)。通常作為具有復(fù)雜搜索場(chǎng)景情況下的核心發(fā)動(dòng)機(jī)。

　　簡(jiǎn)單來(lái)說(shuō), ES可以幫助我們快速完成海量數(shù)據(jù)的搜索工作。

　　2.場(chǎng)景介紹

　　在實(shí)際開(kāi)發(fā)中,為了保證數(shù)據(jù)的安全性和持久性, 所以,我們一般會(huì)把數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)中, 比如mysql數(shù)據(jù)庫(kù)。

　　但, 如果數(shù)據(jù)量比較大, 并且搜索業(yè)務(wù)比較多, 則需要使用ES來(lái)實(shí)現(xiàn)我們的搜索功能。

　　而ES所實(shí)現(xiàn)的搜索, 需要把數(shù)據(jù)放入ES中, 才能實(shí)現(xiàn), 所以, 就需要我們把mysql中的數(shù)據(jù), 同步到ES中才可以。

　　3.實(shí)現(xiàn)方案

　　實(shí)現(xiàn)Mysql與ES之間的數(shù)據(jù)同步, 大體上可以分為三種方案:

　　方案一：同步調(diào)用

　　方案二：異步通知

　　方案三：監(jiān)聽(tīng)binlog

　　4.監(jiān)聽(tīng)binlog

　　在以上三種實(shí)現(xiàn)方案中, 可靠性相對(duì)來(lái)說(shuō)比較好的是第三種方案"監(jiān)聽(tīng)binlog",

　　| 方案 | 優(yōu)勢(shì) | 缺點(diǎn) |

　　| ---------- | ------------------------------ | -------------------------------------- |

　　| 同步調(diào)用 | 實(shí)現(xiàn)簡(jiǎn)單，粗暴 | 業(yè)務(wù)耦合度高 |

　　| 異步通知 | 低耦合，實(shí)現(xiàn)難度一般 | 依賴mq的可靠性 |

　　| 監(jiān)聽(tīng)binlog | 完全解除服務(wù)間耦合, 可靠性較強(qiáng) | 開(kāi)啟binlog增加數(shù)據(jù)庫(kù)負(fù)擔(dān)、實(shí)現(xiàn)復(fù)雜度高 |

　　4.1 實(shí)現(xiàn)原理

　　binlog其實(shí)就是Binary Log, 是MySQL二進(jìn)制日志, 也可叫作變更日志(Update Log), 是 MySQL 中非常重要的日志。

　　主要用于記錄數(shù)據(jù)庫(kù)的變化情況，即 SQL語(yǔ)句的DDL和DML語(yǔ)句，不包含數(shù)據(jù)記錄查詢操作。

　　BinaryLog通常用于數(shù)據(jù)庫(kù)的主從復(fù)制. 其工作原理如下:

　　- 1)MySQL master 將數(shù)據(jù)變更寫(xiě)入二進(jìn)制日志( binary log)，其中記錄的數(shù)據(jù)叫做binary log events

　　- 2)MySQL slave 將 master 的 binary log events拷貝到它的中繼日志(relay log)

　　- 3)MySQL slave 重放 relay log 中事件，將數(shù)據(jù)變更反映它自己的數(shù)據(jù)

　　4.2 實(shí)現(xiàn)方案-Canal

　　Canal是阿里巴巴旗下的一款開(kāi)源項(xiàng)目, 基于Java開(kāi)發(fā)。Canal就是監(jiān)聽(tīng)數(shù)據(jù)庫(kù)的binary log，從而提供增量數(shù)據(jù)訂閱&消費(fèi)。

　　GitHub的地址：https://github.com/alibaba/canal

　　Canal就是把自己偽裝成MySQL的一個(gè)slave節(jié)點(diǎn)，從而監(jiān)聽(tīng)master的binary log變化。

　　Canal會(huì)把得到的變化信息通知給Canal的客戶端，進(jìn)而完成對(duì)其它數(shù)據(jù)庫(kù)的同步。

　　5.搭建環(huán)境

　　5.1 開(kāi)啟MySQL主從

　?、?修改配置文件

　　找到mysql的配置文件my.cnf,并在上邊添加配置信息

log-bin=/var/lib/mysql/mysql-bin
binlog-do-db=heima

　　配置解讀：

　　- `log-bin=/var/lib/mysql/mysql-bin`：設(shè)置binary log文件的存放地址和文件名，叫做mysql-bin

　　- `binlog-do-db=heima`：指定對(duì)哪個(gè)database記錄binary log events，這里記錄heima這個(gè)庫(kù)

　　以Docker容器的Mysql為例,最終配置：

[mysqld]
skip-name-resolve
character_set_server=utf8
datadir=/var/lib/mysql
server-id=1000
log-bin=/var/lib/mysql/mysql-bin
binlog-do-db=heima

　　5.2 設(shè)置用戶權(quán)限

　　添加一個(gè)僅用于數(shù)據(jù)同步的賬戶，出于安全考慮，這里僅提供對(duì)heima這個(gè)庫(kù)的操作權(quán)限。

　　create user canal@'%' IDENTIFIED by 'canal';
　　GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO 'canal'@'%' identified by 'canal';
　　FLUSH PRIVILEGES;

　　5.3 安裝Canal

　　以docker容器為例

docker run -p 11111:11111 --name canal \
-e canal.destinations=heima \
-e canal.instance.master.address=mysql:3306  \
-e canal.instance.dbUsername=canal  \
-e canal.instance.dbPassword=canal  \
-e canal.instance.connectionCharset=UTF-8 \
-e canal.instance.tsdb.enable=true \
-e canal.instance.gtidon=false  \
-e canal.instance.filter.regex=heima\\..* \
-d canal/canal-server:v1.1.5

　　說(shuō)明:

　　- `-p 11111:11111`：這是canal的默認(rèn)監(jiān)聽(tīng)端口

　　- `-e canal.destinations=heima`：canal集群的名字,要和canal服務(wù)中設(shè)置的集群名字保持一致

　　- `-e canal.instance.master.address=192.168.136.133:3306`：數(shù)據(jù)庫(kù)地址和端口

　　- `-e canal.instance.dbUsername=canal`：數(shù)據(jù)庫(kù)用戶名

　　- `-e canal.instance.dbPassword=canal` ：數(shù)據(jù)庫(kù)密碼

　　- `-e canal.instance.tsdb.enable=true` ：表示是否打開(kāi)tsdb開(kāi)關(guān)

　　- `-e canal.instance.gtidon=false` ：表示是否是GTID模式

　　- `-e canal.instance.filter.regex=`：要監(jiān)聽(tīng)的表名稱

　　表名稱監(jiān)聽(tīng)支持的語(yǔ)法：

　　```

　　mysql 數(shù)據(jù)解析關(guān)注的表，Perl正則表達(dá)式.

　　多個(gè)正則之間以逗號(hào)(,)分隔，轉(zhuǎn)義符需要雙斜杠(\\)

　　常見(jiàn)例子：

　　1. 所有表：.* or .*\\..*

　　2. canal schema下所有表： canal\\..*

　　3. canal下的以canal打頭的表：canal\\.canal.*

　　4. canal schema下的一張表：canal.test1

　　5. 多個(gè)規(guī)則組合使用然后以逗號(hào)隔開(kāi)：canal\\..*,mysql.test1,mysql.test2

　　```

　　5.4 Canal客戶端服務(wù)

　?、?客戶端概述

　　Canal提供了各種語(yǔ)言的客戶端，當(dāng)Canal監(jiān)聽(tīng)到binlog變化時(shí)，會(huì)通知Canal的客戶端。

　　我們可以利用Canal提供的Java客戶端，監(jiān)聽(tīng)Canal通知消息。當(dāng)收到變化的消息時(shí)，完成對(duì)數(shù)據(jù)的更新。

　　當(dāng)然, 市面上有很多Canal客戶端, 我們以GitHub上的第三方開(kāi)源的canal-starter客戶端, 并且結(jié)合SpringBoot為例, 進(jìn)行演示。

　?、?引入依賴

<dependency>
    <groupId>top.javatool</groupId>
    <artifactId>canal-spring-boot-starter</artifactId>
    <version>1.2.1-RELEASE</version>
</dependency>

　?、?編寫(xiě)配置

canal:
  destination: heima # canal的集群名字，要與安裝canal時(shí)設(shè)置的名稱一致
  server: 192.168.136.135:11111 # canal服務(wù)地址

　?、?實(shí)體類

package com.itheima.domain;

import lombok.Data;

@Data
public class Hotel {
    private Long id;
    private String name;
    private String address;
    private Integer price;
    private Integer score;
    private String brand;
    private String city;
    private String starName;
    private String business;
    private String longitude;
    private String latitude;
    private String pic;
}

　?、?編寫(xiě)監(jiān)聽(tīng)器

　　> 通過(guò)實(shí)現(xiàn)`EntryHandler`接口編寫(xiě)監(jiān)聽(tīng)器，監(jiān)聽(tīng)Canal消息。

　　>

　　> 注意兩點(diǎn)：

　　>

　　> - 實(shí)現(xiàn)類通過(guò)`@CanalTable("tb_hotel")`指定監(jiān)聽(tīng)的表信息

　　> - EntryHandler的泛型是與表對(duì)應(yīng)的實(shí)體類

　　>

package com.itheima.handle;

import com.itheima.domain.Hotel;
import org.springframework.stereotype.Component;
import top.javatool.canal.client.annotation.CanalTable;
import top.javatool.canal.client.handler.EntryHandler;

@CanalTable("tb_hotel")
@Component
public class HotelHandler implements EntryHandler<Hotel> {

    /**
     * mysql中數(shù)據(jù)有新增時(shí)自動(dòng)執(zhí)行
     * @param hotel 新增的數(shù)據(jù)
     */
    @Override
    public void insert(Hotel hotel) {
        //把新增數(shù)據(jù)hotel,添加到ES即可
    }

    /**
     * mysql中數(shù)據(jù)有修改時(shí)自動(dòng)執(zhí)行
     * @param before 修改前的數(shù)據(jù)
     * @param after 修改后的數(shù)據(jù)
     */
    @Override
    public void update(Hotel before, Hotel after) {
        //把修改數(shù)據(jù),更新到ES即可
    }

    /**
     * ysql中數(shù)據(jù)有刪除時(shí)自動(dòng)執(zhí)行
     * @param hotel 要?jiǎng)h除的數(shù)據(jù)
     */
    @Override
    public void delete(Hotel hotel) {
        //把要?jiǎng)h除的數(shù)據(jù)hotel,從ES刪除即可
    }
}

　　6.補(bǔ)充

　　該模式不僅僅能實(shí)現(xiàn)mysql到es之間的數(shù)據(jù)同步. 它適用于任何從mysql到其他接受的數(shù)據(jù)同步。