崖山yds安装部署

YashanDB Doc
BUG清单
同步工具
崖山DB
同步工具

产品描述

安装部署
安装部署
软件升级
软件卸载

快速上手

参考手册

运维手册

专题说明
使用限制

#
安装部署
#
1. 环境准备

安装Docker和docker compose环境，参考：Docker: Accelerated, Containerized Application Development

(opens new window)
联系技术支持人员获取yas-data-sync的docker镜像安装包yas-data-sync-docker-xxx.tar.gz(xxx代表版本号，相应替换)
工具需要使用8080端口和8081端口，请保证端口可用
请保证至少8080端口能通过浏览器访问

#
2. 部署安装
#
上传安装包并解压

#
步骤

将yas-data-sync-docker-xxx.tar.gz上传到安装环境，这里以Centos7操作系统为例

解压yas-data-sync-docker-xxx.tar.gz

$ tar -xf yas-data-sync-docker-xxx.tar.gz
$ cd yas-data-sync-docker-xxx




Copied!


#
说明
tar包里含有四个文件和两个空文件夹：
docker-compose.yml
flink-1.14.4-sync.tar
sync-server.tar
data-sync-config/data-sync-config.yaml
flink-ext/
server-ext/

#
安装软件

#
步骤

导入docker镜像

$ docker load < flink-1.14.4-sync.tar
$ docker load < sync-server.tar




Copied!


配置同步工具容器网络（必做）

Caution:

这一步配置同步工具容器网络不做可能对业务环境产生严重影响

如果因该步骤遗漏导致所在服务器不可用，请尽快联系IT管理人员

将同级目录下的 docker-compose.yml 文件内注释掉的四段配置打开
如果IP网络和宿主机冲突，需更换网段，请确保该网段在该宿主机不被占用

详细配置参见下文，网段配置原理参见 Docker Compose overview | Docker Documentation

(opens new window)

docker网络配置
#
说明
配置同步工具容器网络
需要配置的是一个子网 subnet、 一个网关 gateway 以及三个容器的 ip 地址 ipv4_address
docker 会为同步工具的三个容器创建一个子网并为每个容器分配一个 ip，这个子网和 ip 都是随机的，如果恰好这个随机的子网或 ip 与当前网络环境已有的子网或 ip 重复了，可能导致网络问题，如部署工具服务器无法连通
为了避免上述情况，可以根据部署同步工具的机器所在的具体网络环境，配置合适的子网和 ip 地址

#
启动软件

#
步骤

启动docker container

docker compose是docker-compose项目的新版。根据用户安装compose的不同，使用不同的compose命令，请根据自己的实际情况选择对应的docker-compose xxx 或者docker compose xxx命令，此处以docker compose为例进行安装部署的说明。

$ docker compose up -d




Copied!


#
说明
Data Sync 同步工具 docker 模式部署包含三个容器：jobmanager, taskmanager, server
jobmanager：flink 的 jobmanager
taskmanager：flink 的 taskmanager
server：Data Sync 同步工具的可视化界面

#
3. 详细配置（选读）

同步工具的部署配置文件分为两个

在执行安装步骤的解压后，进入解压文件目录yas-data-sync-docker-xxxx，可以看到有
docker-compose.yml
data-sync-config/data-sync-config.yaml

#
docker-compose.yml

docker compose部署的配置文件，这里修改Flink对外服务端口和server对外服务端口

ports: - "8080:8080" 中前者宿主机端口 ，后者是docker容器内部端口，我们只需要修改宿主机端口即可配置服务对外端口
services:jobmanager的ports修改的是Flink对外服务端口
services:server的ports修改的是server对外服务端口

docker-compose
#
data-sync-config.yaml

data-sync-config.yaml修改Flink的启动参数和Flink的日志参数
目前分为两个模块的配置

data-config

注意
Flink启动参数的配置必须放在#[FLINK CONFIGURATION START]和#[FLINK CONFIGURATION END]之间
Flink日志参数的配置必须放在#[FLINK LOG START]和#[FLINK LOG END]之间
[FLINK CONFIGURATION START]、[FLINK CONFIGURATION END]、[FLINK LOG START]、[FLINK LOG END]不可删除

常用配置项如下

配置项 是/否必填 服务默认值 描述
jobmanager.memory.process.size 否 2048m Total Process Memory size for the JobManager. This includes all the memory that a JobManager JVM process consumes, consisting of Total Flink Memory, JVM Metaspace, and JVM Overhead. In containerized setups, this should be set to the container memory. See also 'jobmanager.memory.flink.size' for Total Flink Memory size configuration. JobManager的总进程内存大小。这包括JobManagerJVM进程消耗的所有内存，包括总Flink内存、JVM元空间和JVM开销。在容器化设置中，应将其设置为容器内存。
taskmanager.memory.process.size 否 8192m Total Process Memory size for the TaskExecutors. This includes all the memory that a TaskExecutor consumes, consisting of Total Flink Memory, JVM Metaspace, and JVM Overhead. On containerized setups, this should be set to the container memory. See also 'taskmanager.memory.flink.size' for total Flink memory size configuration. TaskExecutors的总进程内存大小。这包括TaskExecutor消耗的所有内存，包括总Flink内存、JVM元空间和JVM开销。对于容器化设置，应将其设置为容器内存。
taskmanager.numberOfTaskSlots 否 16 The number of parallel operator or user function instances that a single TaskManager can run. If this value is larger than 1, a single TaskManager takes multiple instances of a function or operator. That way, the TaskManager can utilize multiple CPU cores, but at the same time, the available memory is divided between the different operator or function instances. This value is typically proportional to the number of physical CPU cores that the TaskManager's machine has (e.g., equal to the number of cores, or half the number of cores). 单个TaskManager可以运行的并行运算符或用户函数实例数。如果此值大于1，则单个TaskManager将获取函数或运算符的多个实例。这样，TaskManager可以利用多个CPU内核，但同时，可用内存在不同的操作员或函数实例之间进行分配。此值通常与TaskManager计算机的物理CPU内核数成比例（例如，等于内核数或内核数的一半）。
execution.checkpointing.timeout 否 10min The maximum time that a checkpoint may take before being discarded. 检查点超时时间。
execution.checkpointing.tolerable-failed-checkpoints 否 100 The tolerable checkpoint consecutive failure number. If set to 0, that means we do not tolerance any checkpoint failure. 允许的检查点故障数。如果设置为0，则意味着我们不能容忍任何检查点故障。
rootLogger.level 否 INFO Flink日志级别

其他Flink启动配置项参考：Flink

(opens new window)
修改完配置文件后需要重启docker compose服务生效

规格说明 软件升级
下载文档
段落导航
1. 环境准备
2. 部署安装
上传安装包并解压
安装软件
启动软件
3. 详细配置（选读）
docker-compose.yml
data-sync-config.yaml
YashanDB

电话

400 838 0400

(工作日 9:00-18:00)

邮箱

info@yahsandb.com

助手号

公众号
友情链接: 深圳计算科学研究院
深圳崖山科技有限公司
版权所有© YashanDB 粤ICP备2022018810号
广东省深圳市龙华区民宝路红山6979园区26座9-10层