暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

StreamSets大数据集成平台(二)-安装

大数据小黑屋 2020-11-08
1870

一、StreamSets支持多种安装方式:

  1. 完整安装:安装所有插件;当插件存在多个版本时会一并安装

  2. 常用功能安装:安装核心功能和常用的插件,可以减少磁盘空间占用

  3. 核心功能安装:最小化安装,使用最小的磁盘空间;需要用户自行安装开发中需要的插件

  4. 基于Cloudera Manager安装:通过Cloudera Manager安装完整版本

  5. Docker安装:从Docker Hub中下载镜像安装

  6. 云服务安装:从云服务提供商的服务商城安装


二、安装需求

Component最小化需求
操作系统
  • Mac OS X

  • Amazon Linux 2

  • CentOS 6.x or 7.x

  • Oracle Linux 6.x or 7.x

  • Red Hat Enterprise Linux 6.x or 7.x

  • Ubuntu 14.04 LTS / 16.04 LTS

CPU核数2
内存1 GB
磁盘空间6 GB

备注: StreamSets不推荐使用NFS或NAS文件系统

文件描述符32768
JavaOracle Java 8 / OpenJDK 8
浏览器使用下列浏览器的最新版本:
  • Chrome

  • Firefox

  • Safari

StreamSets使用时默认会占用下列端口:


System默认端口用途
SDC
  • HTTP - 18630

  • HTTPS - 参照sdc.properties配置

Web端访问入口

LDAP/LDAPS389/636LDAP认证服务
STMP
465
发送邮件通知


三、开始安装(常用功能)


1. 浏览器访问:

# 该页面可能需要先注册账号,或使用google account登录访问
https://accounts.streamsets.com/install/instruction/data-collector/linux/common-tarball

# github的官方release版本
https://github.com/streamsets/datacollector/releases

下载对应版本的StreamSets Data Collector安装包,解压到 /opt/sdc 目录

> cd /opt/sdc/streamsets-datacollector-3.16.0/


2. 拷贝服务文件,修改 SDC_HOME  ExecStart 变量的sdc安装目录参数

> sudo cp systemd/sdc.service /etc/systemd/system/sdc.service
> sudo vim /etc/systemd/system/sdc.service


3. 添加sdc账号

> sudo groupadd -r sdc && sudo useradd -r -g sdc -s /sbin/nologin sdc


4. 重新加载系统配置

> sudo systemctl daemon-reload


5.  复制配置文件

> sudo mkdir /etc/sdc
> sudo cp -R etc/* /etc/sdc
> sudo chown -R sdc:sdc /etc/sdc


6. 创建所需目录及授权

> sudo mkdir /var/log/sdc
> sudo chown sdc:sdc /var/log/sdc
> sudo mkdir /var/lib/sdc
> sudo chown sdc:sdc /var/lib/sdc
> sudo mkdir /var/lib/sdc-resources
> sudo chown sdc:sdc /var/lib/sdc-resources
> sudo chown sdc:sdc -R /opt/sdc/streamsets-datacollector-3.16.0/


7.  启动服务

> sudo systemctl start sdc
> sudo systemctl status sdc
> sudo systemctl enable sdc

8. 浏览器访问 http://{server_ip}:18630,使用默认账号admin/admin登录。

文章转载自大数据小黑屋,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论