一、StreamSets支持多种安装方式:
完整安装:安装所有插件;当插件存在多个版本时会一并安装
常用功能安装:安装核心功能和常用的插件,可以减少磁盘空间占用
核心功能安装:最小化安装,使用最小的磁盘空间;需要用户自行安装开发中需要的插件
基于Cloudera Manager安装:通过Cloudera Manager安装完整版本
Docker安装:从Docker Hub中下载镜像安装
云服务安装:从云服务提供商的服务商城安装
二、安装需求
| Component | 最小化需求 |
|---|---|
| 操作系统 |
|
| CPU核数 | 2 |
| 内存 | 1 GB |
| 磁盘空间 | 6 GB 备注: StreamSets不推荐使用NFS或NAS文件系统 |
| 文件描述符 | 32768 |
| Java | Oracle Java 8 / OpenJDK 8 |
| 浏览器 | 使用下列浏览器的最新版本:
|
StreamSets使用时默认会占用下列端口:
| System | 默认端口 | 用途 |
|---|---|---|
| SDC |
| Web端访问入口 |
| LDAP/LDAPS | 389/636 | LDAP认证服务 |
| STMP | 465 | 发送邮件通知 |
三、开始安装(常用功能)
1. 浏览器访问:
# 该页面可能需要先注册账号,或使用google account登录访问https://accounts.streamsets.com/install/instruction/data-collector/linux/common-tarball
或
# github的官方release版本https://github.com/streamsets/datacollector/releases
下载对应版本的StreamSets Data Collector安装包,解压到 /opt/sdc 目录
> cd /opt/sdc/streamsets-datacollector-3.16.0/
2. 拷贝服务文件,修改 SDC_HOME 和 ExecStart 变量的sdc安装目录参数
> sudo cp systemd/sdc.service /etc/systemd/system/sdc.service> sudo vim /etc/systemd/system/sdc.service
3. 添加sdc账号
> sudo groupadd -r sdc && sudo useradd -r -g sdc -s /sbin/nologin sdc
4. 重新加载系统配置
> sudo systemctl daemon-reload
5. 复制配置文件
> sudo mkdir /etc/sdc> sudo cp -R etc/* /etc/sdc> sudo chown -R sdc:sdc /etc/sdc
6. 创建所需目录及授权
> sudo mkdir /var/log/sdc> sudo chown sdc:sdc /var/log/sdc> sudo mkdir /var/lib/sdc> sudo chown sdc:sdc /var/lib/sdc> sudo mkdir /var/lib/sdc-resources> sudo chown sdc:sdc /var/lib/sdc-resources> sudo chown sdc:sdc -R /opt/sdc/streamsets-datacollector-3.16.0/
7. 启动服务
> sudo systemctl start sdc> sudo systemctl status sdc> sudo systemctl enable sdc
8. 浏览器访问 http://{server_ip}:18630,使用默认账号admin/admin登录。
文章转载自大数据小黑屋,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




