暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

偶数科技-人工智能系统LitteBoy安装教程

原创 偶数科技 2020-09-29
1459

LittleBoy简介

Oushu LittleBoy是一个通用的人工智能系统,可以帮助企业级用户轻松实现人工智能落地。
Oushu LittleBoy可通过内置的AutoML从上亿个模型中自动挑选出优化的模型,让用户在不了解算法原理的情况下自动选出最佳配置,提升业务效率。

LittleBoy特点

  • 自动化机器学习2.0 - 导航式建模
  • 自动化特征工程
  • 支持高维数据机器学习
  • 模型指标定制优化
  • 预测模型SaaS方式发布

安装环境

  • 提前安装数据中台Lava,本次安装是从数据中台Lava中直接部署的,安装数据中台Lava教程地址:数据中台Lava安装教程
  • 准备三个服务器(如果已经部署HDFS集群则不需要)

安装教程

打开LittleBoy->AI集群管理,点击训练集群列表右上“+创建AI集群”,开启创建 LittleBoy集群。
image.png
如果LittleBoy Server没有部署过,整个集群部署需要以下三步:

  1. 配置HDFS集群
  2. 部署LittleBoy Server
  3. 部署训练集群(如果LittleBoy Server已经部署过,则直接进行这一步)

1、配置HDFS集群

LittleBoy Server依赖HDFS来存储训练好的模型,所以,部署 LittleBoy Server之前首先要选择或者配置HDFS集群,如果HDFS集群不存在,可以部署新的HDFS集群。参见部署HDFS章节:OushuDB安装教程中的第一部分(1、创建HDFS集群)

image.png
如果已经存在HDFS集群,则选择已有的集群,选择下一步。
image.png
此处,不但可以使用Lava平台内部部署的HDFS集群,也可以使用外部的HDFS集群。如果使用外部的HDFS集群,请打开左上角”使用外部HDFS”开关,那么您需要多输入Active NameNode的Host与Port,如果有Standby NameNode,你还需要输入Standby NameNode的Host与Port。

2、部署LittleBoy Server

选择您要部署的LittleBoy Server的机器(Master只能选择一个)。作为一个可选项,可以额外选择一台机器部署LittleBoy Standby节点,开启高可用模式。两个节点不能部署在同一台机器上。输入临时数据路径(默认‘ /tmp/litteboy’)与端口(默认18080),点击“下一步”

image.png

3、部署LittleBoy训练集群。

输入集群名称(自定义但是不能输入中文),选择您要部署的LittleBoy训练集群的机器(可以选多个)。如果勾选下方的“是否导入示例 数据”,则会在安装的同时向指定的OushuDB数据库导入LittleBoy的演示数据。点击“部署”开始执行部署流程。

image.png
之后会动态展示部署LittleBoy Server与LittleBoy训练集群的日志与进度条。同OushuDB部署状态页面。
image.png
LittleBoy训练集群部署成功
image.png

4、附加步骤

如果LitteBoy训练集群的节点上在安装LitteBoy之前就已经安装了HDFS,并且此HDFS 并不是通过Lava自动安装的,请做如下额外的步骤。否则,请跳过该步骤。
安装完成后,请在每一个LitteBoy训练集群节点上检查{HADOOP_HOME} 目录下是否有 libhdfs.so文件,如果没有,请点击http://oushu.io/assets/download/libhdfs.so下载并拷贝到{HADOOP_HOME}/lib/native下。

最后修改时间:2020-09-29 10:09:48
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论