项目经验分享：实现 Apache Pulsar 与 Apache Ranger 的功能集成

项目名称：

项目综述

项目步骤

项目实施：

• 明确项目问题，规划解决方案

Apache Pulsar主要是一个消息系统，Apache ranger是一个集中式的安全管理框架。我们要做的是通过Apache Ranger为Apache Pulsar实现一个新的授权框架。具体实现 

pulsar-broker-common/src/main/java/org/apache/pulsar/borker中的Authentication和Authorization

接口以及基于Apache Ranger实现Authentication和Authorization接口。

• 搜集资料，寻找相似问题

分析理解项目需求后，我们首先借助搜素引擎找到与之相似或相同的话题，通过了解Apache Pulsar、Apache Ranger-Hadoop、Apache Ranger-Hive、Apache Ranger-HBase、Apache Ranger-Kafka、Apache Ranger-YARN等这些问题的产生背景和架构原理可以找到我们项目需求的相似点

• 分析问题，理解架构原理

Apache Pulsar是一个用于服务器到服务器的消息系统，具有多租户、高性能等优势，最初由Yahoo开发，目前由Apache软件基金会管理

property/tenant:一个property代表一个租户，一个property可包含多个namesapce；假设部署了一个Pulsar集群来支持多个应用程序，在企业中每个property都可以代表一个团队，一个核心的功能或者一个产品线

namespace：是Plusar的基本管理单元，在namespace级别可可设置permission，备份fine-tune，跨集群管理消息，数据的地理复制geo-replocation、消息TTL等；一个namaspace里的所有topic都继承相同的设置

topic：一种通道，用作从produceer到consumer传输消息，持久（默认，硬盘）和非持久（仅内存）

  Aapche Pulsar消息订阅

Aapche Pulsar支持exclusive、shared、failover三种消息订阅模式，这三种模式示意图如下：

• 制定解决方案

  编译器：Intellij IDEA 2019.3

JDK:1.8.0_211

Maven:3.8.1

Ranger:3.0.0

Pulsar:2.9.0

基于上述版本的环境，参考Apache Pulsar、Apache Ranger各官网文档分别实现如下接口功能：

AuthorizationProvider

AuthorizationService

MultiRolesTokenAuthorizationProvider

PulsarAuthorizationProvider

RangerPlusarAuthorization

RangerPlusarAuthorizationService

 项目进度：

• 首先开始安装配置Intellij IDEA 2019.3

依次安装配置JDK等，由于在mac下开发就必须使用这个非常好用的mac包管理器Homebrew，仅需执行相应的命令，就能下载安装需要的软件包，可以省掉自己去下载、解压、拖拽（安装）等繁琐的步骤。

Homebrew怎么安装？

方法一：brew官网的安装脚本

执行命令：/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"

这时很可能出现一个问题就是下载极其龟速或者直接出现如下提示：

curl: (7) Failed to connect to raw.githubusercontent.com port 443: Connection refused

curl: (7) Failed to connect to raw.githubusercontent.com port 443: Connection refused

要问题是因为不稳定 http://raw.githubusercontent.com不稳定

方法二：brew镜像安装脚本

/usr/bin/ruby -e "$(curl -fsSL https://cdn.jsdelivr.net/gh/ineo6/homebrew-install/install)"

亲测速度立刻快得飞起来，一下子就可以安装完成，最后出现Installation successful !或者Checking out files：100%(5392/5392),done. 说明安装成功。输入brew install maven 、brew install JDK1.8.0_211安装完成依赖，终端输入mvn -v

说明maven 3.8.1安装成功。

终端输入java --version

说明JDK1.8.0_211安装成功

• 其次就需要在Intellij IDEA下配置maven，目前常用的开发工具Intellij IDEA、Eclipse都自身集成了一个版本maven、JDK。但是通常我们使用自己已经配置好的maven、JDK。

Intellij IDEA下配置maven，可以看到下图已经使用红框勾选出了要配置具体操作

1：此处修改为自己解压maven目录

2、勾选Override，修改为自己目录下的settings.xml目录

3、修改为自己的本地仓库地址，一般会自动识别

此处勾选，当修改pom文件时，maven就可以自动帮我们导入依赖

这样配置结束会让开发过程非常的方便高效并且提高开发的乐趣。

• 接下来要开始正式编码实现AuthorizationProvider、AuthorizationService

MultiRolesTokenAuthorizationProvider、PulsarAuthorizationProvider

RangerPlusarAuthorization、RangerAuthorizationService的接口实现。

Ranger部分的实现我是主要参考hadoop、kafka那些接口去具体实现的，因为Ranger中发现访问权限模型是抽象成“用户-资源-权限”并且Ranger主要是根据这种抽象关系，伸展出自己的权限模型，三者关系如下：

Service = List<Policy>

Policy =  List<Resource> + AllowACL + DenyACL

AllowACL = List<AccessItem> allow + List<AccssItem> allowException

DenyACL = List<AccessItem> deny + List<AccssItem> denyException

AccessItem = List<User/Group> + List<AccessType>

关于权限这部分，为什么AllowACL和DenyACL需要分别对应两组AccessItem？这是因为由具体使用场景引出的设计：

以AllowACL为例，假定我们要将资源授权给一个用户组G1，但是用户组里某个用户G1除外，这时只要增加一条包含G1的AccessItem到AllowACL_allow，同时增加一条包含U1的AccessItem到AllowACL_allowException即可，类似原理可反推DenyACL.

既然Policy有(allow,allowException,deny,denyException)这四组AccessItem，那么判断用户最终权限的决策过程是怎样？

总体来说，四组AccessItem的作用优先级由高到低依次是：denyException > deny > allowException > allow

Pulsar里面的authorization是存储到了zookeeper里，也需要把这些换成ranger去实现。

因为Pulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性，目前社区也是正在建设和发展过程中，很多源代码解释、架构原理等资料可以去Pulsar的公众：ApachePulsar去了解，在这里就不赘述过多了。

总之就这样项目代码的实现就开始了，目前只是完成Pulsar部分的代码实现，Ranger正在编写过程中。

AuthorizationProvider部分代码展示：

AuthorizationService部分代码展示：

MultiRolesTokenAuthorizationProvider部分代码展示：

PulsarAuthorizationProvider部分代码展示：

RangerPlusarAuthorization部分代码展示：

RangerAuthorizationService的接口正在实现中.........

项目总结