Trino联邦查询Mysql,Sqlserver,Kafka实战 →

大数据技能圈 2024-02-07

184

SPRING FESTIVAL

点击蓝字关注我们

Trino安装及连接mysql，sqlserver进行数据查询可以查看上篇文章：联邦查询神器Trino初体验 →

本文介绍如何使用trino链接mysql,sqlserver及kafka进行数据查询。

1.配置kafka.properties

cd opt/software/trino-server-392/etc/catalog

vim kafka.properties 
connector.name=kafka # connector 名称
kafka.table-names=test # 定义kafka表，对应kafka-scheme配置文件中的表名
kafka.nodes=192.168.154.128:9092 #kafka节点
kafka.table-description-dir=/opt/software/trino-server-392/etc/catalog # kafka-scheme目录

2.配置kafka-scheme配置文件

vim test1.json
{
  "tableName": "test",
  "schemaName": "default",
  "topicName": "test",
  "message": {
    "dataFormat": "json",
    "fields": [
      {
        "name": "field1",
        "type": "BIGINT",
        "mapping": "field1"
      },
      {
        "name": "field2",
        "type": "VARCHAR",
        "mapping": "field2"
      }
    ]
  }
}

指定tableName（对应kafka.properties中配置的kafka.table-names）、schemaName、topicName（对应kafka中的topic）、message（定义表和kafka中消息的字段映射）

3.重启trino

bin/launcher.py stop
bin/launcher.py start

4.安装kafka

kafka安装步骤：https://mp.weixin.qq.com/s/rtL0xGmPq3jiHqVHEnNmDw

UI for Apache Kafka 安装：https://mp.weixin.qq.com/s/-xTAbkBrSxP3XjrtMYFYqA

5.创建topic:

6.Kafka中写入消息

这里有2条数据，数据类型和字段个数跟kafka-scheme文件中定义的一致。

1.关联mysql，sqlserver及kafka进行数据查询

select
  *
from
  kafka.default.test a
join mysql.x2ddl.x2ddl_datamapping b on
  a.field1 = b.id
left join sqlserver.cdc.captured_columns c on
  b.id = c.column_id ;

文章转载自大数据技能圈，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

Trino联邦查询Mysql,Sqlserver,Kafka实战 →

评论