暂无图片
mysql+canal+kafka 接收消息是乱码
我来答
返回问答列表
分享
布衣
暂无图片
2022-10-21
mysql+canal+kafka 接收消息是乱码
canal+kafka

image.png

– canal 参数：
[root@bjgs005dw074 conf]# cat canal.properties
canal.mq.flatMessage = true

但还是乱码，有知道怎么解决的吗？

我来答
添加附件
收藏
分享
问题补充
7条回答
默认
最新
李宏达

我觉得你可以继续做，kafka至少是有数据接入的，canal伪造mysql slave是成功的，至少mysql + canal+kafka在你的环境里是没问题的，再加上greenplum 验证一下。

image.png

image.png

暂无图片 评论
暂无图片 有用 0
暂无图片
布衣
题主
2022-10-21
ok.我先试着接下greenplum 吧。感谢！
布衣
题主
2022-10-27
设置canal.mq.flatMessage = true 后，清掉之前的解析日志，canal和kafka的。重新启后就好了 [root@bjgs005dw074 bin]# sh kafka-console-consumer.sh --bootstrap-server bjgs005dw074:9092 --topic example --from-beginning {"data":[{"id":"1","name":"a"}],"database":"pydb","es":1666855588000,"id":2,"isDdl":false,"mysqlType":{"id":"int","name":"varchar(10)"},"old":null,"pkNames":null,"sql":"","sqlType":{"id":4,"name":12},"table":"t1","ts":1666855573816,"type":"INSERT"}
李宏达
答主
2022-10-27
赞
李宏达
  • 试试设置这个
    image.png
暂无图片 评论
暂无图片 有用 0
布衣
题主
2022-10-21
这个配置文件，在什么位置？
李宏达

canal client 的配置文件

暂无图片 评论
暂无图片 有用 0
布衣
题主
2022-10-21
[root@bjgs005dw074 conf]# pwd /usr/local/canal.deployer/conf [root@bjgs005dw074 conf]# ls canal_local.properties canal.properties example logback.xml metrics spring 没找到啊？
李宏达

canal.properties 也试试这个

canal.instance.connectionCharset = UTF-8

暂无图片 评论
暂无图片 有用 0
布衣
题主
2022-10-21
[root@bjgs005dw074 example]# cat /usr/local/canal.deployer/conf/example/instance.properties | grep connectionCharset canal.instance.connectionCharset = UTF-8 已经是了
李宏达

你这是容器吗？ 是不是缺字符集

暂无图片 评论
暂无图片 有用 0
布衣
题主
2022-10-21
不是容器，是不是缺字符集，怎么看？
李宏达

貌似不能这么看

image.png

暂无图片 评论
暂无图片 有用 0
布衣
题主
2022-10-21
我直接连到greenplum 能不能插入数据？ mysql + canal+kafka+ greenplum 这个架构，能不能行。这乱码，如果不影响，我就不看了
李宏达

你找找这个server，你是不是配到instance里的参数了。

image.png

暂无图片 评论
暂无图片 有用 0
布衣
题主
2022-10-21
这个文章我也看到了，我配置的就是server的 [root@bjgs005dw074 conf]# cat canal.properties | grep canal.mq.flatMessage canal.mq.flatMessage = true [root@bjgs005dw074 conf]# pwd /usr/local/canal.deployer/conf
回答交流
提交
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签，敬请期待~~
暂无图片墨值悬赏