2021-05-25
tispark插入200万数据到tidb异常慢
【TiDB 版本】5.0.1
【问题描述】tispark插入200万数据到tidb异常慢
val df = spark.sql("""
select * from test limit 2000000
""")
df.write.
format("tidb").
option("tidb.user", "root").
option("tidb.password", "").
option("database", "tpch_test").
option("table", "target_table_orders").
mode("append").
save()
以上200万数据耗费了40多分钟,其中没有大字段
通过spark2-submit --master yarn --deploy-mode cluster --num-executors 8 --executor-cores 2 --executor-memory 8G 提交
若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。
我来答
添加附件
收藏
分享
问题补充
1条回答
默认
最新
回答交流
提交
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~
墨值悬赏

评论
