暂无图片
tispark插入200万数据到tidb异常慢
我来答
分享
Y
yyyola
2021-05-25
tispark插入200万数据到tidb异常慢

【TiDB 版本】5.0.1

【问题描述】tispark插入200万数据到tidb异常慢

val df = spark.sql("""
select * from test limit 2000000
""")
df.write.
  format("tidb").
  option("tidb.user", "root").
  option("tidb.password", "").
  option("database", "tpch_test").
  option("table", "target_table_orders").
  mode("append").
  save()

以上200万数据耗费了40多分钟,其中没有大字段
通过spark2-submit --master yarn --deploy-mode cluster --num-executors 8 --executor-cores 2 --executor-memory 8G 提交

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

我来答
添加附件
收藏
分享
问题补充
1条回答
默认
最新
陈一宁

可以参考以下内容
https://asktug.com/t/topic/68031

暂无图片 评论
暂无图片 有用 0
回答交流
提交
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~
暂无图片墨值悬赏