注意：status:success表示导入成功。

导入JSON数据

1、创建表

    drop table if exists load_local_file_test;

    CREATE TABLE IF NOT EXISTS load_local_file_test

    (

    id INT,

    name VARCHAR(50),

    age TINYINT

    )

    unique key(id)

    DISTRIBUTED BY HASH(id) BUCKETS 3

    PROPERTIES("replication_num" = "1");

2、进入doris容器准备导入的数据 --这里是使用docker部署的doris

    [root@node1 ~]# docker exec -it doris bash

    [root@1a5c6d36820a ~]# vi json.txt

    {"id":1,"name":"jack","age":18}

    {"id":2,"name":"tatomngyan","age":17}

    {"id":3,"name":"jinlitiman","age":19}

    {"id":4,"name":"eric","age":20}

    {"id":5,"name":"mark","age":18}

3、导入数据

    [root@1a5c6d36820a ~]# curl -u root:mis@123 -H "label:load_local_file_json1" -H "columns:id,name,age" -H "max_filter_ratio:0.1" -H "timeout:1000" -H "exec_mem_limit:1G" -H "where:id>1" -H "format:json" -H "read_json_by_line:true" -T /root/json.txt http://172.17.0.2:8040/api/demo/load_local_file_test/_stream_load -H "merge_type:append" -H "merge_type:MERGE"

二、MySQL Load导入

基本原理

MySql Load和Stream Load功能相似, 都是导入本地文件到Doris集群中, 因此MySQL Load实现复用了StreamLoad的基础导入能力:

• FE接收到客户端执行的MySQL Load请求, 完成SQL解析工作
• FE将Load请求拆解,并封装为StreamLoad的请求.
• FE选择一个BE节点发送StreamLoad请求
• 发送请求的同时, FE会异步且流式的从MySQL客户端读取本地文件数据, 并实时的发送到StreamLoad的HTTP请求中.
• MySQL客户端数据传输完毕, FE等待StreamLoad完成, 并展示导入成功或者失败的信息给客户端.

支持数据格式

MySQL Load 支持数据格式：CSV（文本）。

导入语法

    LOAD DATA

    [LOCAL]

    INFILE 'file_name'

    INTO TABLE tbl_name

    [PARTITION (partition_name [, partition_name] ...)]

    [COLUMNS TERMINATED BY 'string']

    [LINES TERMINATED BY 'string']

    [IGNORE number {LINES | ROWS}]

    [(col_name_or_user_var [, col_name_or_user_var] ...)]

    [SET (col_name={expr | DEFAULT} [, col_name={expr | DEFAULT}] ...)]

    [PROPERTIES (key1 = value1 [, key2=value2]) ]

该语句用于向指定的 table 导入数据，与普通Load区别是，这种导入方式是同步导入。

这种导入方式仍然能够保证一批导入任务的原子性，要么全部数据导入成功，要么全部失败。

1. MySQL Load以语法LOAD DATA开头, 无须指定LABEL。
2. 指定LOCAL表示读取客户端文件.不指定表示读取FE服务端本地文件. 导入FE本地文件的功能默认是关闭的, 需要在FE节点上设置mysql_load_server_secure_path来指定安全路径, 才能打开该功能。
3. INFILE内填写本地文件路径, 可以是相对路径, 也可以是绝对路径.目前只支持单个文件, 不支持多个文件。
4. INTO TABLE的表名可以指定数据库名。
5. PARTITION语法支持指定分区导入。
6. COLUMNS TERMINATED BY指定列分隔符。
7. LINES TERMINATED BY指定行分隔符。
8. IGNORE num LINES用户跳过CSV的表头, 可以跳过任意行数. 该语法也可以用IGNORE num ROWS代替。

PROPERTIES

1. max_filter_ratio：最大容忍可过滤（数据不规范等原因）的数据比例。默认零容忍。
2. timeout: 指定导入的超时时间。单位秒。默认是 600 秒。可设置范围为 1 秒 ~ 259200 秒。
3. strict_mode: 用户指定此次导入是否开启严格模式，默认为关闭。
4. timezone: 指定本次导入所使用的时区。默认为东八区。该参数会影响所有导入涉及的和时区有关的函数结果。
5. exec_mem_limit: 导入内存限制。默认为 2GB。单位为字节。
6. trim_double_quotes: 布尔类型，默认值为 false，为 true 时表示裁剪掉导入文件每个字段最外层的双引号。
7. enclose: 包围符。当csv数据字段中含有行分隔符或列分隔符时，为防止意外截断，可指定单字节字符作为包围符起到保护作用。例如列分隔符为","，包围符为"'"，数据为"a,'b,c'",则"b,c"会被解析为一个字段。
8. escape: 转义符。用于转义在csv字段中出现的与包围符相同的字符。例如数据为"a,'b,'c'"，包围符为"'"，希望"b,'c被作为一个字段解析，则需要指定单字节转义符，例如""，然后将数据修改为"a,'b,'c'"。

示例：

1、创建表

    drop table if exists load_local_file_test;

    CREATE TABLE IF NOT EXISTS load_local_file_test

    (

    id INT,

    name VARCHAR(50),

    age TINYINT

    )

    unique key(id)

    DISTRIBUTED BY HASH(id) BUCKETS 3

    PROPERTIES("replication_num" = "1");

2、本地创建文件，准备数据

    [root@node1 ~]# cat demo.txt

    1,zss,28

    2,lss,28

    3,ww,88

    4,zz,99

    5,yy,100

    6,ls,98

3、连接Doris数据库

    [root@node1 tmp]# mysql -uroot -P9030 -h192.168.12.100 -p --local-infile

    注意：

    登录数据库时如果没有指定--local-infile时，导入数据时可能会出现下面的报错。

    ERROR 2068 (HY000): LOAD DATA LOCAL INFILE file request rejected due to restrictions on access.

4、导入数据

    mysql> use demo

    mysql> LOAD DATA LOCAL INFILE '/root/demo.txt' INTO TABLE demo.load_local_file_test COLUMNS TERMINATED BY ',';

    导入报错：

    mysql> LOAD DATA LOCAL INFILE '/root/demo.txt' INTO TABLE demo.load_local_file_test;

    ERROR 1105 (HY000): errCode = 2, detailMessage = [INTERNAL_ERROR]too many filtered rows with load id a7294571-5255-4c2a-9407-e731405626d3

    解决方案：

    通过show load warnings命令查看详细的报错信息，根据详细信息去分析解决问题。

    mysql> show load warnings where label='a7294571-5255-4c2a-9407-e731405626d3';

    导入建议：

• MySql Load 只能导入本地文件(可以是客户端本地或者连接的FE节点本地), 而且支持CSV格式。
• 建议一个导入请求的数据量控制在 1 - 2 GB 以内。如果有大量本地文件，可以分批并发提交。

导入本地数据 - Apache Doris

MYSQL-LOAD - Apache Doris

MySql load - Apache Doris