ClickHouse 之 FORMAT 应用

ClickHouse周边 2021-06-11

1562

ClickHouse是支持将外部数据插入到数据库的，也支持直接查询外部数据文件，同时支持将查询结果直接写入到文件中，这些都需要用到FORMAT参数。虽然这些功能已经非常强大了，但是个人觉得CH对IO数据格式的支持还是离Python等很远很远（不管是广度还是读取识别的准确性）。

1. FORMAT的应用

1）外部数据插入ClickHouse数据库

语法示例如下：

clickhouse-client --port 9000 -u default  -h 127.0.0.1 --query="INSERT INTO test FORMAT CSV"  < /home/clickhouse/test.csv

cat home/clickhouse/test.csv | clickhouse-client --port 9000 -u default  -h 127.0.0.1 --query="INSERT INTO test FORMAT CSV" --input_format_allow_errors_num=100000

2）直接查询外部数据，

需要在clickhouse-client中查询。示例如下：

clickhouse-client --port 9000 -u default  -h 127.0.0.1 --password='clickhouse@123' --query="select count() from like" --external --file=/home/clickhouse/cluster.csv --name=like --format=CSV --types="String,UInt32,UInt32,UInt32,String,String,UInt16,UInt8,String,String"

这里的format是配合表引擎中小数据表引擎-External data来使用。其实就是给外部数据建了个临时表然后查询。

ClickHouse官网详细解释
https://clickhouse.tech/docs/en/engines/table-engines/special/external-data/

3）数据查询结果写入外部文件中

需要在clickhouse-client中查询，数据是写入到client端，而不是服务器端。什么意思呢？clickhouse-client启动的时候是可以带host和port参数的，也就是我可以A机器上的客户端连接B机器上的服务端，数据会写入到A机器上面。另外，http连接的情况是不支持写入的。

示例如下：

4）查询结果打印到Terminal的显示格式

语法和显示效果示例如下：

2. FORMAT支持的种类

ClickHouse官网详细解释 Formats for Input and Output Data
https://clickhouse.tech/docs/en/interfaces/formats/

Format	INSERT	SELECT
TabSeparated	✔	✔
TabSeparatedRaw	✗	✔
TabSeparatedWithNames	✔	✔
TabSeparatedWithNamesAndTypes	✔	✔
CSV	✔	✔
CSVWithNames	✔	✔
Values	✔	✔
Vertical	✗	✔
VerticalRaw	✗	✔
JSON	✗	✔
JSONCompact	✗	✔
JSONEachRow	✔	✔
TSKV	✔	✔
Pretty	✗	✔
PrettyCompact	✗	✔
PrettyCompactMonoBlock	✗	✔
PrettyNoEscapes	✗	✔
PrettySpace	✗	✔
RowBinary	✔	✔
Native	✔	✔
Null	✗	✔
XML	✗	✔
CapnProto	✔	✔