Skip to content

Commit

Permalink
[Feature][Docs] Add some new docs (#22)
Browse files Browse the repository at this point in the history
  • Loading branch information
@zixi0825
zixi0825 authored Oct 2, 2023
1 parent ce54618 commit 0366ce2
Show file tree
Hide file tree
Showing 38 changed files with 988 additions and 11 deletions.
0 docs/04-features/01-catalog/01-catalog.md → ...4-features/01-catalog/01-catalog-intro.md
View file
File renamed without changes.
4 changes: 0 additions & 4 deletions docs/04-features/01-catalog/02-connector/01-connector-intro.md
View file

This file was deleted.

44 changes: 44 additions & 0 deletions docs/04-features/01-catalog/02-connector/01-connector-mysql.md
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,44 @@
---
id: 'connector-mysql'
title: 'MySQL'
---

## 介绍

`MySQL` 连接器用于与 `MySQL` 类型的数据源建立连接，获取元数据和执行数据质量检查。

## 参数
### Options

| name | type | required | default value |
|:----------------------------:|:------:|:----------:|:-------------:|
| [host](#host-string) | string | yes | - |
| [port](#port-int) | int | yes | - |
| [database](#database-string) | string | yes | - |
| [user](#user-string) | string | yes | - |
| [password](#password-string) | string | yes | - |
| [properties](#properties-string) | string | no | - |


#### host [string]
数据库实例IP
#### port [int]
数据库实例端口
#### database [string]
数据库名
#### user [string]
用户名
#### password [string]
密码
#### properties [string]
配置信息，默认为：
> useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai

## 属性

| name | zh-name | supported |
|:----------------------------:|:------:|:----------:|
| invalidateItemCanOutput | 错误数据是否支持导出 | true |
| invalidateItemCanOutputToSelf | 错误数据是否支持导出至数据源 | true |
| supportToBeErrorDataStorage | 是否支持作为错误数据存储引擎 | true |
44 changes: 44 additions & 0 deletions docs/04-features/01-catalog/02-connector/02-connector-doris.md
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,44 @@
---
id: 'connector-doris'
title: 'Doris'
---

## 介绍

`Doris` 连接器用于与 `Doris` 类型的数据源建立连接，获取元数据和执行数据质量检查。

## 参数
### Options

| name | type | required | default value |
|:----------------------------:|:------:|:----------:|:-------------:|
| [host](#host-string) | string | yes | - |
| [port](#port-int) | int | yes | - |
| [database](#database-string) | string | yes | - |
| [user](#user-string) | string | yes | - |
| [password](#password-string) | string | yes | - |
| [properties](#properties-string) | string | no | - |


#### host [string]
数据库实例IP
#### port [int]
数据库实例端口
#### database [string]
数据库名
#### user [string]
用户名
#### password [string]
密码
#### properties [string]
配置信息，默认为：
> useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai

## 属性

| name | zh-name | supported |
|:----------------------------:|:------:|:----------:|
| invalidateItemCanOutput | 错误数据是否支持导出 | true |
| invalidateItemCanOutputToSelf | 错误数据是否支持导出至数据源 | true |
| supportToBeErrorDataStorage | 是否支持作为错误数据存储引擎 | false |
44 changes: 44 additions & 0 deletions docs/04-features/01-catalog/02-connector/03-connector-starrocks.md
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,44 @@
---
id: 'connector-starrocks'
title: 'StarRocks'
---

## 介绍

`StarRocks` 连接器用于与 `StarRocks` 类型的数据源建立连接，获取元数据和执行数据质量检查。

## 参数
### Options

| name | type | required | default value |
|:----------------------------:|:------:|:----------:|:-------------:|
| [host](#host-string) | string | yes | - |
| [port](#port-int) | int | yes | - |
| [database](#database-string) | string | yes | - |
| [user](#user-string) | string | yes | - |
| [password](#password-string) | string | yes | - |
| [properties](#properties-string) | string | no | - |


#### host [string]
数据库实例IP
#### port [int]
数据库实例端口
#### database [string]
数据库名
#### user [string]
用户名
#### password [string]
密码
#### properties [string]
配置信息，默认为：
> useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai

## 属性

| name | zh-name | supported |
|:----------------------------:|:------:|:----------:|
| invalidateItemCanOutput | 错误数据是否支持导出 | true |
| invalidateItemCanOutputToSelf | 错误数据是否支持导出至数据源 | true |
| supportToBeErrorDataStorage | 是否支持作为错误数据存储引擎 | false |
48 changes: 48 additions & 0 deletions docs/04-features/01-catalog/02-connector/04-connector-hive.md
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,48 @@
---
id: 'connector-hive'
title: 'Hive'
---

## 介绍

`Hive` 连接器用于与 `Hive` 类型的数据源建立连接，获取元数据和执行数据质量检查。

## 参数
### Options

| name | type | required | default value |
|:----------------------------:|:------:|:----------:|:-------------:|
| [host](#host-string) | string | yes | - |
| [port](#port-int) | int | yes | - |
| [database](#database-string) | string | yes | - |
| [user](#user-string) | string | yes | - |
| [password](#password-string) | string | yes | - |
| [properties](#properties-string) | string | no | - |


#### host [string]
数据库实例IP, 支持ZooKeeper的高可用连接，ZooKeeper地址通过 `,` 隔开
#### port [int]
数据库实例端口
#### database [string]
数据库名
#### user [string]
用户名
#### password [string]
密码
#### properties [string]
配置信息，默认为：
> hive.resultset.use.unique.column.names=false
若采用`ZooKeeper`高可用方式，需要输入以下配置：

>serviceDiscoveryMode=zooKeeper;zooKeeperNamespace={your_namespace}

## 属性

| name | zh-name | supported |
|:----------------------------:|:------:|:----------:|
| invalidateItemCanOutput | 错误数据是否支持导出 | false |
| invalidateItemCanOutputToSelf | 错误数据是否支持导出至数据源 | false |
| supportToBeErrorDataStorage | 是否支持作为错误数据存储引擎 | false |
42 changes: 42 additions & 0 deletions docs/04-features/01-catalog/02-connector/05-connector-postgresql.md
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,42 @@
---
id: 'connector-postgresql'
title: 'PostgreSQL'
---

## 介绍

`MySQL` 连接器用于与 `MySQL` 类型的数据源建立连接，获取元数据和执行数据质量检查。

## 参数
### Options

| name | type | required | default value |
|:----------------------------:|:------:|:----------:|:-------------:|
| [host](#host-string) | string | yes | - |
| [port](#port-int) | int | yes | - |
| [database](#database-string) | string | yes | - |
| [user](#user-string) | string | yes | - |
| [password](#password-string) | string | yes | - |
| [properties](#properties-string) | string | no | - |


#### host [string]
数据库实例IP
#### port [int]
数据库实例端口
#### database [string]
数据库名
#### user [string]
用户名
#### password [string]
密码
#### properties [string]
配置信息

## 属性

| name | zh-name | supported |
|:----------------------------:|:------:|:----------:|
| invalidateItemCanOutput | 错误数据是否支持导出 | true |
| invalidateItemCanOutputToSelf | 错误数据是否支持导出至数据源 | false |
| supportToBeErrorDataStorage | 是否支持作为错误数据存储引擎 | false |
42 changes: 42 additions & 0 deletions docs/04-features/01-catalog/02-connector/06-connector-clickhouse.md
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,42 @@
---
id: 'connector-clickhouse'
title: 'ClickHouse'
---

## 介绍

`ClickHouse` 连接器用于与 `ClickHouse` 类型的数据源建立连接，获取元数据和执行数据质量检查。

## 参数
### Options

| name | type | required | default value |
|:----------------------------:|:------:|:----------:|:-------------:|
| [host](#host-string) | string | yes | - |
| [port](#port-int) | int | yes | - |
| [database](#database-string) | string | yes | - |
| [user](#user-string) | string | yes | - |
| [password](#password-string) | string | yes | - |
| [properties](#properties-string) | string | no | - |


#### host [string]
数据库实例IP
#### port [int]
数据库实例端口
#### database [string]
数据库名
#### user [string]
用户名
#### password [string]
密码
#### properties [string]
配置信息

## 属性

| name | zh-name | supported |
|:----------------------------:|:------:|:----------:|
| invalidateItemCanOutput | 错误数据是否支持导出 | true |
| invalidateItemCanOutputToSelf | 错误数据是否支持导出至数据源 | false |
| supportToBeErrorDataStorage | 是否支持作为错误数据存储引擎 | false |
45 changes: 45 additions & 0 deletions docs/04-features/01-catalog/02-connector/07-connector-trino.md
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,45 @@
---
id: 'connector-trino'
title: 'Trino'
---

## 介绍

`Trino` 连接器用于与 `Trino` 类型的数据源建立连接，获取元数据和执行数据质量检查。

## 参数
### Options

| name | type | required | default value |
|:----------------------------:|:------:|:----------:|:-------------:|
| [host](#host-string) | string | yes | - |
| [port](#port-int) | int | yes | - |
| [catalog](#catalog-string) | string | yes | - |
| [database](#database-string) | string | no | - |
| [user](#user-string) | string | yes | - |
| [password](#password-string) | string | no | - |
| [properties](#properties-string) | string | no | - |


#### host [string]
数据库实例IP
#### port [int]
数据库实例端口
#### catalog [string]
catalog
#### database [string]
数据库名
#### user [string]
用户名
#### password [string]
密码
#### properties [string]
配置信息，用&隔开

## 属性

| name | zh-name | supported |
|:----------------------------:|:------:|:----------:|
| invalidateItemCanOutput | 错误数据是否支持导出 | true |
| invalidateItemCanOutputToSelf | 错误数据是否支持导出至数据源 | false |
| supportToBeErrorDataStorage | 是否支持作为错误数据存储引擎 | false |
45 changes: 45 additions & 0 deletions docs/04-features/01-catalog/02-connector/08-connector-presto.md
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,45 @@
---
id: 'connector-presto'
title: 'Presto'
---

## 介绍

`Presto` 连接器用于与 `Presto` 类型的数据源建立连接，获取元数据和执行数据质量检查。

## 参数
### Options

| name | type | required | default value |
|:----------------------------:|:------:|:----------:|:-------------:|
| [host](#host-string) | string | yes | - |
| [port](#port-int) | int | yes | - |
| [catalog](#catalog-string) | string | yes | - |
| [database](#database-string) | string | no | - |
| [user](#user-string) | string | yes | - |
| [password](#password-string) | string | no | - |
| [properties](#properties-string) | string | no | - |


#### host [string]
数据库实例IP
#### port [int]
数据库实例端口
#### catalog [string]
catalog
#### database [string]
数据库名
#### user [string]
用户名
#### password [string]
密码
#### properties [string]
配置信息

## 属性

| name | zh-name | supported |
|:----------------------------:|:------:|:----------:|
| invalidateItemCanOutput | 错误数据是否支持导出 | true |
| invalidateItemCanOutputToSelf | 错误数据是否支持导出至数据源 | false |
| supportToBeErrorDataStorage | 是否支持作为错误数据存储引擎 | false |
Loading

0 comments on commit 0366ce2

Please sign in to comment.