Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

add repartitionWithNebula for Exchange #1412

Merged
merged 1 commit into from
Jan 19, 2022
Merged

add repartitionWithNebula for Exchange #1412

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
8 changes: 8 additions & 0 deletions docs-2.0/nebula-exchange/parameter-reference/ex-ug-parameter.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -184,6 +184,7 @@
|参数|数据类型|默认值|是否必须|说明|
|:---|:---|:---|:---|:---|
|`tags.path`|string|-|是|指定需要生成 SST 文件的源文件的路径。|
|`tags.repartitionWithNebula`|bool|`false`|否|生成 SST 文件时是否要基于 Nebula Graph 中图空间的 partition 进行数据重分区。开启该功能可减少 DOWNLOAD 和 INGEST SST 文件需要的时间。|

### Nebula Graph 源特有参数

Expand Down Expand Up @@ -218,6 +219,13 @@
|`edges.batch`|int|`256`|是|单批次写入 Nebula Graph 的最大边数量。|
|`edges.partition`|int|`32`|是|Spark 分片数量。|

### 生成 SST 时的特有参数

|参数|数据类型|默认值|是否必须|说明|
|:---|:---|:---|:---|:---|
|`edges.path`|string|-|是|指定需要生成 SST 文件的源文件的路径。|
|`edges.repartitionWithNebula`|bool|`false`|否|生成 SST 文件时是否要基于 Nebula Graph 中图空间的 partition 进行数据重分区。开启该功能可减少 DOWNLOAD 和 INGEST SST 文件需要的时间。|

### Nebula Graph 源特有参数

|参数|数据类型|默认值|是否必须|说明|
Expand Down
12 changes: 12 additions & 0 deletions docs-2.0/nebula-exchange/use-exchange/ex-ug-import-from-sst.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -279,6 +279,9 @@ SST 文件是一个内部包含了任意长度的有序键值对集合的文件

# 指定 Spark 分片数量。
partition: 32

# 生成 SST 文件时是否要基于 Nebula Graph 中图空间的 partition 进行数据重分区。
repartitionWithNebula: false
}

# 设置 Tag team 相关信息。
Expand Down Expand Up @@ -324,6 +327,9 @@ SST 文件是一个内部包含了任意长度的有序键值对集合的文件

# 指定 Spark 分片数量。
partition: 32

# 生成 SST 文件时是否要基于 Nebula Graph 中图空间的 partition 进行数据重分区。
repartitionWithNebula: false
}

# 如果需要添加更多点，请参考前面的配置进行添加。
Expand Down Expand Up @@ -380,6 +386,9 @@ SST 文件是一个内部包含了任意长度的有序键值对集合的文件

# 指定 Spark 分片数量。
partition: 32

# 生成 SST 文件时是否要基于 Nebula Graph 中图空间的 partition 进行数据重分区。
repartitionWithNebula: false
}

# 设置 Edge type serve 相关信息。
Expand Down Expand Up @@ -431,6 +440,9 @@ SST 文件是一个内部包含了任意长度的有序键值对集合的文件

# 指定 Spark 分片数量。
partition: 32

# 生成 SST 文件时是否要基于 Nebula Graph 中图空间的 partition 进行数据重分区。
repartitionWithNebula: false
}

]
Expand Down