FDS迁移工具
简介
FDS提供了第三方对象存储引擎迁移到FDS的命令行工具。工具下载地址:migration-tool.tar.gz
使用方法
参数 | 可选值 | 含义 | 例子 |
---|---|---|---|
-st | fds或oss (必填) | 迁移源端的对象存储名称,目前支持fds/oss/s3/ks3 | sh migration-tool.sh -st fds sh migration-tool.sh -st oss |
-se | 必填 | 源端对象存储系统的endpoint | sh migration-tool.sh -se xxx.fds.api.xiaomi.com sh migration-tool.sh -se http://oss-cn-beijing.aliyuncs.com |
-sak | 必填 | 源端对象存储的accessKey | |
-ssk | 必填 | 源端对象存储的secretKey | |
-sb | 必填 | 源端对象存储的bucket | |
-de | 必填 | 目标fds的endpoint | sh migration-tool.sh -de xxx.fds.api.xiaomi.com |
-dak | 必填 | 目标fds的accessKey | |
-dsk | 必填 | 目标fds的secretKey | |
-db | 必填 | 目标fds的bucket | |
-bw | 可选 | 每个线程最大带宽,单位MB,默认10MB | |
-ps | 可选 | 迁移的线程数, 默认是10 | |
-nsle | 可选 | 不跳过已存在的object, 即覆盖已存在的文件 | sh migration-tool.sh -nsle |
-sm | 可选 | 指定起始的object(指定后包含该object),默认为null,即从头开始 | |
-em | 可选 | 指定结束的object(指定后不包含该object),默认为null,即到bucket的最后 | |
-p | 可选 | 指定要迁移的object前缀,默认为null,即bucket下的所有object | |
-fp | 可选 | 指定objects列表的文件路径 |
注意事项
迁移过程中,可能出现迁移失败的object
在log中,每分钟会打印一次迁移统计的log,copiedBad是指拷贝了,但是损坏了的文件数(迁移工具会自动删掉),copiedFailed是指迁移失败的文件数,可以通过在log中搜关键词“Copied bad” 和 “Failed to copy object” 找到对应的object名