ossimport(数据迁移工具)

OssImport是一款专业的数据迁移软件，可以将本地和云存储的数据迁移到OSS中，支持断点续传、流量控制、单机模式、指定文件等。提供单机模式和分布式模式两种部署方式，满足不同用户的配置需求，需要的朋友可以来本站下载！

【运行环境】

　　ossimport可以部署在Linux或Windows系统上，要求如下：

　　Windows7及以上版本

　　Linux系统最新版本

　　Java 1.7及以上版本

　　注意 分布式部署暂时不支持Windows系统。

【软件特色】

　　ossimport具有以下特点：

　　支持丰富的数据源，包括本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等，并可根据需要扩展。

　　支持单机模式和分布式模式。单机模式部署简单使用方便，分布式模式适合大规模数据迁移。

　　支持断点续传。

　　支持流量控制。

　　支持迁移指定时间以后的文件、特定前缀的文件。

　　支持并行数据下载和上传。

【阿里云OssImport工具单机和分布式的区别】

1、Master、Worker、Tracker、Console运行在一个机器上，系统中有且只有一个Worker。我们对单机模式的部署和执行进行了封装优化，单机部署和执行都很简单。单机模式下Master、Worker、TaskTracker、Console四个模块统一打包成ossimport2.jar。

2、分布式模式下可以启动多个Worker执行迁移数据，Task平均分配到Worker上执行，一个Worker执行多个Task。每一个机器上只能启动一个Worker。workers配置的第一个 Worker 上会同时启动 Master ， TaskTracker， Console 也要在该机器上运行。

【注意事项】

ossimport有单机模式和分布式模式两种部署方式。

单机模式：当您需要迁移的数据小于30TB时，推荐部署单机模式。您可以将ossimport部署在任意一台可以访问您待迁移数据，且可以访问OSS的机器上。

分布式模式：当您需要迁移的数据大于30TB时，推荐使用分布式模式。您可以将ossimport部署在任意多台可以访问您待迁移数据，且可以访问OSS的机器上。

【使用说明】

迁移方案

具体步骤如下：

全量迁移T1前的历史数据。

记录迁移开始时间T1(注意为Unix时间戳，即自1970年1月1日UTC零点以来的秒数，通过命令date +%s获取)。

迁移指导说明参考OssImport官网文档，请参考迁移工具-分布式。

打开OSS镜像回源，并将读写切换到OSS，迁移源不再新增数据。

步骤1迁移完成后，在OSS控制台打开OSS镜像回源功能，回源地址为迁移源(第三方存储)。

在业务系统读写切换到OSS，假设业务系统修改好的时间为T2。

此时T1前的数据从OSS读取，T1后的数据，OSS利用镜像回源从第三方服务读取，而新数据完全写入OSS。

快速迁移T1~T2到数据。

在步骤2完成后，第三方存储不会再新增数据，数据读写已切到OSS。

修改配置文件job.cfg的配置项importSince=T1，新发起迁移job，迁移T1~T2数据。

步骤3完成后，即完成迁移全过程。

步骤3完成后，您业务的所有的读写都在OSS上，第三方存储只是一份历史数据，您可以根据需要决定保留或删除。

OssImport负责数据的迁移和校验，不会删除任何数据。