100亿数据平滑数据迁移,不影响服务

一、问题的提出

互联网有很多“数据量较大，并发量较大，业务复杂度较高”的业务场景，其典型系统分层架构如下：

（1）上游是业务层biz，实现个性化的业务逻辑

（2）中游是服务层service，封装数据访问

（3）下游是数据层db，存储固化的业务数据

服务化分层架构的好处是，服务层屏蔽下游数据层的复杂性，例如缓存、分库分表、存储引擎等存储细节不需要向调用方暴露，而只向上游提供方便的RPC访问接口，当有一些数据层变化的时候，所有的调用方也不需要升级，只需要服务层升级即可。

互联网架构，很多时候面临着这样一些需求：

需求1->底层表结构变更：数据量非常大的情况下，数据表增加了一些属性，删除了一些属性，修改了一些属性。

需求2->分库个数变换：由于数据量的持续增加，底层分库个数非成倍增加。

需求3->底层存储介质变换：底层存储引擎由一个数据