将25TB数据从一个S3存储桶移动到另一个存储桶花费了7名工程师和整整2天的时间

2020-09-14 06:12:28

我们最近将25TB的数据从S3存储桶移动到另一个存储桶。我们估计一个工程师需要2个小时。在开始这个过程后,我们很快意识到它进行得相当慢。特别是因为有数百万个小文件,几乎没有MB。所有7名工程师都支持这项工作,在7名工程师的帮助下,我们在2天内完成了工作,使会议全天候正常进行。

我认为对每一个小文件进行网络请求都是导致速度慢的原因。如果是更大的文件,就不会花这么长时间了。

一定有更好的办法。请帮我找到下一次我们做这件事的选择。