S3를 다루기에 가장 편리한 도구 mc

  • Post Author:
  • Post Category:
  • Post Comments:0 Comments
  • Post last modified:April 8, 2020

MinIO Client 는 최고의 S3 관리도구이다. 여러 도구를 사용해봤으나 이만한 도구를 찾기 힘들다. aws cli의 경우 pagination, rate limit을 사용자가 직접 처리해야 한다. 1000 개 이상의 파일을 다룰 때 피곤하다. s3cmd 는 병렬처리를 제대로 못하는데다 버그가 꽤 있다. bloomreach/s4cmd: Super S3 command line tool 같은 변형 도구가 있지만 s3cmd와 크게 다르지 않고 문제는 더 많다.

MinIO의 클라이언트 도구인 mc는 그야말로 쾌적하다. Rate limit과 Pagination을 잘 다룬다. 병렬처리도 잘하는 덕에 파일이 많은 경우에 다른 도구에 비해 월등한 속도로 작업을 끝낸다.

#!/bin/bash -xe
mc config host add s3 https://sgp1.digitaloceanspaces.com "${AWS_ACCESS_KEY_ID}" "${AWS_SECRET_ACCESS_KEY}"

mc mirror s3/src-bucket/src-subdir s3/dst-bucket/dst-subdir

문제점 1

AWS IAM Role을 지원하지 않는다. Access key를 무조건 받아야 하기 때문에 사용상의 제약이 많다.

Buy me a coffeeBuy me a coffee

최 재훈

Kubernetes, DevSecOps, Golang, 지속적인 통합 등 다양한 주제에 관심이 많다.