🖥 백엔드

<p>언틸 서비스에는 블로그에 업로드되는 이미지들을 저장하기 위해 AWS의 S3 서비스를 이용하고 있다. 파일을 업로드하면 해당 파일의 이름에 따라 해당 파일에 액세스할 수 있도록 URL을 제공하고 있는데, 언틸에서는 따로 파일의 확장자를 지정하지 않고 저장하고 있었다.</p><p>덕분에 url이 이렇게 나오고 있었다.<br><code spellcheck="false">https://{언틸_S3_URL}/octoping/profile/1722161760968</code></p><p>물론 지금 생각해보면 왜 그랬을까 싶긴 한데... 열심히 개발하면서 아무 생각 없이 저질렀던 것 같다.</p><p></p><h1>코드</h1><pre spellcheck="false"><code class="language-kotlin">@Profile("real")
@Service
class S3ImageUploadService(
    private val s3Config: S3Config,
    private val imageDataSaver: ImageDataSaver,
    private val profileReader: ProfileReader,
) : ImageUploadService {
    override fun uploadImage(request: ImageUploadRequest): ImageUploadResult {
        val blog = profileReader.findById(request.blogId)
        val filePath = createFilePath(blog.username, request.fileType)
        val imgUrl = uploadImageAndGetUrl(filePath, request)
        
        // ...
    }

    private fun createFilePath(username: String, fileType: FileType): String {
        val fileName = System.currentTimeMillis().toString()
        return username + "/" + fileType.storePath + "/" + fileName
    }
}
</code></pre><p>다음이 해당 부분의 코드다.</p><p>블로그의 username과 파일의 타입 (프로필 사진인지, 아티클 사진인지 등)을 받아 저장될 path를 생성하는 함수가 보인다. 여기에서 <code spellcheck="false">fileName</code>은 현재 시각을 통해서 만들고 있는데. 보시다시피 확장자를 따로 삽입해주고 있지 않았다..</p><p>결국 이것들이 S3에 올라간 시점에서는 타입을 구분하기가 어려워진다. </p><p></p><h1>문제</h1><p>저장된 파일의 확장자가 없으니 S3의 url만 가지고는 어떤 파일인지를 알 수 없게 된다. 이것이 이미지인지, 동영상인지, 그냥 파일인지 알 수 없다. 물론 언틸의 경우 지금이야 이미지만 저장하고 있으니 괜찮지 않을까?</p><p></p><h2>WebP 변환 이슈</h2><p>이미지에도 종류가 여러 가지가 있다. jpg, png, webp, gif...</p><p>그 중 WebP는 구글이 웹페이지 로딩 속도를 높이기 위해 개발한 이미지 포맷인데, 기존 포맷들에 비해 용량을 크게 줄일 수 있어 많은 사이트들에서 웹 사이트의 로딩 속도를 향상시키기 위해 사용하고 있다.</p><p></p><p>그리고 보통 이미지의 WebP로의 변환은 <code spellcheck="false">CloudFront</code>의 <code spellcheck="false">Origin Response</code>에서 <code spellcheck="false">Lambda@Edge</code>를 통해 on-the-fly 방식으로 이루어지게 된다.</p><p></p><img src="https://image.until.blog/octoping/article/1729522382526.png" data-width="75%" data-align="center" alt="until-1840"><p>이 WebP로 변환하는 람다 함수에서는 <code spellcheck="false">Sharp</code>라는 라이브러리를 사용한다. 이 라이브러리는 다양한 확장자의 이미지를 지원하지만 그럼에도 지원하지 않는 이미지 포맷이 존재한다. (ex. BMP 파일)</p><p>따라서 WebP 변환을 진행하는 함수에서 확장자 검사를 진행해야 하는데, 앞서 소개한 상황에서는 확장자를 지니고 있지 않으니 다음을 진행할 수가 없다.</p><p></p><h1>해결</h1><pre spellcheck="false"><code class="language-kotlin">// Before
private fun createFilePath(username: String, fileType: FileType): String {
    val fileName = System.currentTimeMillis().toString()
    return username + "/" + fileType.storePath + "/" + fileName
}

// After
private fun createFilePath(username: String, fileType: FileType, contentType: String): String {
   val fileName = System.currentTimeMillis().toString()
   return username + "/" + fileType.storePath + "/" + fileName + "." + contentType.split("/")[1]
}</code></pre><p>다음과 같이 파일 이름에 확장자를 추가해주었다.</p><p><code spellcheck="false">MultipartFile</code>에서 넘어오는 <code spellcheck="false">contentType</code>은 <code spellcheck="false">image/png</code>와 같은 형식으로 주어지므로, <code spellcheck="false">contentType.split("/")[1]</code>와 같은 형식으로 파싱해주면 된다.</p><p></p><img src="https://image.until.blog/octoping/article/1729523218239.png" data-width="100%" data-align="center" alt="until-1841"><p>이제는 확장자가 잘 붙은 것을 볼 수 있다.. 😢<br>다시는 하지 말자 이런 실수</p>

S3에 파일을 업로드할 때는 꼭 확장자도 같이 붙여줍시다

S3에 파일을 업로드할 때 파일 이름에 확장자를 붙이지 않아 생긴 이슈 (feat. 이미지 최적화)

<h2>🤔 문제<a target="_blank" rel="noopener noreferrer nofollow" class="hash-link" href="https://teddygood.github.io/wiki/python-lib-cryptography#-%EB%AC%B8%EC%A0%9C">​</a></h2><h3>Alpine Linux와 cryptography의 호환성 문제<a target="_blank" rel="noopener noreferrer nofollow" class="hash-link" href="https://teddygood.github.io/wiki/python-lib-cryptography#alpine-linux%EC%99%80-cryptography%EC%9D%98-%ED%98%B8%ED%99%98%EC%84%B1-%EB%AC%B8%EC%A0%9C">​</a></h3><p>Django 블로그 프로젝트를 docker로 옮기는 도중 에러가 떴다. alpine linux와 python에서 암호화 알고리즘이 구현된 패키지인 cryptography의 호환성 문제였다.</p><pre spellcheck="false"><code class="language-shell">FROM python:3.8-alpine</code></pre><pre spellcheck="false"><code class="language-shell">cryptography==3.4.7</code></pre><p>현재 Dockerfile에서 사용하는 image 버전과 requirements.txt에 적힌 cryptography 버전은 위와 같다.</p><pre spellcheck="false"><code class="language-bash">docker-compose build</code></pre><pre spellcheck="false"><code class="language-shell">ERROR: No matching distribution found for cryptography==3.4.7</code></pre><p><code spellcheck="false">Dockerfile</code>, <code spellcheck="false">docker-compose.yml</code>을 다 만들고 난 후에 마지막으로 위의 명령어로 빌드를 하던 중 위의 Error를 만났다.</p><h3>빌드가 오래 걸리는 문제<a target="_blank" rel="noopener noreferrer nofollow" class="hash-link" href="https://teddygood.github.io/wiki/python-lib-cryptography#%EB%B9%8C%EB%93%9C%EA%B0%80-%EC%98%A4%EB%9E%98-%EA%B1%B8%EB%A6%AC%EB%8A%94-%EB%AC%B8%EC%A0%9C">​</a></h3><img src="https://image.until.blog/teddygood/article/1716799059748" alt="until-292"><p>위의 명령어를 Dockerfile에 추가하고 다시 build 하니 위와 같이 에러 아닌 에러가 떴다. 이미지를 보면 알 수 있듯이 still running이 지속되는 상황이다. 대략 10분 정도 그대로 놔뒀는데도 빌드가 안 되는 상황이다.</p><img src="https://image.until.blog/teddygood/article/1716799052962" alt="until-291"><p>cryptography GitHub 저장소에서 가져온 이슈 이미지다. 현재의 상황과 같길래 답변을 참고하려 했으나 내 지식으로는 이해 불가였다. 대략 요약하자면 파이썬 패키지 포맷과 관련된 답변과 alpine linux에 대해 공식 문서로 잘 정리되어 있다는 내용이다. 결론적으로는 도움이 안 됐지만, 혹시 저 답변으로 해결할 수 있는 분이 있을 수 있기에 가져와봤다.</p><p>현 시점의 문제는 빌드가 오래 걸린다는 것이다. 이 문제를 해결하기 위해 다시 구글링을 하면서 도커에 대해 공부하게 됐고, 파이썬 환경에서 도커를 이용할 때 어떤 OS를 사용하는 것이 더 유리한 가에 대해 공부했다.</p><h2>🚩 해결<a target="_blank" rel="noopener noreferrer nofollow" class="hash-link" href="https://teddygood.github.io/wiki/python-lib-cryptography#-%ED%95%B4%EA%B2%B0">​</a></h2><h3>첫 번째 문제 해결<a target="_blank" rel="noopener noreferrer nofollow" class="hash-link" href="https://teddygood.github.io/wiki/python-lib-cryptography#%EC%B2%AB-%EB%B2%88%EC%A7%B8-%EB%AC%B8%EC%A0%9C-%ED%95%B4%EA%B2%B0">​</a></h3><img src="https://image.until.blog/teddygood/article/1716799044352" alt="until-290"><p>아무리 구글링을 해도 찾지를 못 해서 공식 문서를 보기로 결정했고 어느정도 해결책을 찾았다.</p><p>대략 요약하면 cryptography 패키지는 Rust를 사용하기에 Rust compiler도 같이 다운로드 해야지 돌아간다는 것이다. Rust는 cryptography를 빌드할 때 필요하며 stackoverflow에서 참고한 답변에서는 rust 설치를 스킵하는 명령어를 추가하는 방법도 알 수 있었다.</p><pre spellcheck="false"><code class="language-shell">ENV CRYPTOGRAPHY_DONT_BUILD_RUST=1</code></pre><p>multi-stage를 사용하여 빌드하라고 한다. 물론 multi-stage를 사용하면 이미지를 경량화하는 것도 좋은 방법이지만 도커를 자세히 배운 사람이 아니라 잘 모르기 때문에 이 방법은 패스했다.</p><pre spellcheck="false"><code class="language-bash">$ sudo apk add gcc musl-dev python3-dev libffi-dev openssl-dev cargo</code></pre><p>위의 명령어를 Dockerfile에 추가하면서 첫 번째 문제는 끝났다.</p><h3>두 번째 문제 해결<a target="_blank" rel="noopener noreferrer nofollow" class="hash-link" href="https://teddygood.github.io/wiki/python-lib-cryptography#%EB%91%90-%EB%B2%88%EC%A7%B8-%EB%AC%B8%EC%A0%9C-%ED%95%B4%EA%B2%B0">​</a></h3><h4>alpine linux가 파이썬 환경에서 적절하지 않은 이유<a target="_blank" rel="noopener noreferrer nofollow" class="hash-link" href="https://teddygood.github.io/wiki/python-lib-cryptography#alpine-linux%EA%B0%80-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%ED%99%98%EA%B2%BD%EC%97%90%EC%84%9C-%EC%A0%81%EC%A0%88%ED%95%98%EC%A7%80-%EC%95%8A%EC%9D%80-%EC%9D%B4%EC%9C%A0">​</a></h4><p>대부분의 사람들이 도커를 처음 사용할 때 alpine linux로 사용하는데 그 이유는 Ubuntu linux와 비교했을 때 용량도 작고 빌드할 때 더 빠르기 때문이다. 그러나 python 환경에서는 적절하지 않다.</p><p>그 이유는 사용하는 라이브러리의 차이에서 시작된다. 대부분의 리눅스 배포판은 파이썬을 포함한 모든 C언어 프로그램에 필요한 C언어 표준 라이브러리인 GNU 라이브러리(glibc)를 사용한다. 그러나 Alpine Linux는 좀 더 경량화하기 위하여 GNU 라이브러리를 사용하는 것이 아니라 musl 라이브러리를 사용한다. 이 musl 라이브러리는 GNU 라이브러리로 컴파일 된 <code spellcheck="false">Wheel 바이너리</code>를 지원하지 않는다. 그렇기 때문에 <code spellcheck="false">.whl</code> 확장자를 갖는 패키지를 다운 받는 것이 아니라 <code spellcheck="false">.tar.gz</code> 확장자 파일을 다운 받게 된다. 그렇기 때문에 alpine linux를 사용하는 경우 사용하는 모든 파이썬 패키지의 C코드를 컴파일 해야 하므로 빌드 시간도 오래 걸리며 용량도 커진다는 것이다.</p><p>최근 대부분의 파이썬 패키지에는 PyPI의 Wheel 바이너리가 포함되어 있어 설치 시간이 빠르다. Wheel은 사실 .whl 확장자와 특별한 형식의 파일 이름으로 이루어진 ZIP 형식을 아카이브한 것이다. 쉽게 말하면 확장자만 바꾼 것이다.</p><ol class="tight" data-tight="true"><li><p>빌드가 느리다.</p></li><li><p>이미지 용량이 커진다.</p></li><li><p>시간이 많이 낭비된다.(빌드하는 과정)</p></li><li><p>런타임 버그들을 만날 수 있다.</p></li></ol><p>간단하게 요약하자면 위의 이유들이 Alpine Linux가 python 환경에서 적절하지 않은 이유이다.</p><h4>그럼 어떤 OS를 사용해야 할까?<a target="_blank" rel="noopener noreferrer nofollow" class="hash-link" href="https://teddygood.github.io/wiki/python-lib-cryptography#%EA%B7%B8%EB%9F%BC-%EC%96%B4%EB%96%A4-os%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%95%BC-%ED%95%A0%EA%B9%8C">​</a></h4><p>성능에 관심 있으면 ubuntu, 가볍게 도커를 시작해보려면 alpine이 좋겠지만 현재 나는 파이썬 환경에서 도커를 사용해보려 하니 Debian buster를 기반으로 한 3.8-slim-buster를 사용한다.</p><pre spellcheck="false"><code class="language-shell">RUN apk update \
&amp;&amp; apk add postgresql-dev gcc python3-dev musl-dev zlib-dev jpeg-dev libffi-dev openssl-dev cargo</code></pre><pre spellcheck="false"><code class="language-shell">FROM python:3.8-slim-buster</code></pre><p>위의 apk로 패키지 설치한 부분의 명령어를 지우고, slim-buster로 바꿔준다.</p><p>이후 다시 build 했을 때 잘 되는 모습을 확인할 수 있다.</p><h2>🌐References<a target="_blank" rel="noopener noreferrer nofollow" class="hash-link" href="https://teddygood.github.io/wiki/python-lib-cryptography#references">​</a></h2><ul class="tight" data-tight="true"><li><p><a target="_blank" rel="noopener noreferrer" href="https://cryptography.io/en/latest/installation/">Cryptography installation</a></p></li><li><p><a target="_blank" rel="noopener noreferrer" href="https://github.com/pyca/cryptography/issues/5776">Dependencies to build on Alpine Linux?</a></p></li><li><p><a target="_blank" rel="noopener noreferrer" href="https://jonnung.dev/docker/2020/04/08/optimizing-docker-images/">도커 이미지 잘 만드는 방법</a></p></li><li><p><a target="_blank" rel="noopener noreferrer" href="https://pythonspeed.com/articles/alpine-docker-python/">Using Alpine can make Python Docker builds 50x slower</a></p></li><li><p><a target="_blank" rel="noopener noreferrer" href="https://pythonspeed.com/articles/base-image-python-docker-images/">The best Dockeer base image for Python application</a></p></li></ul>