Segmentation

이미지 세그멘테이션에서 모델의 성능을 평가할 때 자주 사용하는 지표는 Pixel Accuracy, Mean IoU, DICE가 있습니다. 각각의 지표는 세그멘테이션 결과와 실제 정답 간의 겹침 정도를 측정하여 모델이 얼마나 정확하게 분할했는지를 나타냅니다.<h2>1. Pixel Accuracy</h2><ol><li>정의 : 모든 픽셀 중에서 모델이 올바르게 분류한 픽셀의 비율입니다.</li><li>특징<ul><li>클래스 간 픽셀 분포가 불균형한 경우, 특정 클래스가 넓은 영역을 차지한다면 전체 정확도가 높아질 수 있습니다.</li><li>예를 들어, 배경이 대부분을 차지하는 이미지에서는 배경만 정확히 예측해도 높은 Pixel Accuracy를 얻을 수 있어 한계가 있습니다.</li></ul></li></ol><ol start="3"><li>계산 방식</li></ol><img src="https://image.until.blog/jxxhyo/article/1731428082496.png" data-width="75%" data-align="center" alt="2134"><h2>2. Mean IoU</h2><ol><li>정의 : 예측 영역과 실제 정답 영역 간의 겹침 비율을 측정한 IoU (Intersection over Union)를 각 클래스별로 계산하고, 그 평균을 구한 값입니다.</li><li>계산 방식 <img src="https://image.until.blog/jxxhyo/article/1731428300331.png" data-width="75%" data-align="center" alt="2135"><img src="https://image.until.blog/jxxhyo/article/1731428305094.png" data-width="25%" data-align="center" alt="2136"><ul><li>여기서&nbsp; N 은 클래스의 수입니다.</li><li>각 클래스별 IoU를 계산한 후 평균을 구해 전체 성능을 평가합니다.</li></ul></li></ol><ol start="3"><li>특징<ul><li>클래스별 예측 정확도를 균형 있게 반영하기 때문에, 클래스 불균형이 있는 경우에도 보다 정확한 평가가 가능합니다.</li><li>세그멘테이션에서 가장 널리 사용되는 지표 중 하나로, 특히 배경과 객체 클래스가 복잡한 상황에서 유용합니다.</li></ul></li></ol><h2>3. DICE</h2><ol><li>정의 : 예측 영역과 실제 정답 영역의 겹치는 정도를 평가하는 지표로, 특히 겹치는 부분이 얼마나 일치하는지 확인합니다. IoU와 유사하지만, 두 배의 겹침을 계산하므로 클래스 간 중복성을 더욱 강조합니다.</li><li>계산 방식 :<img src="https://image.until.blog/jxxhyo/article/1731428808625.png" data-width="25%" data-align="center" alt="2141"><ul><li>DICE 지수는 IoU와 비슷하게 작동하지만, 겹치는 부분이 두 배로 계산됩니다.</li><li>A 는 실제 세그멘테이션 영역이고,&nbsp; B 는 예측된 세그멘테이션 영역을 나타냅니다.</li><li>|A 교 B| 는 A와 B가 겹치는 영역의 픽셀 수 (True Positive)입니다.</li><li>|A| + |B| 는 실제와 예측된 영역의 전체 픽셀 수입니다.</li></ul></li><li>특징<ul><li>특히 두 클래스 간의 분할 결과를 비교할 때 유용하며, 의료 영상이나 뼈 분할처럼 정확한 경계가 중요한 작업에 자주 사용됩니다.</li><li>DICE 지수는 IoU와 비교했을 때 겹치는 부분이 더 강조되어, 정확한 객체 경계를 예측하는 모델에서 높은 값을 보입니다.</li></ul></li></ol><img src="https://image.until.blog/jxxhyo/article/1731428605042.png" data-width="75%" data-align="center" alt="2140">(사진 참고 : <a target="_blank" rel="noopener noreferrer nofollow" href="https://towardsdatascience.com/metrics-to-evaluate-your-semantic-segmentation-model-6bcb99639aa2">https://towardsdatascience.com/metrics-to-evaluate-your-semantic-segmentation-model-6bcb99639aa2</a>)

이미지 세그멘테이션에서 모델의 성능을 평가할 때 자주 사용하는 지표는 Pixel Accuracy, Mean IoU, DICE가 있습니다. 각각의 지표는 세그멘테이션 결과와 실제 정답 간의 겹침 정도를 측정하여 모델이 얼마나 정확하게 분할했는지를 나타냅니다.1. Pixel Accuracy정의 : 모든 픽셀 중에서 모델이 올바르게 분류한 픽셀의 비율입니다.특징

Segmentation 평가지표

Fully Convolutional Network는 이미지에서 각 픽셀을 클래스에 할당하는 Semantic Segmentation 작업을 위해 설계된 최초의 완전한 Convolutional 신경망입니다. FCN은 CNN 구조를 변형하여 입력 이미지와 동일한 크기의 출력 세그멘테이션 맵을 생성합니다. 이는 FCN이 이미지의 각 픽셀을 별도로 예측하도록 설계되어 객체의 위치와 모양을 정확하게 파악할 수 있습니다.FCN은 이미지 분류에서 우수한 성능을 보인 CNN 기반 모델(AlexNet, VGG16, GoogLeNet)을 Semantic Segmentation Task를 수행할 수 있도록 변형시킨 모델입니다. 이후 나오게되는 Semantic Segmentation 방법은 대부분 FCN의 아이디어를 기반으로 발전해 나갑니다.<img src="https://image.until.blog/jxxhyo/article/1731427169010.png" data-width="75%" data-align="center" alt="2133"><h2>FCN 주요 개념 및 특징</h2><h3>FC layer -&gt; Convolution layer</h3><ol><li>FC layer(Fully connected layer)를 통과하고 나면 이미지의 위치 정보가 사라지고, Convolutional layer는 이미지 위치 정보를 유지할 수 있다.<img src="https://image.until.blog/jxxhyo/article/1731425741259.png" data-width="50%" data-align="center" alt="2123"></li></ol><ol start="2"><li>FC layer는고정된 크기의 input image만 받을 수 있고, Convolutional layer는 image, layer 크기에 영향 받지 않는다.<img src="https://image.until.blog/jxxhyo/article/1731425752185.png" data-width="50%" data-align="center" alt="2124"></li></ol><ol start="3"><li>FC layer를 이용하여 픽셀마다의 클래스를 예측하게 구성하게 하거나 혹은 Class Presence Heat Map을 만들려면 파라미터터의 수가 너무 많이 증가합니다. 따라서 FCN 모델은 아래 그림처럼 fully connected 레이어를 1x1 convolution 레이어로 교체하여 사용합니다.<img src="https://image.until.blog/jxxhyo/article/1731425764027.png" data-width="50%" data-align="center" alt="2125"></li></ol><h3>2. VGG Backbone</h3><ul><li>일반적으로 ImageNet과 같은 대규모 데이터셋에서 미리 학습된 VGG의 가중치를 사용하여 학습을 시작합니다이는 더 빠른 학습과 성능 향상에 도움이 됩니다.<img src="https://image.until.blog/jxxhyo/article/1731425017300.png" data-width="75%" data-align="center" alt="2117"></li></ul><h3>3. Downsampling (Encoder)</h3><ul><li>이미지의 주요 특징을 추출하기 위해 기존 CNN과 유사하게 Convolutional Layer와 Max Pooling Layer를 사용하여 이미지의 크기를 축소합니다. 이를 통해 이미지의 고수준 특징을 추출하며, 이는 Encoder 역할을 합니다.</li></ul>• 예를 들어, VGG, ResNet과 같은 네트워크를 Encoder로 사용할 수 있습니다.<h3>4. Upsampling (Decoder)</h3><ul><li>Encoder에서 축소된 특성을 다시 입력 크기와 동일한 해상도로 복원하기 위해 Upsampling을 수행합니다.</li><li>FCN은 Transpose Convolution (Deconvolution) Layer를 사용하여, 다운샘플링된 feature map을 원래 크기로 되돌립니다.<img src="https://image.until.blog/jxxhyo/article/1731426213801.png" data-width="50%" data-align="center" alt="2127"></li><li>input의 빨간색 원소를 3x3 kernel에 곱해서 output의 대응하는 자리에 집어넣는다. 같은 방법으로 input의 파란색 원소를 3x3 kernel에 곱해서 output의 대응하는 위치에 집어넣는다. 이 때 output에 겹치는 구간(빗금 표시)이 발생하는데, 겹치는 부분의 값은 모두 더해준다. input의 나머지 원소에 대해서도 동일한 방법으로 계산한다. 그 결과로 Transposed Convolution을 얻습니다.</li><li>이러한 과정에서 픽셀 단위의 예측이 가능해지며, 결과적으로 이미지와 동일한 크기의 Segmentation Map을 얻습니다.</li></ul><h3>5. Skip Connection</h3><ul><li>Encoder의 중간 레이어에서 추출된 저수준(low-level) 특징을 Decoder 단계와 결합하여 더욱 정교한 세그멘테이션 맵을 생성합니다.</li><li>이러한 skip connection은 보다 정확한 경계 추출을 가능하게 하며, 분할 성능을 크게 향상시킵니다.</li></ul><h2>FCN의 구조</h2>1. Encoder : 입력 이미지를 다운샘플링하면서 고수준의 추상적 특징을 추출.2. Decoder : 추상적 특징을 다시 업샘플링하여 원본 이미지 크기와 동일한 세그멘테이션 맵을 생성.3. Skip Connection : Encoder의 저수준 특징을 Decoder로 전달하여 경계와 세부 사항을 보완.<h2>FCN의 주요 버전</h2><ol><li>FCN-32s : FCN의 초기 버전으로, 마지막 Convolutional Layer의 출력만을 Upsampling하여 최종 Segmentation Map을 생성합니다.</li><li>FCN-16s : FCN-32s의 출력을 두 배로 세밀하게 만들어 성능을 개선한 버전입니다.</li></ol><img src="https://image.until.blog/jxxhyo/article/1731426620846.png" data-width="50%" data-align="center" alt="2130"><ol start="3"><li>FCN-8s : FCN-16s에서 한 단계 더 향상시켜 더 많은 저수준 특징을 결합하여 세그멘테이션 성능을 높입니다.</li></ol><img src="https://image.until.blog/jxxhyo/article/1731426641851.png" data-width="50%" data-align="center" alt="2131"><ul><li>결과 이미지를 보면 위치 정보가 더 잘 전달되어 FCN-32s → FCN-16s → FCN-8s 순으로 더 정교하게 Segmentation이 된 것을 확인 할 수 있다.</li></ul><img src="https://image.until.blog/jxxhyo/article/1731426500081.png" data-width="50%" data-align="center" alt="2128"><img src="https://image.until.blog/jxxhyo/article/1731426971899.png" data-width="50%" data-align="center" alt="2132">(참고 및 사진 출처 - <a target="_blank" rel="noopener noreferrer nofollow" href="https://wikidocs.net/147359">https://wikidocs.net/147359)</a>

Fully Convolutional Network는 이미지에서 각 픽셀을 클래스에 할당하는 Semantic Segmentation 작업을 위해 설계된 최초의 완전한 Convolutional 신경망입니다. FCN은 CNN 구조를 변형하여 입력 이미지와 동일한 크기의 출력 세그멘테이션 맵을 생성합니다. 이는 FCN이 이미지의 각 픽셀을 별도로 예측하도록 설계되

FCN for Semantic Segmentation

⚛️ React

개발을 하다보면 로컬에서 https환경이 필요한 경우들이 생기게된다. 주로 쿠키를 다룰 때 생기는데 이러한 개발환경을 <a target="_blank" rel="noopener noreferrer nofollow" href="https://github.com/FiloSottile/mkcert">mkcert</a>를 통해 쉽게 만들 수 있다.https가 무엇인지, 인증서가 어떤 역할을 하는지에 대해서 궁금한 사람은 <a target="_blank" rel="noopener noreferrer nofollow" href="https://opentutorials.org/course/228/4894">해당 아티클</a>을 읽어보자.해당 아티클에서는 next.js에서 mkcert를 통해서 https 개발환경 세팅하는 과정을 다룰 것이다.<h1>mkcert?</h1>레포에서는 아래와 같이 설명하고 있다.<blockquote>A simple zero-config tool to make locally trusted development certificates with any names you'd like.</blockquote>해당 내용처럼 mkcert는 로컬 개발환경에서 사용할 수 있는 인증서를 별다른 설정없이 손쉽게 만들 수 있다.<h1>mkcert 설치</h1><h2>window</h2><code spellcheck="false">readme.md</code> 상으로는 choco나 scoop를 사용해서 설치하는 것을 권하지만, 내장되어있는 winget을 사용하면 별다른 프로그램 없이 바로 설치가 가능하다.아래 명령어를 입력해주자.<pre spellcheck="false"><code>winget install mkcert</code></pre><h2>mac</h2>homebrew로 설치해주면 된다.<pre spellcheck="false"><code>brew install mkcert</code></pre><hr>설치가 끝났다면 아래 커맨드를 통해 local ca를 설치해준다.<pre spellcheck="false"><code>mkcert -install</code></pre><h1>인증서 생성 및 적용</h1><h2>로컬 도메인 적용</h2>특정 도메인에 대해서 https를 적용해주어야하기 때문에 hosts 파일을 수정해주어야한다.본인의 로컬아이피로 접속했을 때 사용할 도메인을 hosts파일에 저장해주자. 윈도우는 기본적으로 <code spellcheck="false">c:\Windows\System32\drivers\etc</code>, mac은<code spellcheck="false">/private/etc/hosts</code> 에 위치하고 있으니 해당 파일을 수정해주면 될 것이다.나는 dev.until.blog를 적용했다.<pre spellcheck="false"><code># Copyright (c) 1993-2009 Microsoft Corp.
#
# This is a sample HOSTS file used by Microsoft TCP/IP for Windows.
#
# This file contains the mappings of IP addresses to host names. Each
# entry should be kept on an individual line. The IP address should
# be placed in the first column followed by the corresponding host name.
# The IP address and the host name should be separated by at least one
# space.
#
# Additionally, comments (such as these) may be inserted on individual
# lines or following the machine name denoted by a '#' symbol.
#
# For example:
#
# 102.54.94.97 rhino.acme.com # source server
# 38.25.63.10 x.acme.com # x client host
localhost name resolution is handled within DNS itself.127.0.0.1 localhost::1 localhost127.0.0.1 dev.until.blog</code></pre><h2>next local server 연동</h2>이제 next.js 프로젝트에서 인증서를 적용해보자. 본인 next 프로젝트에서 아래 커멘드를 입력해 인증서와 pem 파일을 생성해주자. dev.until.blog에는 본인이 특정한 도메인을 입력하면 된다.<pre spellcheck="false"><code>mkcert dev.until.blog</code></pre><a target="_blank" rel="noopener noreferrer nofollow" href="https://nextjs.org/docs/pages/building-your-application/configuring/custom-server">next custom server</a>를 통해 생성된 파일을 연결해주면된다.<pre spellcheck="false"><code class="language-javascript">// server.jsconst { parse } = require('url')
const next = require('next')const dev = process.env['NODE_ENV'] !== 'production'
const app = next({ dev })
const handle = app.getRequestHandler()const PORT = process.env['PORT'] || 3050app.prepare().then(() =&gt; {
const https = require('https')
const fs = require('fs')
const options = {
key: fs.readFileSync('./dev.until.blog-key.pem'),
cert: fs.readFileSync('./dev.until.blog.pem'),
}
https
.createServer(options, function (req, res) {
// Be sure to pass true as the second argument to url.parse.
// This tells it to parse the query portion of the URL.
const parsedUrl = parse(req.url, true)
handle(req, res, parsedUrl)
})
.listen(PORT, (err) =&gt; {
if (err) throw err
console.log(&amp;gt; Ready on https://dev.until.blog:${PORT})
})
})</code></pre>이제 package.json에 해당 <code spellcheck="false">dev:https</code>스크립트를 추가해주고 실행하면 끝.<pre spellcheck="false"><code> ....."scripts": {
"dev": "next dev -p 3050",
"dev:https": "node --inspect server.js ",
"build": "next build",
"start": "next start",
"lint": "next lint"
},.....</code></pre>

개발을 하다보면 로컬에서 https환경이 필요한 경우들이 생기게된다. 주로 쿠키를 다룰 때 생기는데 이러한 개발환경을 mkcert를 통해 쉽게 만들 수 있다.https가 무엇인지, 인증서가 어떤 역할을 하는지에 대해서 궁금한 사람은 해당 아티클을 읽어보자.해당 아티클에서는 next.js에서 mkcert를 통해서 https 개발환경 세팅하는 과정을 다룰 것이

next.js 로컬 환경에서 https 개발 환경 만들기 (mkcert)

🪟 Window

<img src="https://image.until.blog/morethanmin/article/1716653810238" data-width="50%" data-align="center" alt="until-223">나는 집에서는 데스크탑을 사용하다보니 맥북과 오갈 때마다 단축키가 달라서 매번 매우 불편했다.그래서 찾아보니 PowerToys를 사용하면 맥북 단축키를 윈도우에 적용 할 수 있다고 해서 소개해보려고한다.<h1>PowerToys?</h1>마소에서 제작한 생산성을 높일 수 있는 다양한 유틸리티 세트를 제공하는 프로그램이다.매우 다양한 기능들이 있으니 윈도우를 사용하는 개발자라면 꼭 설치하길 추천한다.이 아티클에서는 대표적으로 몇가지만 소개해보겠다.<h2>PowerToys Run</h2><code spellcheck="false">Alt</code> + <code spellcheck="false">Space</code> 를 통해 아래와 같은 검색창을 띄워준다. 맥하고 비슷하게 생겼다.<img src="https://image.until.blog/morethanmin/article/1716654162354" data-width="100%" data-align="center" alt="until-225"><h2>Keyboard Manager</h2>키보드 키 및 단축키들을 쉽게 매핑해줄 수 있다. 우리는 이것을 사용해서 맥 단축키들을 적용시키면 된다.<img src="https://image.until.blog/morethanmin/article/1716654104729" data-width="100%" data-align="center" alt="until-224"><h2>환경 변수</h2>환경변수를 GUI에서 쉽게 변경가능하다. 개꿀이다.<img src="https://image.until.blog/morethanmin/article/1716654251418" data-width="100%" data-align="center" alt="until-226"><h2>호스트 파일 편집기</h2>호스트 파일을 GUI에서 변경이 가능하다.<img src="https://image.until.blog/morethanmin/article/1716654321543" data-width="100%" data-align="center" alt="until-227"><h1>설치하기</h1>PowerShell에 아래 커맨드를 입력하면 된다.<pre spellcheck="false"><code>winget install Microsoft.PowerToys --source winget</code></pre><h1>적용</h1>사실 모든 단축키를 매핑할 순 없다보니, 적당한 수준에서 본인이 주로 사용하는 단축키를 설정해주면 된다.나는 아래와 같이 적용했다. 귀찮은 사람은 참고하면 좋을뜻<img src="https://image.until.blog/morethanmin/article/1716654467615" data-width="100%" data-align="center" alt="until-228">

나는 집에서는 데스크탑을 사용하다보니 맥북과 오갈 때마다 단축키가 달라서 매번 매우 불편했다.그래서 찾아보니 PowerToys를 사용하면 맥북 단축키를 윈도우에 적용 할 수 있다고 해서 소개해보려고한다.PowerToys?마소에서 제작한 생산성을 높일 수 있는 다양한 유틸리티 세트를 제공하는 프로그램이다.매우 다양한 기능들이 있으니 윈도우를 사용하는 개발자라

윈도우에서 맥 단축키 적용하기(PowerToys)

Python

<blockquote>macOS 사용 도중 파이썬 패키지를 설치하기 위해 pip를 사용하자 보안 경고가 발생하며 설치가 거부되었다. 이를 해결하는 방법에 대해 다룬다.</blockquote><h3>도대체 무슨 에러인가?</h3><img src="https://image.until.blog/xeros/article/1727225853116.png" alt="until-1518">Python의 최신 PEP 668 표준에 의해, macOS 환경에서 pip를 통한 패키지 설치가 제약되는 문제라고 한다. 아무래도 최근에 애플에서 맥에 여러가지 보안 강화 조치와 제약이 추가되었는데 여기에 영향을 받은 패치가 아닐까 싶다.이 문제를 해결하는 방법은 크게 3가지정도로 구분할 수 있다.<h3>1. 가상 환경을 사용하는 방법</h3>다음과 같이 Python 가상 환경을 만들어서 사용하면 독립된 공간을 만들어서 사용하기에 pip를 정상적으로 사용할 수 있게 되며 패키지의 버전 문제로 인한 충돌을 피하기도 쉽다. 하지만 매 파이썬 프로젝트마다 가상 환경을 생성해주어야하고 터미널을 열 때마다 <code spellcheck="false">source</code>를 지정해 주어야 한다는 번거로움이 따른다.<ol><li>가상 환경 생성</li></ol><pre spellcheck="false"><code class="language-bash">python3 -m venv path/to/venv</code></pre><ol start="2"><li>가상 환경 활성화</li></ol><pre spellcheck="false"><code class="language-bash">source path/to/venv/bin/activate</code></pre><ol start="3"><li>패키지 설치</li></ol><pre spellcheck="false"><code>pip install supabase</code></pre><h3>2. pip에서 사용자 플래그 추가</h3>시스템 패키지 환경을 보호하기 위해 설치를 사용자 환경으로 제한하여 설치하도록 한다.그냥 귀찮음도 덜하고 보안도 챙기고 무난한 방법인듯하다.<pre spellcheck="false"><code class="language-bash">pip install --user supabase</code></pre><h3>3. break-system-package 옵션 또는 pip.conf 수정</h3>그냥 보안 권고사항을 무시하고 기존에 pip처럼 다이렉트 설치를 가능하게 하는 옵션을 붙여서 사용하면 된다.<pre spellcheck="false"><code class="language-bash">pip install &lt;package name&gt; --break-system-packages</code></pre>근데 매번 이 옵션을 붙이는것도 귀찮다면 아예 <code spellcheck="false">pip.conf</code> 파일을 수정해서 영구적으로 해당 명령을 활성화 시키는것 역시 가능하다.<ol><li><code spellcheck="false">pip.conf</code> 파일 생성</li></ol><pre spellcheck="false"><code class="language-bash">mkdir -p ~/.config/pip
vi ~/.config/pip/pip.conf</code></pre><ol start="2"><li>아래 내용을 추가한다.</li></ol><pre spellcheck="false"><code class="language-bash">pip install supabase --break-system-packages</code></pre><h3>왜 이런 보안조치가 시행되었는가?</h3>애플이 원래도 보안쪽으로는 깐깐했지만 갑자기 이런 기존 시스템에 영향을 줄 수도 있는 패치를 한 원인이 궁금해서 찾아보니 간략하게 설명하자면 pip를 사용한 시스템 전역 패키지 설치가 운영 체제의 패키지 관리자와 충돌할 수 있어 이를 방지하려는 목적이라고 한다. 패키지를 가상 환경이나 사용자 환경에만 설치하도록 유도해서 종속성 관리 문제를 해결하고 보안 취약점을 줄이기 위한 조치인듯 하다.마찬가지로 <code spellcheck="false">Homebrew</code> 역시 현재 공식 홈페이지에 나와있는 Installation 방법을 따라하고 추가적인 수정을 거치지 않으면 명령어 인식이 안된다.

macOS에서 pip externally-managed-environment 에러를 픽스하는 방법