독일 한량 공대생

오늘은 요즘 공부하고 있는 불확실성에 대한 개념에 대해 정리할 겸 글을 써보려고 한다. Uncertainty 모델이 학습한 데이터를 기반으로 새로운 데이터에 대한 예측을 수행할 때, 모델은 종종 다양한 요소에 의해 예측의 불확실성을 갖게 되는데, 이러한 불확실성은 모델이 얼마나 확신할 수 있는지, 어떤 범위 내에서 예측이 정확한지 등을 나타낸다. 기계 학습에서 불확실성은 크게 두가지로 나뉜다. Epistemic Uncertainty Epistemic Uncertainty , 이는 모델 자체의 불확실성을 나타낸다. 즉, 모델이 데이터에 대해 얼마나 정확하게 학습되었는지에 대한 불확실성이다. 모델이 훈련 데이터에 제한된 양의 정보만을 가지고 있거나 데이터의 다양성을 충분히 포착하지 못한 경우에 발생할 수 있..

2023.07.06 - [배움 기록/Deep Learning] - [Segmentation, MONAI] CUDA out of memory 와의 전쟁 -1. Spacingd를 통한 해상도 조정 [Segmentation, MONAI] CUDA out of memory 와의 전쟁 -1. Spacingd를 통한 해상도 조정 요즘 segmentaion을 하는 중 가장 열받는 오류.... cuda ,,,, out of memory.... batch size 도 줄였고, 네트워크에 사용되는 patch 개수도 줄인상황.. 물론 이미지의 사이즈도! 물론 모델 자체를 바꿔볼수도 있지 jedemanfangwohnteinzauberinne.tistory.com 이미지의 크기를 줄임으로써 메모리 문제를 해결해 보자. 그런데 ..

요즘 segmentaion을 하는 중 가장 열받는 오류.... cuda ,,,, out of memory.... batch size 도 줄였고, 네트워크에 사용되는 patch 개수도 줄인상황.. 물론 이미지의 사이즈도! 물론 모델 자체를 바꿔볼수도 있지만, 다른 방법들이 무엇이 있나 고민 중. 그래서 이미지의 해상도를 건드려보기로 결정. transform를 monai 라이브러리를 이용해 사용하고 있다. from monai.transforms import ( CropForegroundd, Compose, EnsureTyped, EnsureChannelFirstd, LoadImaged, Orientationd, RandCropByPosNegLabeld, ScaleIntensityRanged, Spacingd..

오늘 회사에서 동료들과 얘기를 하다가 내가 일할 때 ChatGPT를 아직 한 번도 안 써봤다고 하자, 문명에 심하게 뒤떨어진 사람 취급을 받았다. 인터넷이 뭔지는 아냐며... 이것들이.. 그래서 오늘 한번 ChatGPT를 몇번 사용해 봤는데, 솔직히 기대 이상으로 만족스러운 답변을 얻을 수 있었다. 솔직히 그동안 사용 안 한 이유는 내가 구글링 해서 얻은 답이 더 정확할 것이라고 생각해서였는데 생각보다 얘도 정확한 답을 주더라.. 코드 예시도 들어주면서 ㅎ ㅎ 앞으로 종종 심심할 때 친구처럼(?) 물어봐야지 ㅋㅋㅋㅋㅋㅋ Normalization를 해야하는 이유 본론으로 들어가서 데이터 전처리에 대해 간단히 써볼까 한다. 모델을 학습시키려면 데이터 전처리를 해줘야 한다. 그 이유는 예를 들어 feature..

UNETR이 무엇인지는 2023.01.11 - [Programming] - [MONAI] UNETR 이란? (feat. Vision Transformers) [MONAI] UNETR 이란? (feat. Vision Transformers) 이 설명은 당장 UNETR를 써야하는데 빨리 뭔지 대충 알고 싶은 경우만 살짝 도움이 될뿐 자세한 내용은 아래의 논문에서 확인가능 https://arxiv.org/abs/2103.10504 Background 한 줄 정리 FCNN(Fully Convolutional N jedemanfangwohnteinzauberinne.tistory.com UNETR 모델에 쓰기위한 데이터의 전처리는 2023.01.11 - [Programming] - [MONAI, PyTorch] ..

이번에 인턴십 중에 MONAI를 이용한 프로젝트를 하게 되었다. 내용을 공부할겸 여기에 정리를 해본다. MONAI MONAI(Medical Open Network for AI) 는 엔비디아가 만든 헬스케어용 오픈소스 프레임워크(파이토치 기반)다. UNETR 이란? 이전 글에서 간략하게 다룬적이 있다. 2023.01.11 - [Programming] - [MONAI] UNETR 이란? (feat. Vision Transformers) [MONAI] UNETR 이란? (feat. Vision Transformers) 이 설명은 당장 UNETR를 써야하는데 빨리 뭔지 대충 알고 싶은 경우만 살짝 도움이 될뿐 자세한 내용은 아래의 논문에서 확인가능 https://arxiv.org/abs/2103.10504 Ba..

자세한 내용은 아래의 논문에서 확인가능 https://arxiv.org/abs/2103.10504 Background 한 줄 정리 FCNN(Fully Convolutional Neural Networks) 에서 인코더는 중요한 역할을 한다. global, local 의 Feature 를 배워서 contextual representation 을 함. 근데 FCNN의 locality 때문에 long-range 를 배우는데는 한계가 있다. -> NLP에서 큰 성공을 거둔 'transformer' 개념 도입 -> 그래서 만든게 UNEt TRansformers (UNETR) UNETR 인코더와 디코더를 사용하는 U-Net 구조를 따르지만, 인코더에 transformer를 사용함. -> 장점: input volum..