모델의 구조가 복잡해지면서 지정해줘야 하는 하이퍼 파라미터 수(filter size, channel. stride 등등)가 증가했고 이에 따라 모델을 설계하는 작업이 어려워졌습니다. ResNext 모델은 cardinality라는 새로운 dimension을 활용하여 하이퍼 파라미터 작업을 단순화시킵니다. 뿐만 아니라 기존 모델보다 더 좋은 성능을 보입니다. Aggregated Residual Transformations for Deep Neural Networks 논문을 통해 ResNext 모델의 구조에 대해 살펴보도록 하겠습니다.(Wide ResNet에 대한 논문 리뷰를 먼저 읽어보고 오시면 좋을 것 같습니다!)
최근까지 CNN 연구는 주로 이미지 인식의 정확도를 높히는 방법에 집중하였습니다. 하지만 이러한 연구 결과를 실생활에서 적용하기 위해서는 모델의 성능만큼이나 모델의 크기 역시 중요합니다. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size 논문에서는 SqueezeNet 모델을 통한 모델 경량화와 그 이점에 대해 설명합니다.
딥러닝 관련 github repository를 살펴보면 파일과 디렉터리가 특정 형식에 맞게 정리된 모습을 확인할 수 있습니다. 처음에는 이러한 구조를 이해하는 데 어려움이 있었지만 이후에 딥러닝 프로젝트들이 template에 맞게 저장되어 있음을 알게 되었습니다. 딥러닝 프로젝트 github 저장소를 보다 잘 이해하고, 직접 프로젝트를 구성할 때 참고하기 위해 딥러닝 프로젝트 template을 정리해보았습니다. Template 분석을 위해 pytorch-template github 저장소를 참고했습니다.
일반적으로 신경망이 깊어질수록 입력 데이터에 대한 보다 높은 수준의 특징을 학습할 수 있을 것이라 알려져있습니다. 하지만 실제 연구 결과 신경망이 깊어져도 training error가 줄어들지 않는 degradation 문제가 발생했습니다. Resnet은 이에 대한 해답을 훌륭하게 제시합니다. Resnet은 image classificatioin 분야는 물론 image detection 분야에도 영향을 끼치는 중요한 모델입니다. 이에 대해 심도 있게 살펴보고자 관련 논문 2편을 살펴보고 정리해보았습니다.
이번 글에서는 Image classification 분야에서 활용되는 CNN 모델들에 대해 살펴보도록 하겠습니다. 발전이 빠른 딥러닝 분야에서 5년 이상 된 오래된 모델들은 실용적이지는 않다고 생각합니다. 하지만 모델의 발전 과정을 살펴봄으로써 현재 활용되고 있는 모델에 대한 이해를 도모하고, 개선할 점을 파악할 수 있다고 생각합니다. 따라서 각 모델의 구조를 살펴보기보다는 각 모델이 신경망 설계에 기여한 점을 중점으로 살펴보고자 합니다.
Pytorch 기초에 대한 공부를 마치고 MNIST나 CIFAR10 데이터셋처럼 정제된 데이터셋이 아닌 실제 데이터를 기반으로 classifier를 만들어보기로 결심하였습니다. 적절한 데이터셋을 찾던 중 Kaggle에 올라온 LEGO 이미지 데이터셋이 적절하다고 생각했고 이를 기반으로 LEGO를 종류별로 분류하는 image classifier를 만들어보았습니다.
해도해도 남는 게 없어서 공부한 내용 남기는 블로그