Introduction
β-아밀로이드 (Aβ)는 알츠하이머 병 (AD)을 이해하고 질병 예후를 예측하는 데 필요한 중요한 특징으로 간주됩니다. 18F-florbetaben(FBB)은 일종의 Aβ-표적화 방사성 의약품 tracer입니다. 18F-FBB 아밀로이드 양전자 방출 단층 촬영 (PET)은 정확하고 조기 진단을 제공합니다. 뇌 아밀로이드 플라크로드(BAPL) 점수는 18F-FBB를 사용하여 뇌에서 대상체의 아밀로이드 침착의 시각적 평가에 따라 의사에 의해 측정되는 사전 정의된 3 등급 점수 시스템입니다. BAPL 1, 2, 3 점수는 각각 Aβ로드가 없음, 작은 Aβ로드, 유의한 Aβ로드가 있음을 나타낸다. 따라서, BAPL 1은 Aβ-negative 상태를 나타내는 것으로 간주되는 반면, BAPL 2 및 BAPL 3은 Aβ-positive 상태를 나타낸다. (Barthel et al., 2011).
과거 연구에서는 이미지를 아밀로이드에 대해 positive 또는 negative으로 만족스럽게 분류했지만, BAPL2가 BAPL1보다 약한 아밀로이드 부하를 가지는 문제 때문에 ternary classification에서 BAPL2를 정확하게 식별 할 수 없었습니다. 또한 어떤 경우에는 interpreter가 BAPL1과 BAPL2를 쉽게 구별 할 수 없습니다.
본 논문에서는 기존의 손실 함수 (the cross-entropy loss function)에 discriminative intra-loss function를 추가했습니다. joint discriminative loss function은 딥 러닝 기반 AD 분류의 정확성을 향상시키기위한 용도로 활요됩니다. 제안된 joint loss function과 기존의 loss function의 성능은 3가지 최신 deep neural network architectures에서 비교되었습니다. Intra-loss function은 분류 정확도, 특히 BAPL2 (MCI의 마커)의 분류 정확도를 크게 개선시켰습니다. 또한, 원래 자연 이미지 분류를 위해 제안된 mix-up data augmentation 방법이 의료 이미지 분류에도 유용함을 보입니다.
Materials
분석 된 자료는 동아대학교에서 제공한 PET 이미지입니다.PET 이미지는 BAPL 점수에 따라 1 (BAPL1), 2 (BAPL2) 및 3 (BAPL3)의 세 가지 등급으로 분류되었습니다. 데이터베이스는 380 개의 PET 이미지 : 188 개의 BAPL1, 48 개의 BAPL2 및 144 개의 BAPL3으로 구성되었습니다. 표 1은 데이터 세트의 demographic distribution를 보여줍니다. 각각의 PET 이미지는 (1.02 × 1.02) mm2의 픽셀 크기 및 1.5 mm의 슬라이스 두께를 갖는 (400 × 400) 픽셀 크기입니다. statistical parametric mapping을 통해 각 3D PET 이미지를 표준 뇌 이미지로 normalize했습니다. 각 행의 좌측, 중심 및 우측 이미지는 Axial(xy), Sagittal(yz) 및 Coronal(xz) 평면에서 각각 획득되었습니다. 흑백 눈금은 각 이미지에서 검은 색 (없음)에서 흰색 (매우 높음)까지 아밀로이드 플라크의 양을 나타냅니다.
전체 뇌 이미지(3D 이미지)가 평면 이미지보다 더 포괄적인 구조적 지식을 제공하지만, 3D 구현에는 훈련 데이터 세트의 크기를 증가시키는 많은 네트워크 매개 변수의 추정이 필요합니다. 따라서, BAPL 점수는 대부분의 딥 러닝 기반 방법에서 수행 된 것과 같이 PET 이미지의 2D 슬라이스(central hippocampus slices)에 적용된 2D 딥 러닝 알고리즘으로 분류되었습니다. 우리의 이전 연구에서, 관상면(Coronal) 이미지를 입력하는 것이 축면(Axial) 및 시상면(Sagittal)을 입력하는 것보다 더 나은 결과를 얻었음을 보여 주었습니다. 따라서 본 연구에서는 관상면 영상을 분류를 위한 입력 영상으로 사용 하였습니다. 충분히 큰 데이터 세트를 얻기 위해, 데이터 세트로서 관상 이미지로부터 정규화 된 해마 영역의 중앙에서 11 개의 슬라이스 (총 슬라이스 16.5mm에 해당하는 중앙 슬라이스 ± 5 슬라이스)를 추출했습니다. 각 슬라이스 이미지는 224 × 224 픽셀로 크기가 조정되었습니다.
Methods
CNN Models
표준 deep-learning-based 2D implementation에 의해 PET 이미지의 BAPL 점수를 분류했습니다. 유용한 high-level features는 2D CNN에 의해 각 coronal slice image로부터 추출되었습니다. 그런 다음 이미지를 BAPL1, BAPL2 또는 BAPL3으로 분류했습니다. 네트워크 구조는 fig 2에 나와 있습니다. 특징 추출을위한 백본 네트워크로서, 3개의 CNN을 사용했습니다 : VGG 19, ResNet 50 및 DenseNet 121.
- VGG19
2014 년에 제안된 VGGNet (Visual Geometry Group network)은 다수의 3 × 3 convolutional filters를 large receptive field로 결합합니다(출력 크기는 입력 이미지의 유효 영역에 따라 다름). 여러 개의 stacked smaller-sized filters는 하나의 큰 필터보다 더 깊은 네트워크를 구현하므로보다 복잡한 기능을 저렴한 비용으로 배울 수 있습니다. VGG19는 fig 3과 같이 19 개의 레이어 (16개의 convolutional layers가 3개의 fully connected layers를 따릅니다)를 가진 VGGNet입니다.
- ResNet50
전통적인 CNN에서, 상위 convolutional layer의 출력은 다음 convolutional layer에 입력됩니다. 2016 년에 shortcut connection을 통해 residual knowledge(F (x) = H (x)-x, x는 입력 피처이고 H(x)은 출력)을 학습하는 deep residual network (ResNet)를 제안했습니다. shortcut은 네트워크 성능 저하를 효과적으로 방지하고 네트워크 성능을 향상시킵니다. ResNet은 ILSVRC-2015 challenge를 수상했으며 의료 이미지 분류에 널리 사용됩니다.
- DenseNet121
The densely connected network (DenseNet) 아키텍처는 convolution layers를 dense block이라고하는 레이어 블록으로 그룹화하는 ResNet의 확장입니다. DenseNet은 연결 패턴이 다른 네트워크와 다릅니다. DenseNet은 밀도가 높은 블록 스택으로, 각각 여러 개의 컨볼루션 레이어로 구성됩니다.
Joint Loss Function
기존의 딥 러닝 기반 AD 분류 방법에서 사용된 공통 손실 함수는 cross-entropy입니다. 본 논문에서도 cross-entropy를 inter-loss function으로 정의했습니다.
여기서 N은 샘플 수입니다. pi, k는 i 번째 샘플이 k 번째 클래스에 속할 확률(softmax output)을 나타내고, yi는 레이블을 나타냅니다. 여기서 y = 1, 2 및 3은 각각 BAPL1, BAPL2 및 BAPL3에 해당합니다.
그런 다음 intra-variation 문제를 처리하는 intra-loss 함수를 정의했습니다 :
여기서 fi는 i 번째 샘플의 feature vector이고 cyi는 yi가 속하는 feature 클래스의 중심을 나타내며, 이는 Equation (3)에 의한 훈련 동안 업데이트 됩니다. 업데이트는 training set 전체가 아닌 각 배치에서 작동합니다.
여기서 δ는 델타 함수입니다. 본 논문에서는 학습률 α를 0.5로 설정 하였습니다.
마지막으로, inter-loss (Equation (1))과 intra-loss (Equation (2))은 네트워크 훈련을위한 공동 손실로 결합됩니다.
여기서 파라미터 λ는 inter-class와 intra-class 손실 간의 균형을 조정합니다.
Data Augmentation with Mix-Up
데이터 세트는 두 개의 학습 샘플을 혼합하여 입력 이미지 (X)와 클래스 레이블 (y)로 구성된 새 샘플 쌍을 생성하는 확대 방법 인 mix-up으로 augmented 되었습니다. (X1, y1) 및 (X2, y2)가 기존 데이터 세트의 두 샘플이라고 가정합니다. augmented sample (X, y)은 다음과 같이 생성됩니다.
여기서 b ∈ [0,1]은 beta distribution에서 샘플링됩니다. table 2는 eight-fold cross-validation을 위한 augmentation dataset의 분포를 보여줍니다.
Results and Discussion
Experimental Setup
Keras가 제공한 ImageNet pre-trained CNN의 가중치를 기반으로 네트워크의 모든 계층을 교육 데이터 세트 (PET 이미지)에서 fine-tuned 했습니다. 데이터 세트는 8 개의 그룹으로 나뉩니다(BAPL1의 23 명, BAPL2의 6 명, BAPL3의 18 명). 식 (7)에 의해 정의된 분류 정확도는 eight-fold cross-validation에 의해 얻어졌습니다. 데이터 셋은 앞서 설명 된 것처럼 mix-up으로 augmented 되었습니다.
여기서 TP와 FP는 각각 true positive와 false positive를 나타냅니다. 다음 하위 섹션에 표시된 정확도는 슬라이스 이미지의 분류를 기반으로합니다. 또한 추가적으로 케이스 당 (환자 당) 정확도를 평가했습니다. 케이스 레이블 (환자 레이블)은 11 개의 슬라이스 레이블의 주요 투표를 기반으로합니다.
Effectiveness of Data Augmentation Based on Mix-up
먼저 mix-up을 기반으로 데이터 확대의 효과를 확인했습니다. 검증은 기존 손실 함수 (λ = 0.00)로 ResNet50에서 수행되었습니다. 이는 mix-up data augmentation가 의료 이미지 분류를 개선한다는 첫 번째 증거를 제시합니다. 따라서 혼합 기반 데이터 확대는 추가 실험에 적용되었습니다.
Impact of λ
이 하위 섹션은 결합 된 기존의 cross-entropy loss(Equation (1))과 intra-loss (식 2)에 가중치를 부여하는 하이퍼 파라미터 λ의 값에 따른 제안된 joint loss의 효과를 확인합니다. 이러한 실험은 mix-up-based data augmentation를 통해 ResNet50에서 수행되었습니다.
Coronal Plane versus Axial Plane
분류 정확도를 axial plane 및 coronal plane과 비교했습니다. 결과는 coronal plane이 딥 러닝에 의해 추출된 BAPL 점수의 분류에 더 유용한 정보를 포함하고 있음을 시사합니다.
Detailed Comparison between the Proposed and Conventional Loss Functions on Three Network Architectures
자세한 성능 비교를 위해 3 개의 네트워크(예 : VGG19, ResNet50 및 DenseNet121)의 precisions, recalls, F1 scores 및 accuracies를 제안된 loss function과 기존 loss function과 비교 했습니다.
Two-Class Classification
또한 BAPL3 + BAPL2 대 BAPL1 및 BAPL3 대 BAPL1 + BAPL2의 두 가지 분류로 정확도, ROC (receiver operating characteristic curve) 및 AUC (Area Under Curve)를 계산했습니다. 첫 번째 경우에는 BAPL3과 BAPL2가 모두 posivite로 처리되었지만 두 번째 경우에는 BAPL3만 posivite으로 처리되었습니다.
Data Visualization and Discussion
proposed joint loss function의 효과를 확인하기 위해 fully connected layer를 사용하여 feature vector의 dimension를 1779에서 2로 줄였습니다.
Conclusions
- DLBCL의 Deauville score는 5개의 class로 분류되기 때문에 BAPL(3 classes) classification에 비해 더 challenging 한 문제
- Whole body vs. Brain
- 논문에서는 데이터셋 추가 후, 3D 모델에서의 적용 및 weakly supervised learning을 통한 localization을 future works로 언급
Share article