home
HOME
home
About
ClassRoom
Computer Vision (CV)
Natural Language Processing (NLP)
Data Analysis
Bolg
PAPER Review
home

Lab Blog

Blog
샤를 조제프 민아르( 나폴레옹 모스크바 진군맵)
나폴레옹의 모스크바 진군은 1812년에 일어난 역사적인 사건으로, 나폴레옹 보나파르트의 프랑스 대군이 러시아 제국을 침공한 것을 말합니다. 이 사건은 나폴레옹 전쟁의 일환으로, 당시 유럽 대륙을 지배하던 나폴레옹의 군대가 러시아 깊숙이 진군하여 모스크바에 이르렀음에도 불구하고, 결국 실패로 귀결되었습니다.
그 중 나폴레옹의 모스크바 진군 시각화 예시는 복잡한 역사적 사건을 한눈에 이해하고, 그 시기의 전략적 결정들이 어떤 결과를 가져왔는지 직관적으로 이해할 수 있습니다.
참고자료
샤를 조제프 민아르
시각화의 시초 - 나폴레옹 진군맵
Original map by John Snow showing the clusters of cholera cases in the London epidemic of 1854, drawn and lithographed by Charles Cheffins.
1854년 런던 소호 지역에서 발생한 콜레라 발병은 의학 분야에서 중요한 사건으로, 당시 존 스노우(John Snow, 1813-1858) 질병 전파 방식을 현대적으로 이해하는 데 기여했습니다. 당시 지배적인 이론은 미아즈마 이론으로, 콜레라와 흑사병 같은 질병이 오염 또는 유해한 "나쁜 공기"에 의해 발생한다고 생각했습니다. 하지만, 존 스노우 박사는 이 이론에 의문을 제기했고, 콜레라가 어떻게 전파되는지에 대한 자신의 관찰을 통해 다른 결론을 내렸습니다.
참고자료
시각화의 시초 - 콜레라 발병맵
플로렌스 나이팅게일은 이탈리아 피렌체에서 태어난 영국 상류층 가정의 딸로, 교양 교육을 받으며 수학과 분석에 탁월한 재능을 보였습니다. 당시 보수적인 사회분위기 속에서 간호사라는 직업은 멸시받았으나, 병약한 이들을 돌보겠다는 신앙적 사명감을 가졌습니다. 나이팅게일은 가족의 반대를 무릅쓰고 자신의 길을 갔습니다.
나이팅게일의 시각적 도구는 공간-시간 데이터의 그래픽 표현에 있어 혁신적인 사례로, 위치를 명시적으로 표시하지 않고도 데이터의 시간적 변화와 패턴을 명확히 전달합니다. 명확한 메시지 전달을 위한 깔끔한 디자인과 혁신의 예로, 오늘날 데이터 시각화 및 커뮤니케이션에 많은 영감을 제공합니다.
시각화의 시초 - 나이팅게일
분석 유형별 그래프를 살펴보면,   비교분석, 구성분석, 관계분석, 분포분석은 데이터 시각화에서 중요한 분석 유형입니다. 각 분석 유형은 데이터의 특정 측면을 이해하고, 결과를 해석하는 데 도움을 주며, 선택하는 그래프 유형에 따라 정보를 전달하는 방식이 달라집니다.
비교분석
비교분석 - Grouped bar, Line, Column, Rader
비교분석은 두 개 이상의 항목 간의 차이점을 비교하고, 특정 기간 동안의 변화나 다른 변수들 간의 관계를 보여줍니다. 이를 통해 동향, 패턴, 불일치 등을 식별할 수 있습니다.
•
Grouped Bar Chart : 여러 그룹의 데이터를 서로 나란히 배치하여, 각 그룹 내의 항목들을 쉽게 비교할 수 있게 해줍니다. 카테고리별 중요한 차이점을 강조할 때 유용합니다.
•
Line Chart : 시간의 흐름에 따른 데이터의 변화를 나타내기에 적합합니다. 여러 데이터 시리즈를 동시에 나타내어, 시간에 따른 추세를 비교할 수 있습니다.
•
Column Chart : 각 카테고리의 값이나 빈도를 세로 막대로 표시합니다. 막대의 높이를 비교함으로써, 항목 간 차이를 쉽게 식별할 수 있습니다.
•
Radar Chart : 여러 변수를 갖는 항목들을 원형의 축에 표시하여, 각 항목의 성능을 다각적으로 비교할 수 있습니다. 다변량 데이터의 패턴을 비교하는 데 적합합니다.
구성분석
구성분석 - Pie, Stacked area, 100% stacked bar, Waterfall
구성분석은 전체에 대한 각 부분의 비율이나 기여도를 보여줍니다. 이를 통해 전체 중 특정 부분이 차지하는 비중을 이해할 수 있습니다.
•
Pie Chart : 전체 중 각 부분이 차지하는 비율을 원형으로 나타냅니다. 각 조각의 크기가 부분의 비율을 대표합니다.
•
Stacked Area Chart : 시간의 흐름에 따른 여러 그룹의 데이터를 층으로 쌓아, 전체 중 각 부분의 변화와 기여도를 시각화합니다.
•
100% Stacked Bar Chart : 각 막대가 100%를 나타내며, 막대 내에서의 각 세그먼트의 크기가 전체 중 해당 부분의 비율을 나타냅니다. 카테고리별 구성의 변화를 비교할 때 유용합니다.
분석 유형별 그래프
Data Visualization Design Process
The Seven Stages of Data Visualization by Ben Fry
Ben Fry의 데이터 시각화 7단계는 데이터와 그 처리 과정을 통해 효과적인 시각화를 생성하기 위한 절차를 설명합니다. 이 단계들은 데이터 시각화 과정에서 중요한 역할을 하며, 각 단계는 다음과 같습니다:
1.
수집 (Acquire): 데이터를 수집하는 단계입니다. 여기서는 필요한 데이터를 모으고, 이 데이터가 어디에서 왔는지, 어떻게 수집되었는지를 이해하는 것이 중요합니다.
2.
구문 분석 (Parse): 수집한 데이터를 읽고 해석하는 단계입니다. 데이터 형식을 이해하고, 필요한 데이터 구조로 변환하는 작업을 포함합니다.
3.
필터 (Filter): 관련성이 떨어지거나 필요하지 않은 데이터를 제거하는 단계입니다. 이 과정을 통해 데이터 집합을 좀 더 관리하기 쉽고, 분석에 유용하게 만듭니다.
4.
마이닝 (Mine): 데이터에서 유용한 정보나 패턴을 추출하는 단계입니다. 통계적 방법, 데이터 마이닝 기술, 머신 러닝 알고리즘 등을 사용할 수 있습니다.
5.
표현 (Represent): 데이터를 시각적 형태로 표현하는 단계입니다. 차트, 그래프, 맵 등 다양한 시각화 기법을 사용하여 데이터를 표현할 수 있습니다.
6.
정제 (Refine): 시각화의 미적 요소를 개선하는 단계입니다. 색상, 레이아웃, 스케일 등을 조정하여 정보를 더 명확하고 이해하기 쉽게 만듭니다.
7.
상호작용 (Interact): 사용자가 시각화와 상호작용할 수 있도록 하는 단계입니다. 이를 통해 사용자는 데이터를 더 깊이 탐색하고, 다양한 관점에서 정보를 검토할 수 있습니다.
이 7단계 프로세스는 데이터 시각화를 통해 복잡한 데이터에서 유의미한 인사이트를 추출하고, 이해 관계자에게 효과적으로 전달하기 위한 기본적인 틀을 제공합니다. Ben Fry의 접근 방식은 데이터를 다루는 전체 프로세스를 아우르며, 각 단계는 데이터 시각화의 질과 효과를 최대화하는 데 중요한 역할을 합니다.
데이터 시각화의 원리
공사중
Dot product와 Matmul의 차이
ML
→ 선형회귀
머신러닝 모델들은 각 특성(feature)이 모델의 예측에 얼마나 기여하는지를 이해하는 것이 중요한 복잡한 데이터 환경에서 작동합니다. 특성 중요도(feature importance)를 결정하는 것은 모델 해석의 핵심 측면으로, 어떤 요인들이 모델의 출력에 크게 영향을 미치는지를 파악할 수 있게 해줍니다. 이제 우리 모델의 특성 중요도를 결정하기 위한 다양한 방법을 살펴봅니다.

선형 모델

선형 모델, 예를 들어 선형 회귀는 입력 특성들과 타겟(y) 변수 사이의 선형 관계를 가정합니다. 각 특성에 할당된 계수는 그 특성이 모델 예측에 미치는 개별적인 영향을 드러냅니다. 하지만, 특성들이 독립적일 때 이러한 계수의 해석이 직관적이라는 점을 주목해야 합니다. 특성들이 상관관계를 가지는 경우, 계수의 해석은 오해의 소지가 있을 수 있으며, 각 특성이 예측에 미치는 진정한 영향을 반영하지 않을 수 있습니다. 따라서 선형 모델을 사용할 때는 계수의 정확한 해석을 보장하기 위해 특성들 사이의 다중공선성을 확인하는 것이 중요합니다.
Python from sklearn.linear_model import LinearRegressionmodel = LinearRegression()model.fit(X_train, y_train)feature_importance = model.coef_
The magnitude of coefficients matters—the larger the absolute value, the more significant the impact. Positive coefficients indicate a positive influence on the target variable, while negative coefficients imply a negative effect.

Tree-Based Models

Decision trees, Random Forests, and Gradient Boosted Trees base their predictions on recursive binary splits of the data. Feature importance in these models is assessed by the contribution of each feature to reducing impurity or error during the decision-making process. However, it’s worth noting that feature importance in tree-based models can sometimes be biased towards features with more levels or categories. This is because these features have more opportunities to split the data and reduce impurity, which might give an inflated sense of their importance. Therefore, when interpreting feature importance from tree-based models, it’s crucial to consider this potential bias.
Python from sklearn.ensemble import RandomForestRegressormodel = RandomForestRegressor()model.fit(X_train, y_train)feature_importance = model.feature_importances_
The feature_importances_ attribute provides a normalized score for each feature. Features with higher importance contribute more to the model’s decision-making.

Permutation Importance

Feature Importance
정보이론은 통신, 데이터 압축, 암호화, 통계학, 뇌 과학, 인공지능 등 다양한 분야에서 기본적인 이론적 토대를 제공하는 학문입니다. 정보의 정량화, 전송, 저장, 해석과 관련된 시스템에서 정보가 어떻게 처리되고 최적화될 수 있는지에 대해 알 수 있습니다.

정보량 (Information Quantity)

정보량은 메시지가 담고 있는 정보의 양을 정량화한 것입니다. 메시지가 발생할 확률에 기반하여 계산됩니다. 더 희귀한 메시지일수록 더 많은 정보를 제공합니다. 정보량 II은 다음과 같은 수식으로 표현됩니다:
I(x)=−log⁡2P(x) I(x) = -\log_2 P(x)
여기서 I(x)I(x)는 메시지 xx 의 정보량이며, P(x)P(x) 는 메시지 xx 가 선택될 확률입니다. 로그의 밑이 2인 이유는 정보량을 비트(bit) 단위로 측정하기 위함입니다.
동전 던지기에서 앞면이 나올 확률은 1/2, 뒷면이 나올 확률도 1/2입니다." 이 경우 앞면의 정보량은 −log⁡2(1/2)=1-\log_2(1/2) = 1 비트입니다. 즉, 동전 던지기의 결과는 1비트의 정보를 제공합니다.

엔트로피 (Entropy)

엔트로피는 시스템이 담을 수 있는 정보의 평균적인 양을 나타내며, 정보의 불확실성 또는 무질서도를 측정합니다. 엔트로피 H(X)H(X)는 다음과 같이 정의됩니다:
H(X)=−∑i=1nP(xi)log⁡2P(xi)\blue{ H(X)} = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i)
XX 는 메시지의 집합(무작위 변수), xix_i 는 특정 메시지, P(xi)P(x_i)는 메시지 xix_i 의 확률(X가 특정 값 x를 가질 확률)입니다.

예시:

동전 던지기에서, 앞면과 뒷면이 나올 확률이 모두 1/2일 때,
정보이론(Information theory)
다중공선성(multicollinearity)은 선형 회귀 분석에서 사용되는 독립 변수들 사이에 높은 상관관계가 있을 때 발생하는 현상입니다.
변수간 높은 상관관계 때문에, 모델의 독립 변수가 다른 독립 변수의 변화를 예측하는데 영향을 미칠 경우, 모델의 계수(가중치) 추정이 불안정해지고 해석이 어려워질 수 있습니다.
즉, 다중공선성이 있는 경우 하나의 독립 변수의 값이 변할 때, 변수들이 서로 의존적이라는 것을 의미하며, 결과적으로 회귀 모델의 계수 추정치를 해석하기 어렵게 만들고, 모델의 정확성에 부정적인 영향을 미칠 수 있습니다.

수식을 통한 이해

회귀 모델에서 다중공선성을 수식으로 설명할 때는 일반적으로 다음과 같은 선형 회귀 모델을 고려합니다:
Y=β0+β1X1+β2X2+⋯+βnXn+ϵ Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + \cdots + \beta_nX_n + \epsilon
여기서, \(Y\)는 종속 변수, \(X_1, X_2, \cdots, X_n\)은 독립 변수, \(\beta_0, \beta_1, \cdots, \beta_n\)은 회귀 계수, 그리고 \(\epsilon\)은 오차 항을 나타냅니다.
다중공선성은 이 독립 변수들 중 하나 이상이 다른 독립 변수들의 선형 조합으로 근사될 수 있을 때 발생합니다. 예를 들어, 두 독립 변수 \(X_1\)과 \(X_2\)가 있을 때, 다음과 같은 관계가 있다고 가정해 봅시다:
\[ X1≈α0+α1X2X_1 \approx \alpha_0 + \alpha_1X_2 \]
이 경우, \(X1X_1\)과 \(X2X_2\) 사이에 강한 선형 관계가 있으며, 다중공선성이 존재한다고 할 수 있습니다.

모델 개선 방법

다중공선성 문제를 해결하기 위한 방법으로는 독립 변수들 간의 상관 관계를 줄이는 것이 있습니다. 이를 위해 다음과 같은 방법을 사용할 수 있습니다:
다중공산성(multicollinearity)
AI

Q1. 왜 “미니”-배치를 사용하는가?

미니 배치 훈련은 배치 경사 하강법과 확률적 경사 하강법(SGD)의 극단 사이에서 균형을 이룹니다. 여기에는 그 사용 이유가 있습니다:
•
수렴: 미니 배치는 SGD에 비해 더 안정적인 수렴을 제공합니다. 왜냐하면 경사 업데이트가 하나의 샘플이 아닌 여러 샘플에 대해 평균화되기 때문에, 단일 예제로부터의 경사보다 덜 노이즈가 있기 때문입니다. 그러나, 전체 데이터셋을 사용하여 단일 업데이트를 계산하는 배치 경사 하강법보다 데이터 변동성에 더 민감합니다.
•
메모리 사용: 전체 데이터셋에 대한 훈련(배치 경사 하강법)은 메모리를 많이 소모하고 대규모 데이터셋에 대해 비현실적일 수 있습니다. 미니 배치는 모델을 데이터의 부분집합에 대해 훈련할 수 있게 하여 메모리 요구사항을 상당히 줄입니다.
•
병렬 처리: 미니 배치 훈련은 병렬 처리에 적합합니다. 현대 하드웨어(예: GPU)는 미니 배치에 대한 계산을 동시에 수행할 수 있어, 훈련 시간을 크게 단축시킬 수 있습니다.
•
정규화 효과: 미니 배치와 함께 훈련하는 것은 최적화 과정에 노이즈를 도입하여, 모델이 손실 함수의 날카로운 최소값에 정착하는 것을 방지할 수 있습니다. 이 노이즈는 일종의 정규화로 작용하여, 모델이 보지 못한 데이터에 대한 일반화를 potencially 개선할 수 있습니다.
경사 하강법은 최적화 알고리즘의 한 형태로, 비용 함수(또는 손실 함수)의 최소값을 찾는 데 사용됩니다. 이 방법은 신경망 훈련에 널리 사용되며, 특히 배치 크기에 따라 다음과 같이 세 가지 주요 변형으로 분류됩니다:

1. (배치) 경사 하강법

•
정의: 배치 경사 하강법은 훈련 데이터 전체를 사용하여 각 반복에서 그라디언트(경사)를 계산합니다. 즉, 모델 업데이트를 위해 전체 데이터셋에 대한 비용 함수의 그라디언트를 한 번에 계산합니다.
•
장점: 그라디언트 계산이 안정적이며 노이즈가 적습니다. 이론적으로는 더 안정적인 수렴을 제공할 수 있습니다.
•
단점: 전체 데이터셋에 대한 그라디언트를 계산하기 때문에 계산 비용이 매우 높습니다. 특히 대규모 데이터셋에서는 메모리 문제가 발생할 수 있습니다. 또한, 매우 평평한 지역에서 느린 수렴이 문제가 될 수 있습니다.

2. 확률적 경사 하강법 (SGD)

Deeplearning
Optimization via gradient descent
이 두 가지 업데이트 방정식은 신경망 학습에서 중요한 역할을 합니다. 첫 번째는 행렬 형태로 주어진 전체 가중치 벡터 또는 행렬의 업데이트를 나타내며, 두 번째는 단일 가중치 매개변수의 업데이트를 보여줍니다. 두 식 모두 비용 함수 \(J(\mathbf{w})\)의 그래디언트를 사용하여 가중치를 업데이트합니다. 여기서, \(\eta\)는 학습률(learning rate)이며, \(J(\mathbf{w})\)는 비용 함수(cost function) 또는 손실 함수(loss function)를 의미합니다.

행렬 형태의 업데이트 방정식

$$ \mathbf{w}^{(\text {new })}=\mathbf{w}^{(\text {old })}-\eta \nabla_{\mathbf{w}} J(\mathbf{w}) $$ 이 방정식에서 \(\mathbf{w}^{(\text {old })}\)는 업데이트 전의 가중치를, \(\mathbf{w}^{(\text {new })}\)는 업데이트 후의 가중치를 나타냅니다. \(\nabla_{\mathbf{w}} J(\mathbf{w})\)는 비용 함수의 가중치에 대한 그래디언트(기울기 벡터)이며, 각 매개변수에 대한 손실 함수의 편미분을 포함합니다. 학습률 \(\eta\)는 이 그래디언트에 곱해져, 가중치 업데이트의 크기와 방향을 결정합니다. 이 과정은 비용 함수를 최소화하는 방향으로 가중치를 조정하는 경사 하강법의 한 형태입니다.

단일 매개변수의 업데이트 방정식

$$ w_j^{(\text {new })}=w_j^{(\text {old })}-\eta \frac{\partial}{\partial w_j^{\text {(old) }}} J(\mathbf{w}) $$ 이 방정식은 개별 가중치 매개변수 \(w_j\)에 대한 업데이트 규칙을 보여줍니다. 여기서 \(w_j^{(\text {old })}\)는 업데이트 전의 가중치, \(w_j^{(\text {new })}\)는 업데이트 후의 가중치입니다. \(\frac{\partial}{\partial w_j^{\text {(old) }}} J(\mathbf{w})\)는 비용 함수를 가중치 매개변수 \(w_j\)에 대해 편미분한 것으로, 해당 가중치가 비용 함수에 미치는 영향의 변화율을 나타냅니다. 이 편미분 값에 학습률 \(\eta\)를 곱하여 기존 가중치에서 빼줌으로써, 비용 함수의 최소값을 향해 가중치를 업데이트합니다.

코드에서의 적용

위의 방정식들은 신경망 학습 시 가중치 업데이트에 사용됩니다. 특히, 신경망을 훈련할 때, 손실 함수의 그래디언트를 계산하고 이를 사용하여 가중치를 조정합니다. 예를 들어, 신경망에서 손실 함수로 크로스 엔트로피 또는 평균 제곱 오차(MSE)를 사용할 수 있습니다. 학습 과정에서는 이 손실 함수의 값을 최소화하기 위해 역전파 알고리즘을 사용하여 각 가중치에 대한 손실 함수의 그래디언트
를 계산하고, 이를 기반으로 가중치를 업데이트합니다.
가중치 업데이트는 신경망의 학습률과 손실 함수의 그래디언트에 따라 결정되며, 이 과정을 통해 모델의 성능을 점차
최적상태를 찾아갑니다
AI
활성화함수
신경망 학습에서 가중치를 업데이트하기 위해 오차 함수(E)의 그래디언트를 계산하는 과정은 매우 중요합니다. 여기서 우리는 시그모이드 활성화 함수를 사용하는 신경망에서 오차 함수의 그래디언트를 어떻게 계산하는지 살펴보겠습니다.

(1) 오차 함수 \(E\)

주어진 오차 함수는 \[E=\frac{1}{2}(t-y)^2\] 입니다. 이는 실제 값 \(t\)와 예측 값 \(y\) 사이의 차이를 나타내는 평균 제곱 오차 함수입니다. 이 함수를 최소화함으로써, 우리는 모델의 예측을 실제 값에 더 가깝게 만들 수 있습니다.

(2) 시그모이드 함수와 그 미분

시그모이드 함수 \(\sigma(u)\)는 다음과 같습니다. \[y=f(u)=\sigma(u)\] 그리고 시그모이드 함수의 미분은 다음과 같은 성질을 가집니다. \[\frac{d \sigma(u)}{d u}=\sigma(u) \cdot (1-\sigma(u))\]

(3) 입력에 대한 선형 조합

입력 \(x_i\)와 가중치 \(w_i\)의 선형 조합으로 구성된 \(u\)는 다음과 같습니다. \[u=\sum_{i=0}^K w_i x_i\]

그래디언트 찾기

가중치 \(w_i\)에 대한 \(E\)의 그래디언트를 구하기 위해 연쇄 법칙(chain rule)을 사용합니다. 먼저, 오차 함수 \(E\)를 가중치 \(w_i\)에 대해 편미분합니다.

오차 함수의 미분

\[ \frac{\partial E}{\partial w_i} = \frac{\partial E}{\partial y} \cdot \frac{\partial y}{\partial u} \cdot \frac{\partial u}{\partial w_i} \]
신경망 학습에서 가중치를 업데이트
이 식들은 두 층으로 이루어진 신경망 모델에서의 전방 전파(forward propagation)와 오차 함수(error function)의 계산 방법을 설명합니다. 신경망은 일반적으로 입력층(input layer), 하나 이상의 은닉층(hidden layers), 그리고 출력층(output layer)으로 구성됩니다. 여기서는 입력층에서 은닉층으로, 그리고 은닉층에서 출력층으로의 데이터 흐름과, 이때의 오차를 계산하는 방법을 살펴보겠습니다.

전방 전파 (Forward Propagation)

•
은닉층의 활성화:
hi=σ(ui)=σ(∑k=1Kwkixk) h_i = \sigma\left(u_i\right) = \sigma\left(\sum_{k=1}^K w_{ki} x_k\right)
이 식은 입력층에서 은닉층으로의 데이터 전달을 나타냅니다. 여기서 \(x_k\)는 입력층의 뉴런에서의 입력 값, \(w_{ki}\)는 입력층의 뉴런 \(k\)와 은닉층의 뉴런 \(i\) 사이의 가중치, \(h_i\)는 은닉층 뉴런 \(i\)의 출력 값입니다. \(\sigma\)는 시그모이드 활성화 함수를 의미하며, 이 함수를 통해 비선형 변환을 수행합니다.
•
출력층의 활성화:
yj=σ(uj′)=σ(∑i=1Nwij′hi) y_j = \sigma\left(u_j^{\prime}\right) = \sigma\left(\sum_{i=1}^N w_{ij}^{\prime} h_i\right)
이 식은 은닉층에서 출력층으로의 데이터 전달을 나타냅니다. wij′w_{ij}^{\prime}는 은닉층의 뉴런 ii 와 출력층의 뉴런 jj 사이의 가중치, yjy_j는 출력층 뉴런 jj 의 최종 출력 값입니다.

오차 함수 (Error Function)

•
제곱합 오차 함수
E(x,t,W,W′)=12∑j=1M(yj−tj)2 E\left(\mathbf{x}, \mathbf{t}, \mathbf{W}, \mathbf{W}^{\prime}\right) = \frac{1}{2} \sum_{j=1}^{M} \left(y_j - t_j\right)^2
•
이 식은 네트워크의 출력 \(y_j\)와 실제 목표 값 \(t_j\) 사이의 오차를 측정하는 제곱합 오차 함수입니다. 여기서 \(M\)은 출력층의 뉴런 수입니다. 오차 함수의 목적은 이 값을 최소화하는 것으로, 이를 통해 신경망의 가중치들이 적절히 조정됩니다.
이 과정은 신경망이 학습하는 기본적인 방법으로, 입력 데이터에 대한 신경망의 출력을 계산하고(전방 전파), 계산된 출력과 실제 목표 값 사이의 오차를 기반으로 신경망의 가중치를 조정합니다(역전파). 오차 함수의 최소화는 경사 하강법(Gradient Descent)과 같은 최적화 기법을 사용하여 수행됩니다. 이 과정을 통해, 신경망은 주어진 입력 데이터에 대해 정확한 예측을 할 수 있도록 학습됩니다.
Backpropagation with a Multi-Layer Network

GNN(Graph Neural Networks)

그래프 신경망(Graph Neural Networks, GNN)은 노드, 엣지, 그리고 이들의 상호작용을 모델링하기 위해 설계된 심층 학습 아키텍처입니다. 이러한 구조는 데이터의 그래프 구조를 직접적으로 활용하여, 소셜 네트워크, 분자 구조, 지식 그래프, 추천 시스템 등 다양한 분야에서 유용하게 적용됩니다. GNN의 장점과 단점을 상세히 살펴보겠습니다.

GNN의 장점

1.
그래프 구조 데이터의 직접적인 처리: GNN은 그래프 형태의 데이터를 자연스럽게 처리할 수 있으며, 노드 간의 복잡한 관계와 구조적 정보를 학습할 수 있습니다.
2.
강력한 표현력: GNN은 노드, 엣지, 전체 그래프에 대한 특성을 학습할 수 있어, 복잡한 패턴과 관계를 효과적으로 모델링할 수 있습니다.
3.
전이 학습(Transfer Learning) 용이: 한 분야에서 학습된 GNN 모델을 다른 분야의 비슷한 유형의 그래프 데이터에 적용할 수 있습니다. 이는 모델의 범용성을 높여줍니다.
4.
동적 구조의 학습: GNN은 시간에 따라 변화하는 동적 그래프 데이터를 처리할 수 있어, 실시간 데이터 분석 및 예측에 유용합니다.

GNN의 단점

1.
계산 복잡성: 그래프의 크기가 크거나 복잡할 경우, GNN의 학습과 추론은 계산적으로 매우 비용이 많이 들 수 있습니다.
2.
오버스무딩(Over-smoothing) 문제: 여러 레이어를 거치면서 노드 간의 특징이 과도하게 혼합되어, 노드 간의 구별이 어려워질 수 있습니다. 이는 모델의 성능 저하로 이어질 수 있습니다.
3.
스케일러빌리티 문제: 대규모 그래프에 GNN을 적용하기 위해서는 메모리 요구량이 매우 높아질 수 있으며, 이를 해결하기 위한 효율적인 방법론이 필요합니다.
4.
데이터 불균형: 그래프 데이터에서는 종종 특정 클래스의 노드나 엣지가 다른 것들에 비해 훨씬 적을 수 있습니다. 이러한 불균형은 모델 학습에 있어서 편향을 일으킬 수 있습니다.
5.
해석 가능성의 어려움: GNN 모델은 복잡할 수 있으며, 모델이 내린 결정의 근거를 해석하기 어려울 수 있습니다. 이는 특히 의료, 금융 등의 분야에서 중요한 고려사항이 될 수 있습니다.
GNN(Graph Neural Networks) 장점 단점

CDP(Conditional Density Partitioning)

CDP(Conditional Density Partitioning)는 통계적 학습과 데이터 분석에서 사용되는 개념 중 하나입니다. CDP는 주어진 조건 하에서 데이터의 밀도를 분할하여 분석하는 방법론을 의미합니다. 이 기법은 특히 조건부 확률밀도 함수(Conditional Probability Density Function, CPDF)를 추정하고자 할 때 유용합니다.
CDP의 기본 아이디어는 조건부 확률밀도를 사용하여 데이터 공간을 여러 영역으로 나누고, 각 영역에서 데이터의 분포 특성을 분석하는 것입니다. 이를 통해 데이터의 복잡한 구조를 더 잘 이해하고, 예측 모델링, 클러스터링, 분류 등에 활용할 수 있습니다.
CDP를 수식으로 설명하면, 우리는 먼저 조건부 확률밀도함수 \(f(x|y)\)를 가정합니다. 여기서 \(x\)는 관심 있는 변수(예: 예측하고자 하는 값)이고, \(y\)는 조건을 나타내는 변수입니다. CDP는 주어진 \(y\)의 값에 따라 \(x\)의 분포가 어떻게 변하는지를 분석합니다.
조건부 확률밀도함수는 다음과 같이 정의됩니다:
\[ f(x|y) = \frac{f(x, y)}{f(y)} \]
여기서 \(f(x, y)\)는 \(x\)와 \(y\)의 결합 확률밀도함수이고, \(f(y)\)는 \(y\)의 주변 확률밀도함수입니다. 이 식은 \(y\)가 주어졌을 때 \(x\)의 확률밀도를 나타냅니다.
CDP는 이 조건부 확률밀도함수를 추정하고, 데이터 공간을 \(y\)의 다른 값에 따라 여러 영역으로 나눕니다. 각 영역에서 \(x\)의 분포를 분석함으로써, 우리는 \(x\)와 \(y\) 사이의 관계를 더 깊게 이해할 수 있습니다.
실제 데이터에서 CDP를 적용하기 위해서는 비모수적 방법(예: 커널 밀도 추정), 모수적 방법(예: 가우시안 혼합 모델), 또는 반모수적 방법(예: 스플라인 회귀) 등 다양한 통계적 추정 방법을 사용할 수 있습니다. 각 방법은 데이터의 특성과 분석 목적에 따라 선택됩니다.
CDP는 복잡한 데이터 구조를 이해하고, 특히 다변량 데이터에서 변수들 간의 관계를 모델링하는 데 있어서 중요한 도구입니다.
결합 확률밀도함수(joint probability density function, PDF)와 주변 확률밀도함수(marginal probability density function)는 연속 확률 변수의 분포를 설명하는 데 사용되는 두 가지 기본 개념입니다. 이들은 확률 변수들 사이의 관계를 이해하고 분석하는 데 필수적입니다.

결합 확률밀도함수 (Joint PDF)

결합 확률밀도함수는 두 개 이상의 연속 확률 변수가 특정 값을 동시에 취할 확률을 나타냅니다. 예를 들어, 두 연속 확률 변수 \(X\)와 \(Y\)에 대한 결합 확률밀도함수 \(f_{X,Y}(x, y)\)는 \(X=x\) 및 \(Y=y\)를 동시에 만족하는 확률 밀도를 나타냅니다.
결합 확률밀도함수의 정의는 다음과 같습니다:
CDP 란?