home
HOME
home
About
GatherTown
Computer Vision (CV)
Natural Language Processing (NLP)
Data Analysis
Blog
PaperReview
Statistics(통계학)
ADsp
SQL
빅데이터분석기사
home

RazielLab Blog

SQL
Blog
샤를 조제프 민아르( 나폴레옹 모스크바 진군맵)
나폴레옹의 모스크바 진군은 1812년에 일어난 역사적인 사건으로, 나폴레옹 보나파르트의 프랑스 대군이 러시아 제국을 침공한 것을 말합니다. 이 사건은 나폴레옹 전쟁의 일환으로, 당시 유럽 대륙을 지배하던 나폴레옹의 군대가 러시아 깊숙이 진군하여 모스크바에 이르렀음에도 불구하고, 결국 실패로 귀결되었습니다.
그 중 나폴레옹의 모스크바 진군 시각화 예시는 복잡한 역사적 사건을 한눈에 이해하고, 그 시기의 전략적 결정들이 어떤 결과를 가져왔는지 직관적으로 이해할 수 있습니다.
참고자료
샤를 조제프 민아르
시각화의 시초 - 나폴레옹 진군맵
Original map by John Snow showing the clusters of cholera cases in the London epidemic of 1854, drawn and lithographed by Charles Cheffins.
1854년 런던 소호 지역에서 발생한 콜레라 발병은 의학 분야에서 중요한 사건으로, 당시 존 스노우(John Snow, 1813-1858) 질병 전파 방식을 현대적으로 이해하는 데 기여했습니다. 당시 지배적인 이론은 미아즈마 이론으로, 콜레라와 흑사병 같은 질병이 오염 또는 유해한 "나쁜 공기"에 의해 발생한다고 생각했습니다. 하지만, 존 스노우 박사는 이 이론에 의문을 제기했고, 콜레라가 어떻게 전파되는지에 대한 자신의 관찰을 통해 다른 결론을 내렸습니다.
참고자료
시각화의 시초 - 콜레라 발병맵
플로렌스 나이팅게일은 이탈리아 피렌체에서 태어난 영국 상류층 가정의 딸로, 교양 교육을 받으며 수학과 분석에 탁월한 재능을 보였습니다. 당시 보수적인 사회분위기 속에서 간호사라는 직업은 멸시받았으나, 병약한 이들을 돌보겠다는 신앙적 사명감을 가졌습니다. 나이팅게일은 가족의 반대를 무릅쓰고 자신의 길을 갔습니다.
나이팅게일의 시각적 도구는 공간-시간 데이터의 그래픽 표현에 있어 혁신적인 사례로, 위치를 명시적으로 표시하지 않고도 데이터의 시간적 변화와 패턴을 명확히 전달합니다. 명확한 메시지 전달을 위한 깔끔한 디자인과 혁신의 예로, 오늘날 데이터 시각화 및 커뮤니케이션에 많은 영감을 제공합니다.
시각화의 시초 - 나이팅게일
분석 유형별 그래프를 살펴보면,   비교분석, 구성분석, 관계분석, 분포분석은 데이터 시각화에서 중요한 분석 유형입니다. 각 분석 유형은 데이터의 특정 측면을 이해하고, 결과를 해석하는 데 도움을 주며, 선택하는 그래프 유형에 따라 정보를 전달하는 방식이 달라집니다.
비교분석
비교분석 - Grouped bar, Line, Column, Rader
비교분석은 두 개 이상의 항목 간의 차이점을 비교하고, 특정 기간 동안의 변화나 다른 변수들 간의 관계를 보여줍니다. 이를 통해 동향, 패턴, 불일치 등을 식별할 수 있습니다.
•
Grouped Bar Chart : 여러 그룹의 데이터를 서로 나란히 배치하여, 각 그룹 내의 항목들을 쉽게 비교할 수 있게 해줍니다. 카테고리별 중요한 차이점을 강조할 때 유용합니다.
•
Line Chart : 시간의 흐름에 따른 데이터의 변화를 나타내기에 적합합니다. 여러 데이터 시리즈를 동시에 나타내어, 시간에 따른 추세를 비교할 수 있습니다.
•
Column Chart : 각 카테고리의 값이나 빈도를 세로 막대로 표시합니다. 막대의 높이를 비교함으로써, 항목 간 차이를 쉽게 식별할 수 있습니다.
•
Radar Chart : 여러 변수를 갖는 항목들을 원형의 축에 표시하여, 각 항목의 성능을 다각적으로 비교할 수 있습니다. 다변량 데이터의 패턴을 비교하는 데 적합합니다.
구성분석
구성분석 - Pie, Stacked area, 100% stacked bar, Waterfall
구성분석은 전체에 대한 각 부분의 비율이나 기여도를 보여줍니다. 이를 통해 전체 중 특정 부분이 차지하는 비중을 이해할 수 있습니다.
•
Pie Chart : 전체 중 각 부분이 차지하는 비율을 원형으로 나타냅니다. 각 조각의 크기가 부분의 비율을 대표합니다.
•
Stacked Area Chart : 시간의 흐름에 따른 여러 그룹의 데이터를 층으로 쌓아, 전체 중 각 부분의 변화와 기여도를 시각화합니다.
•
100% Stacked Bar Chart : 각 막대가 100%를 나타내며, 막대 내에서의 각 세그먼트의 크기가 전체 중 해당 부분의 비율을 나타냅니다. 카테고리별 구성의 변화를 비교할 때 유용합니다.
분석 유형별 그래프
Data Visualization Design Process
The Seven Stages of Data Visualization by Ben Fry
Ben Fry의 데이터 시각화 7단계는 데이터와 그 처리 과정을 통해 효과적인 시각화를 생성하기 위한 절차를 설명합니다. 이 단계들은 데이터 시각화 과정에서 중요한 역할을 하며, 각 단계는 다음과 같습니다:
1.
수집 (Acquire): 데이터를 수집하는 단계입니다. 여기서는 필요한 데이터를 모으고, 이 데이터가 어디에서 왔는지, 어떻게 수집되었는지를 이해하는 것이 중요합니다.
2.
구문 분석 (Parse): 수집한 데이터를 읽고 해석하는 단계입니다. 데이터 형식을 이해하고, 필요한 데이터 구조로 변환하는 작업을 포함합니다.
3.
필터 (Filter): 관련성이 떨어지거나 필요하지 않은 데이터를 제거하는 단계입니다. 이 과정을 통해 데이터 집합을 좀 더 관리하기 쉽고, 분석에 유용하게 만듭니다.
4.
마이닝 (Mine): 데이터에서 유용한 정보나 패턴을 추출하는 단계입니다. 통계적 방법, 데이터 마이닝 기술, 머신 러닝 알고리즘 등을 사용할 수 있습니다.
5.
표현 (Represent): 데이터를 시각적 형태로 표현하는 단계입니다. 차트, 그래프, 맵 등 다양한 시각화 기법을 사용하여 데이터를 표현할 수 있습니다.
6.
정제 (Refine): 시각화의 미적 요소를 개선하는 단계입니다. 색상, 레이아웃, 스케일 등을 조정하여 정보를 더 명확하고 이해하기 쉽게 만듭니다.
7.
상호작용 (Interact): 사용자가 시각화와 상호작용할 수 있도록 하는 단계입니다. 이를 통해 사용자는 데이터를 더 깊이 탐색하고, 다양한 관점에서 정보를 검토할 수 있습니다.
이 7단계 프로세스는 데이터 시각화를 통해 복잡한 데이터에서 유의미한 인사이트를 추출하고, 이해 관계자에게 효과적으로 전달하기 위한 기본적인 틀을 제공합니다. Ben Fry의 접근 방식은 데이터를 다루는 전체 프로세스를 아우르며, 각 단계는 데이터 시각화의 질과 효과를 최대화하는 데 중요한 역할을 합니다.
데이터 시각화의 원리
NumPy에서 np.dot과 np.matmul의 차이를 이해하는 것은 특히 딥러닝과 같은 수치 계산 분야에서 효율적인 프로그래밍을 위해 매우 중요합니다.

1. 차원 처리

•
np.dot (Dot Product):
•
np.matmul (Matrix Multiplication):

2. 연산 규칙

•
Dot Product (np.dot):
•
Matrix Multiplication (np.matmul):

3. 브로드캐스팅 동작

•
np.dot:
•
np.matmul:

4. 사용 상황

NumPy의 Dot Product (np.dot) vs Matrix Multiplication (np.matmul)
ML
→ 선형회귀
머신러닝 모델들은 각 특성(feature)이 모델의 예측에 얼마나 기여하는지를 이해하는 것이 중요한 복잡한 데이터 환경에서 작동합니다. 특성 중요도(feature importance)를 결정하는 것은 모델 해석의 핵심 측면으로, 어떤 요인들이 모델의 출력에 크게 영향을 미치는지를 파악할 수 있게 해줍니다. 이제 우리 모델의 특성 중요도를 결정하기 위한 다양한 방법을 살펴봅니다.

선형 모델

선형 모델, 예를 들어 선형 회귀는 입력 특성들과 타겟(y) 변수 사이의 선형 관계를 가정합니다. 각 특성에 할당된 계수는 그 특성이 모델 예측에 미치는 개별적인 영향을 드러냅니다. 하지만, 특성들이 독립적일 때 이러한 계수의 해석이 직관적이라는 점을 주목해야 합니다. 특성들이 상관관계를 가지는 경우, 계수의 해석은 오해의 소지가 있을 수 있으며, 각 특성이 예측에 미치는 진정한 영향을 반영하지 않을 수 있습니다. 따라서 선형 모델을 사용할 때는 계수의 정확한 해석을 보장하기 위해 특성들 사이의 다중공선성을 확인하는 것이 중요합니다.
Python from sklearn.linear_model import LinearRegressionmodel = LinearRegression()model.fit(X_train, y_train)feature_importance = model.coef_
The magnitude of coefficients matters—the larger the absolute value, the more significant the impact. Positive coefficients indicate a positive influence on the target variable, while negative coefficients imply a negative effect.

Tree-Based Models

Decision trees, Random Forests, and Gradient Boosted Trees base their predictions on recursive binary splits of the data. Feature importance in these models is assessed by the contribution of each feature to reducing impurity or error during the decision-making process. However, it’s worth noting that feature importance in tree-based models can sometimes be biased towards features with more levels or categories. This is because these features have more opportunities to split the data and reduce impurity, which might give an inflated sense of their importance. Therefore, when interpreting feature importance from tree-based models, it’s crucial to consider this potential bias.
Python from sklearn.ensemble import RandomForestRegressormodel = RandomForestRegressor()model.fit(X_train, y_train)feature_importance = model.feature_importances_
The feature_importances_ attribute provides a normalized score for each feature. Features with higher importance contribute more to the model’s decision-making.

Permutation Importance

Feature Importance
정보이론은 통신, 데이터 압축, 암호화, 통계학, 뇌 과학, 인공지능 등 다양한 분야에서 기본적인 이론적 토대를 제공하는 학문입니다. 정보의 정량화, 전송, 저장, 해석과 관련된 시스템에서 정보가 어떻게 처리되고 최적화될 수 있는지에 대해 알 수 있습니다.

정보량 (Information Quantity)

정보량은 메시지가 담고 있는 정보의 양을 정량화한 것입니다. 메시지가 발생할 확률에 기반하여 계산됩니다. 더 희귀한 메시지일수록 더 많은 정보를 제공합니다. 정보량 II은 다음과 같은 수식으로 표현됩니다:
I(x)=−log⁡2P(x) I(x) = -\log_2 P(x)
여기서 I(x)I(x)는 메시지 xx 의 정보량이며, P(x)P(x) 는 메시지 xx 가 선택될 확률입니다. 로그의 밑이 2인 이유는 정보량을 비트(bit) 단위로 측정하기 위함입니다.
동전 던지기에서 앞면이 나올 확률은 1/2, 뒷면이 나올 확률도 1/2입니다." 이 경우 앞면의 정보량은 −log⁡2(1/2)=1-\log_2(1/2) = 1 비트입니다. 즉, 동전 던지기의 결과는 1비트의 정보를 제공합니다.

엔트로피 (Entropy)

엔트로피는 시스템이 담을 수 있는 정보의 평균적인 양을 나타내며, 정보의 불확실성 또는 무질서도를 측정합니다. 엔트로피 H(X)H(X)는 다음과 같이 정의됩니다:
H(X)=−∑i=1nP(xi)log⁡2P(xi)\blue{ H(X)} = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i)
XX 는 메시지의 집합(무작위 변수), xix_i 는 특정 메시지, P(xi)P(x_i)는 메시지 xix_i 의 확률(X가 특정 값 x를 가질 확률)입니다.

예시:

동전 던지기에서, 앞면과 뒷면이 나올 확률이 모두 1/2일 때,
정보이론(Information theory)
다중공선성(multicollinearity)은 선형 회귀 분석에서 사용되는 독립 변수들 사이에 높은 상관관계가 있을 때 발생하는 현상입니다.
변수간 높은 상관관계 때문에, 모델의 독립 변수가 다른 독립 변수의 변화를 예측하는데 영향을 미칠 경우, 모델의 계수(가중치) 추정이 불안정해지고 해석이 어려워질 수 있습니다.
즉, 다중공선성이 있는 경우 하나의 독립 변수의 값이 변할 때, 변수들이 서로 의존적이라는 것을 의미하며, 결과적으로 회귀 모델의 계수 추정치를 해석하기 어렵게 만들고, 모델의 정확성에 부정적인 영향을 미칠 수 있습니다.

수식을 통한 이해

회귀 모델에서 다중공선성을 수식으로 설명할 때는 일반적으로 다음과 같은 선형 회귀 모델을 고려합니다:
Y=β0+β1X1+β2X2+⋯+βnXn+ϵ Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + \cdots + \beta_nX_n + \epsilon
여기서, \(Y\)는 종속 변수, \(X_1, X_2, \cdots, X_n\)은 독립 변수, \(\beta_0, \beta_1, \cdots, \beta_n\)은 회귀 계수, 그리고 \(\epsilon\)은 오차 항을 나타냅니다.
다중공선성은 이 독립 변수들 중 하나 이상이 다른 독립 변수들의 선형 조합으로 근사될 수 있을 때 발생합니다. 예를 들어, 두 독립 변수 \(X_1\)과 \(X_2\)가 있을 때, 다음과 같은 관계가 있다고 가정해 봅시다:
\[ X1≈α0+α1X2X_1 \approx \alpha_0 + \alpha_1X_2 \]
이 경우, \(X1X_1\)과 \(X2X_2\) 사이에 강한 선형 관계가 있으며, 다중공선성이 존재한다고 할 수 있습니다.

모델 개선 방법

다중공선성 문제를 해결하기 위한 방법으로는 독립 변수들 간의 상관 관계를 줄이는 것이 있습니다. 이를 위해 다음과 같은 방법을 사용할 수 있습니다:
다중공산성(multicollinearity)
베이지안 부트스트랩 (Bayesian Bootstrap) 설명
베이지안 부트스트랩은 전통적인 부트스트랩 방법을 베이지안 통계 프레임워크로 확장한 것으로, 데이터의 불확실성을 반영하면서도 베이지안 추론의 장점을 활용할 수 있는 기법입니다. 이 방법은 특히 데이터의 분포에 대한 사전 정보가 부족하거나, 비모수적(non-parametric) 접근이 필요할 때 유용하게 사용됩니다.

1. 부트스트랩과 베이지안 부트스트랩의 차이점

•
전통적 부트스트랩 (Frequentist Bootstrap):
•
베이지안 부트스트랩:

2. 베이지안 부트스트랩의 기본 개념

베이지안 부트스트랩은 데이터의 각 관측치에 대한 가중치를 확률 변수로 간주하고, 이 가중치가 특정 분포(주로 디리클레 분포)를 따르도록 설정합니다. 이를 통해 각 부트스트랩 샘플에 대한 불확실성을 자연스럽게 포함할 수 있습니다.

주요 요소:

•
데이터 집합 \( X = \{x_1, x_2, \dots, x_n\} \):
•
가중치 벡터 \( \mathbf{w} = (w_1, w_2, \dots, w_n) \):
•
디리클레 분포: \[ p(\mathbf{w}) = \frac{1}{B(\alpha)} \prod_{i=1}^n w_i^{\alpha_i - 1} \] 여기서 \( B(\alpha) \)는 베타 함수이며, \( \alpha = (\alpha_1, \alpha_2, \dots, \alpha_n) \)는 파라미터 벡터입니다.

3. 베이지안 부트스트랩의 절차

Bayesian Bootstrap
불균형 데이터(imbalanced data)는 머신러닝 모델 학습 시 여러 가지 부정적인 영향을 미칠 수 있습니다. 특히 분류 문제에서 한 클래스의 샘플 수가 다른 클래스에 비해 현저히 적거나 많은 경우 모델의 성능과 일반화 능력에 큰 영향을 줄 수 있습니다. 아래에서는 불균형 데이터가 모델 학습에 미치는 주요 영향과 그로 인한 문제점들을 상세히 설명하겠습니다.

1. 모델의 편향(Bias) 발생

불균형 데이터에서는 다수 클래스(majority class)에 비해 소수 클래스(minority class)의 샘플 수가 적기 때문에 모델이 주로 다수 클래스에 치우쳐 학습됩니다. 이로 인해 모델은 다수 클래스를 더 잘 예측하는 반면, 소수 클래스에 대해서는 예측 성능이 저하될 수 있습니다.

예시:

•
이진 분류 문제에서 클래스 0이 90%, 클래스 1이 10%인 경우, 모델은 모든 샘플을 클래스 0으로 예측해도 90%의 정확도를 달성할 수 있습니다. 그러나 이는 소수 클래스인 클래스 1을 전혀 예측하지 못하는 비실용적인 모델입니다.

2. 평가 지표의 왜곡

불균형 데이터에서는 정확도(accuracy) 같은 전통적인 평가 지표가 모델 성능을 제대로 반영하지 못할 수 있습니다. 높은 정확도를 기록하더라도 소수 클래스에 대한 예측이 매우 부정확할 수 있습니다.

주요 평가 지표:

•
정확도(Accuracy): 전체 샘플 중 올바르게 예측한 비율. 불균형 데이터에서는 다수 클래스 예측에 의해 쉽게 높아질 수 있습니다.
•
정밀도(Precision): 양성으로 예측한 샘플 중 실제 양성의 비율.
•
재현율(Recall): 실제 양성 샘플 중 모델이 양성으로 예측한 비율.
•
F1 스코어(F1 Score): 정밀도와 재현율의 조화 평균.
•
ROC-AUC: 다양한 임계값에서의 분류 성능을 종합한 지표.
불균형 데이터에서는 정확도보다는 정밀도, 재현율, F1 스코어 등을 활용하여 모델의 성능을 평가하는 것이 더 적절합니다.

3. 학습 알고리즘의 성능 저하

불균형 데이터(imbalanced data)
imbalanced-learn는 Python에서 데이터 불균형 문제를 해결하기 위한 다양한 샘플링 기법을 제공하는 라이브러리입니다. 이 라이브러리는 오버샘플링(Over-sampling), 언더샘플링(Under-sampling), 혼합 샘플링(Combined Sampling), 그리고 앙상블(Ensemble) 방법 등 다양한 접근 방식을 지원합니다. 아래에서는 imbalanced-learn에서 제공하는 주요 데이터 불균형 처리 기법들을 상세히 소개하겠습니다.

목차

1. 오버샘플링(Over-sampling) 기법

오버샘플링은 소수 클래스의 샘플 수를 증가시켜 클래스 간의 불균형을 완화하는 방법입니다. imbalanced-learn에서는 다양한 오버샘플링 기법을 제공합니다.
imbalanced-learn
선형회귀분석은 **연속형 종속변수(Y)**와 한 개 이상의 독립변수(X) 사이의 관계를 모델링하는 가장 기본적이고 널리 쓰이는 통계·머신러닝 기법입니다.

1. 개요

1.
기본 개념
2.
단순회귀 vs 다중회귀
3.
결과 해석

2. 주요 가정(전제조건)

선형회귀분석은 **최소제곱법(OLS)**을 사용할 때, 다음과 같은 가정이 충족된다는 전제를 둡니다:
1.
선형성(Lineaity)
2.
독립성(Independence)
3.
등분산성(Homoscedasticity)
4.
정규성(Normality)
5.
다중공선성(Multicollinearity) 최소
선형회귀분석(단순/다중)
TREE Model

mRMR(minimum Redundancy Maximum Relevance) 알고리즘 개요

mRMR 알고리즘은 머신러닝에서 **특징 선택(Feature Selection)**을 위해 자주 사용되는 필터 기반(Filter-based) 방법입니다. 많은 수의 특징(feature) 중에서 **목표 변수(클래스 변수)**와 최대한 관련성이 높으면서도, 이미 선택한 특징들과는 중복 정보가 최소가 되는 특징들을 선별하는 것을 목표로 합니다. 이를 통해 모델의 성능 향상, 해석력 증가, 계산 비용 감소, 과적합 방지 등 다양한 이점을 얻을 수 있습니다.
특히, 빅데이터 시대에 고차원 데이터셋이 증가함에 따라, 불필요한 특징들을 제거하고 핵심적인 특징만을 활용하는 것은 매우 중요한 과제가 되었습니다. mRMR 알고리즘은 이러한 문제 상황에서 효율적이고 직관적인 해결책을 제공합니다.

핵심 개념

mRMR 알고리즘은 두 가지 핵심 기준을 통해 특징을 선택합니다.
1.
최대 관련성(Maximum Relevance):
2.
최소 중복성(Minimum Redundancy):
[그림으로 설명하면 좋을 곳]
(예: 그림 1) 목표 변수와 특징들 간의 정보 흐름과 특징들 간의 중복성을 나타내는 개략도를 제시할 수 있습니다. 타겟 변수 y를 중앙에 두고, 각 특징들이 서로 얼마나 정보적으로 겹치는지를 화살표 두께로 표현할 수 있습니다.

알고리즘 작동 원리

mRMR 알고리즘은 다음과 같은 절차로 작동합니다.
1.
초기화(Initialization):
2.
첫 번째 특징 선택(First Feature Selection):
mRMR(minimum Redundancy Maximum Relevance)

Pearson 상관계수 (Pearson Correlation Coefficient)

개념:
Pearson 상관계수는 두 변수 간의 선형적(linear) 관계의 정도를 측정하는 통계량입니다.
값의 범위는 −1-1부터 +1+1이며,
•
+1+1에 가까울수록 두 변수는 강한 양의 선형관계,
•
−11에 가까울수록 강한 음의 선형관계,
•
00에 가까울수록 선형관계가 약함을 의미합니다.
공식:
두 변수 XX와 YY의 Pearson 상관계수 rr는 다음과 같이 정의됩니다.
r=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2∑i=1n(yi−yˉ)2r = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i - \bar{x})^2}\sqrt{\sum_{i=1}^{n}(y_i - \bar{y})^2}}
여기서 xˉ\bar{x}, yˉ\bar{y}는 각각 XX, YY의 평균입니다.

Chatterjee 상관계수 (Chatterjee Correlation Coefficient)

개념:
Chatterjee 상관계수는 2020년 Sourav Chatterjee가 제안한 새로운 형태의 상관계수로, 두 변수 사이의 단조(montonic) 관계 정도를 측정하는 지표입니다. Pearson 상관계수가 선형 관계를 포착하는 반면, Chatterjee 상관계수는 변수 간의 단조적 관계(단조증가 혹은 단조감소)에 민감하게 반응합니다. 또한 분포에 대한 가정 없이 비모수적(nonparametric)으로 정의됩니다.
Pearson 상관계수 vs Chatterjee 상관계수
변수 선택(Feature Selection)은 머신러닝 모델링 과정에서 매우 중요한 단계입니다. 많은 특징 중에서 불필요하거나 중복되는 변수를 제거하면 모델의 과적합(overfitting)을 줄이고, 계산 비용과 학습 시간을 절약하며, 모델 해석력을 높이고 예측 성능을 향상시킬 수 있습니다. 변수 선택 방법은 크게 Filter, Wrapper, Embedded 세 가지로 나눌 수 있으며, 각각 통계적 특성 이용, 모델 성능 기반 최적화, 모델 학습 과정 내의 변수 선택이라는 특징을 가집니다.
•
*Boruta 알고리즘(Boruta Algorithm)**은 이러한 변수 선택 방법론 중 Wrapper 방식에 해당하며, 특히 Random Forest 기반의 특징 선택 알고리즘으로 알려져 있습니다. 2010년 Kursa와 Rudnicki에 의해 제안된 이 알고리즘의 목표는 모든 관련 특징(all-relevant features)을 탐지하는 것입니다. 즉, 단지 최소한의 "필수" 변수만 고르는 것이 아니라, 모델 성능에 유의미한 영향을 주는 모든 변수를 포착하려고 합니다. 이를 통해 중요한 변수를 놓치지 않고 최대한 확보할 수 있으며, 해석 가능성과 예측력을 동시에 확보할 수 있습니다.

작동 원리

Boruta 알고리즘은 Random Forest의 변수 중요도(Variable Importance)를 핵심 지표로 활용합니다. 일반적으로 Random Forest는 각 특징이 트리 모델에서 분기(split)를 통해 불순도(impurity)를 얼마나 감소시켰는지(Mean Decrease in Impurity, MDI) 등을 기반으로 변수 중요도를 계산합니다. Boruta 알고리즘은 여기에 Shadow 특징이라는 아이디어를 도입하여, 원본 특징들이 정말로 의미 있는지 통계적으로 검증합니다.
작동 과정은 다음과 같이 정리할 수 있습니다.
1.
Shadow 특징 생성: 원본 특징들의 복사본을 무작위로 섞어(셔플) 의미 없는 Shadow 특징들을 만듭니다.
2.
확장된 데이터셋 학습: 원본 특징 + Shadow 특징을 합친 확장된 데이터셋으로 Random Forest를 학습시키고, 모든 특징(원본+Shadow)에 대한 변수 중요도를 계산합니다.
3.
중요도 비교: Shadow 특징들 중 가장 중요도가 높은 값을 기준점(임계값)으로 삼습니다. 이 값은 정보가 전혀 없는 특징들 중에서도 가장 "운 좋게" 중요도가 높게 나온 Shadow 특징을 의미하므로, 실제 특징이 이 임계값보다 유의미하게 높다면 "진정한 중요성"이 있다고 볼 수 있습니다.
4.
통계적 검정 및 반복: 원본 특징의 중요도가 IMZSAI_{MZSA}보다 큰 경우 히트(hit) 카운트를 올리는 식으로 반복 실험을 거치며, 이를 통계 검정(예: 이항검정)을 통해 유의성을 판별합니다. 충분히 많은 반복(Iteration)을 거쳐, 특정 특징이 통계적으로 유의하게 IMZSAI_{MZSA}보다 크다면 그 특징은 "확정(confirmed)"되고, 계속 넘지 못하면 "제거(rejected)"됩니다. 아직 불확실한 경우 "보류(tentative)" 상태로 남아 추가 반복을 수행합니다.

장단점

장점:
•
All-relevant 방식: 단순히 최소한의 최적 변수 집합을 찾는 것이 아니라, 관련된 모든 변수를 찾아내어 놓치지 않습니다.
•
랜덤 포레스트 기반: 비선형 관계나 변수 간 상호작용을 잘 포착하고, 앙상블 특성으로 안정적인 변수 중요도 측정을 기대할 수 있습니다.
Boruta 알고리즘 종합 정리

Kruskal-Wallis 검정의 이해

1. 개요

1.1 기본 개념

•
Kruskal-Wallis 검정은 세 개 이상의 독립된 집단 간 분포 차이(특히 중위수 중심)를 비교하기 위한 비모수적(non-parametric) 검정 방법입니다.
•
모수적 검정인 일원분산분석(ANOVA)는 종속변수가 정규분포를 따른다는 가정, 그리고 등분산성 가정 하지만 실제 데이터가 정규성을 만족하지 않거나 극단값(이상치)이 많아 ANOVA의 가정이 깨지면, Kruskal-Wallis 검정을 대안으로 사용할 수 있습니다.
•
적용 데이터 유형: 순서형(Ordinal) 혹은 연속형(Continuous) 종속변수. 군집(집단)이 명목형 변수로 구성되고, 각 집단이 독립적인 표본이어야 합니다.

1.2 사용 조건

1.
독립 표본: 각 집단 샘플이 서로 겹치지 않아야 함 (예: 서로 다른 사람·집단에 대한 측정).
2.
순서형/연속형 종속변수: 순위를 매길 수 있는 값이면 OK.
3.
정규성 가정이 위배된 경우: 자료가 왜곡되었거나 이상치가 많아 정규분포를 가정하기 어려울 때 유리합니다.
4.
등분산성 가정이 위배된 경우: 집단 간 분산이 크게 달라지는 상황에서도 사용 가능합니다.

2. 수학적 기초

2.1 기본 원리

1.
데이터를 모두 통합하여 순위화
Kruskal-Wallis 검정
**일원분산분석(One-way ANOVA)**을 중심으로, 개념부터 가정, 수학적 배경, 절차, 사후검정, 그리고 Python 실습 예시까지 순차적으로 정리한 내용입니다. 실제 연구나 실무에서 3개 이상의 집단 평균을 비교할 때 가장 일반적으로 사용하는 통계 기법이니, 전체 흐름을 한 번에 살펴볼 수 있도록 구성했습니다.

1. 개요

1.1 기본 개념

•
ANOVA(Analysis of Variance, 분산분석)는 3개 이상의 집단 평균 차이를 동시에 비교하기 위한 통계 기법입니다.
•
“집단 A, B, C 간에 종속변수(연속형)의 평균값이 서로 같은가?”를 검정할 때, 각 집단 간 평균 차이를 분산(Variance)을 이용해서 분석합니다.
•
한 가지 독립변수(요인 Factor)에 여러 수준(Level)이 존재하고, 종속변수가 연속형인 경우를 일원분산분석(One-way ANOVA)라고 부릅니다.

1.2 예시 시나리오

•
교육 프로그램 A, B, C(세 종류)가 학습 성과(시험 점수)에 미치는 영향을 비교하고 싶을 때
•
다이어트 약/운동/식이요법(세 가지 방법)이 체중 감소량에 미치는 효과를 비교하고 싶을 때

2. 가정(Assumptions)

ANOVA는 다음과 같은 전제 조건을 바탕으로 합니다.
1.
정규성(Normality): 각 집단의 종속변수가 정규분포를 따른다고 가정
2.
등분산성(Homogeneity of variance): 각 집단의 분산이 동일하다고 가정 (Bartlett test, Levene test 등으로 확인)
ANOVA
카이제곱 검정은 범주형(명목형) 자료를 분석할 때 핵심적인 통계적 방법이므로, 실제 연구나 실무에서 매우 자주 활용됩니다.

카이제곱(χ2\chi^2) 검정의 이해

1. 개요

1.1 기본 개념

•
*카이제곱 검정(Chi-square test)**은 범주형 자료 간의 관계나 분포 적합도를 검정하는 데 사용되는 통계 기법입니다.
•
주로 독립성 검정(두 범주형 변수 사이에 연관성이 있는지), 적합도 검정(하나의 범주형 변수 분포가 특정 이론이나 기대 분포와 일치하는지), 동질성 검정(서로 다른 모집단들의 범주형 분포가 동일한지) 등에 활용됩니다.

1.2 범주형 자료 예시

•
성별(남/여), 지역(서울/부산/대전/…), 제품 구분(A/B/C/…), 구매 여부(구매/미구매), 질병 유무(있음/없음) 등과 같이 명목척도(혹은 순서척도가 아닌 범주)로 구분되는 변수를 말합니다.

2. 카이제곱 검정의 주요 유형

2.1 적합도(goodness-of-fit) 검정

•
하나의 범주형 변수가 어떤 특정한 기대 분포(이론적 분포)에 적합한지 확인.
•
예: 유전자 분리에 관한 멘델의 법칙 비율(3:1 등)에 실제 데이터가 적합한가?
•
귀무가설(H0H_0): 관측된 분포 = 기대 분포(차이 없음)
카이제곱(\chi^2) 검정의 이해

1. 로지스틱 회귀분석(Logistic Regression)의 기본 개념

1.
이진 분류
2.
선형회귀와의 차이
3.
결과해석

2. 로지스틱 회귀의 수학적 배경

2.1 로짓(로그오즈) 함수

로짓(p)=log⁡(p1−p)\text{로짓}(p) = \log\left(\frac{p}{1 - p}\right)
•
pp: 특정 사건이 일어날 확률
•
p1−p\frac{p}{1 - p} = 오즈(odds)
•
로지스틱 회귀에서는 를 독립변수의 선형결합으로 표현
log⁡(p1−p)=β0+β1x1+⋯+βkxk\log\left(\frac{p}{1 - p}\right) = \beta_0 + \beta_1 x_1 + \dots + \beta_k x_k
이를 지수 형태로 재정리하면,
p=11+exp⁡(−(β0+β1x1+⋯+βkxk))p = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \dots + \beta_k x_k)) }
즉, 종속변수(결과)가 발생할 확률 pp가 시그모이드 곡선 형태로 나타납니다.
로지스트 회귀분석

Tukey HSD (Tukey’s Honest Significant Difference)란?

Tukey HSD 검정은 **분산 분석(ANOVA)**의 사후 분석(Post-hoc test) 방법으로,
ANOVA 결과에서 여러 그룹 간 평균 차이가 유의미하다고 판정된 경우, 어떤 그룹 간에 차이가 나는지를 구체적으로 확인하는 데 사용됩니다.

Tukey HSD의 주요 특징

1.
다중 비교 문제 해결
2.
균등한 표본 크기 및 분산 가정
3.
유의수준 조정

Tukey HSD의 공식

두 그룹 ii와 jj 간의 평균 차이를 비교하는 검정 통계량:
Q=∣Xˉi−Xˉj∣MSEnQ = \frac{|\bar{X}_i - \bar{X}_j|}{\sqrt{\frac{\text{MSE}}{n}}}
•
Xˉi,Xˉj\bar{X}_i, \bar{X}_j: 그룹 와 의 평균
•
MSE\text{MSE}: Mean Square Error (ANOVA에서 추출된 잔차의 평균 제곱)
•
nn: 각 그룹의 표본 크기
Tukey HSD
베이지안 추론(Bayesian inference)은 관측된 데이터와 기존의 사전 지식을 결합해, 불확실한 상황에서 확률적으로 추정과 의사결정을 내리는 통계적 방법론입니다51. 이 방법은 관측 이전의 믿음(사전 확률, prior)과 관측된 데이터(우도, likelihood)를 바탕으로, 관측 후의 믿음(사후 확률, posterior)을 계산하는 과정을 포함합니다.

베이지안 추론의 핵심 원리

•
베이즈 정리(Bayes’ theorem)에 기반합니다.
P(A∣B)=P(B)P(B∣A)⋅P(A)P(A∣B)=P(B)P(B∣A)⋅P(A)
•
사전 분포(prior distribution):
•
우도 함수(likelihood):
•
사후 분포(posterior distribution):

베이지안 추론의 특징과 장점

•
정보의 갱신:
•
불확실성의 정량화:
•
적은 데이터에도 강인함:
•
모델의 유연성:

예시

베이지안 추론이란?
AI
ANN

Q1. 왜 “미니”-배치를 사용하는가?

미니 배치 훈련은 배치 경사 하강법과 확률적 경사 하강법(SGD)의 극단 사이에서 균형을 이룹니다. 여기에는 그 사용 이유가 있습니다:
•
수렴: 미니 배치는 SGD에 비해 더 안정적인 수렴을 제공합니다. 왜냐하면 경사 업데이트가 하나의 샘플이 아닌 여러 샘플에 대해 평균화되기 때문에, 단일 예제로부터의 경사보다 덜 노이즈가 있기 때문입니다. 그러나, 전체 데이터셋을 사용하여 단일 업데이트를 계산하는 배치 경사 하강법보다 데이터 변동성에 더 민감합니다.
•
메모리 사용: 전체 데이터셋에 대한 훈련(배치 경사 하강법)은 메모리를 많이 소모하고 대규모 데이터셋에 대해 비현실적일 수 있습니다. 미니 배치는 모델을 데이터의 부분집합에 대해 훈련할 수 있게 하여 메모리 요구사항을 상당히 줄입니다.
•
병렬 처리: 미니 배치 훈련은 병렬 처리에 적합합니다. 현대 하드웨어(예: GPU)는 미니 배치에 대한 계산을 동시에 수행할 수 있어, 훈련 시간을 크게 단축시킬 수 있습니다.
•
정규화 효과: 미니 배치와 함께 훈련하는 것은 최적화 과정에 노이즈를 도입하여, 모델이 손실 함수의 날카로운 최소값에 정착하는 것을 방지할 수 있습니다. 이 노이즈는 일종의 정규화로 작용하여, 모델이 보지 못한 데이터에 대한 일반화를 potencially 개선할 수 있습니다.
경사 하강법은 최적화 알고리즘의 한 형태로, 비용 함수(또는 손실 함수)의 최소값을 찾는 데 사용됩니다. 이 방법은 신경망 훈련에 널리 사용되며, 특히 배치 크기에 따라 다음과 같이 세 가지 주요 변형으로 분류됩니다:

1. (배치) 경사 하강법

•
정의: 배치 경사 하강법은 훈련 데이터 전체를 사용하여 각 반복에서 그라디언트(경사)를 계산합니다. 즉, 모델 업데이트를 위해 전체 데이터셋에 대한 비용 함수의 그라디언트를 한 번에 계산합니다.
•
장점: 그라디언트 계산이 안정적이며 노이즈가 적습니다. 이론적으로는 더 안정적인 수렴을 제공할 수 있습니다.
•
단점: 전체 데이터셋에 대한 그라디언트를 계산하기 때문에 계산 비용이 매우 높습니다. 특히 대규모 데이터셋에서는 메모리 문제가 발생할 수 있습니다. 또한, 매우 평평한 지역에서 느린 수렴이 문제가 될 수 있습니다.

2. 확률적 경사 하강법 (SGD)

Deeplearning
Optimization via gradient descent
이 두 가지 업데이트 방정식은 신경망 학습에서 중요한 역할을 합니다. 첫 번째는 행렬 형태로 주어진 전체 가중치 벡터 또는 행렬의 업데이트를 나타내며, 두 번째는 단일 가중치 매개변수의 업데이트를 보여줍니다. 두 식 모두 비용 함수 \(J(\mathbf{w})\)의 그래디언트를 사용하여 가중치를 업데이트합니다. 여기서, \(\eta\)는 학습률(learning rate)이며, \(J(\mathbf{w})\)는 비용 함수(cost function) 또는 손실 함수(loss function)를 의미합니다.

행렬 형태의 업데이트 방정식

$$ \mathbf{w}^{(\text {new })}=\mathbf{w}^{(\text {old })}-\eta \nabla_{\mathbf{w}} J(\mathbf{w}) $$ 이 방정식에서 \(\mathbf{w}^{(\text {old })}\)는 업데이트 전의 가중치를, \(\mathbf{w}^{(\text {new })}\)는 업데이트 후의 가중치를 나타냅니다. \(\nabla_{\mathbf{w}} J(\mathbf{w})\)는 비용 함수의 가중치에 대한 그래디언트(기울기 벡터)이며, 각 매개변수에 대한 손실 함수의 편미분을 포함합니다. 학습률 \(\eta\)는 이 그래디언트에 곱해져, 가중치 업데이트의 크기와 방향을 결정합니다. 이 과정은 비용 함수를 최소화하는 방향으로 가중치를 조정하는 경사 하강법의 한 형태입니다.

단일 매개변수의 업데이트 방정식

$$ w_j^{(\text {new })}=w_j^{(\text {old })}-\eta \frac{\partial}{\partial w_j^{\text {(old) }}} J(\mathbf{w}) $$ 이 방정식은 개별 가중치 매개변수 \(w_j\)에 대한 업데이트 규칙을 보여줍니다. 여기서 \(w_j^{(\text {old })}\)는 업데이트 전의 가중치, \(w_j^{(\text {new })}\)는 업데이트 후의 가중치입니다. \(\frac{\partial}{\partial w_j^{\text {(old) }}} J(\mathbf{w})\)는 비용 함수를 가중치 매개변수 \(w_j\)에 대해 편미분한 것으로, 해당 가중치가 비용 함수에 미치는 영향의 변화율을 나타냅니다. 이 편미분 값에 학습률 \(\eta\)를 곱하여 기존 가중치에서 빼줌으로써, 비용 함수의 최소값을 향해 가중치를 업데이트합니다.

코드에서의 적용

위의 방정식들은 신경망 학습 시 가중치 업데이트에 사용됩니다. 특히, 신경망을 훈련할 때, 손실 함수의 그래디언트를 계산하고 이를 사용하여 가중치를 조정합니다. 예를 들어, 신경망에서 손실 함수로 크로스 엔트로피 또는 평균 제곱 오차(MSE)를 사용할 수 있습니다. 학습 과정에서는 이 손실 함수의 값을 최소화하기 위해 역전파 알고리즘을 사용하여 각 가중치에 대한 손실 함수의 그래디언트
를 계산하고, 이를 기반으로 가중치를 업데이트합니다.
가중치 업데이트는 신경망의 학습률과 손실 함수의 그래디언트에 따라 결정되며, 이 과정을 통해 모델의 성능을 점차
최적상태를 찾아갑니다
AI

1. 활성화 함수란?

활성화 함수는 인공 신경망에서 뉴런의 출력 값을 결정하는 함수로, 입력 값에 비선형성을 부여하여 신경망이 복잡한 문제를 학습할 수 있도록 돕습니다. 비선형성을 도입함으로써 신경망은 단순한 선형 모델 이상의 복잡한 패턴을 학습할 수 있습니다. 각 활성화 함수는 고유한 특징과 사용 목적을 가지며, 특정 문제에 적합한 활성화 함수를 선택하는 것이 중요합니다.

2. 활성화 함수의 종류

인공 신경망에서 사용되는 활성화 함수는 여러 가지가 있으며, 각 함수는 특정한 상황에서 더 효과적으로 작동합니다. 주요 활성화 함수로는 렐루(ReLU)와 그 계열, 시그모이드(Sigmoid), 하이퍼볼릭 탄젠트(Tanh), 소프트맥스(Softmax), GELU, Swish 등이 있습니다.

2.1 렐루 (ReLU)와 렐루 계열

2.1.1 ReLU 특징

•
ReLU (Rectified Linear Unit): 음수 입력을 0으로, 양수 입력은 그대로 반환합니다.
•
출력 범위: [0,∞)[0, ∞)
•
장점: 계산이 간단하며, 학습 속도가 빠릅니다.
•
단점: 음수 입력에 대해 기울기가 0이 되어 뉴런이 "죽을 수 있음" (Dead Neurons 문제)
ReLU(Rectified Linear Unit)는 딥러닝 모델의 핵심 활성화 함수로, 그 정의는 놀랍도록 단순한 max(0, x) 함수입니다. 이 함수는 입력값이 양수일 때는 해당 값을 그대로 통과시키고, 음수일 때는 0을 출력하는 두 가지 기본 동작을 수행합니다. 이러한 단순성에도 불구하고 ReLU는 현대 딥러닝에서 매우 중요한 역할을 합니다. 특히 단순 비교 연산만으로 구현되어 계산 효율성이 매우 높으며, 음수 영역에서의 0 출력으로 네트워크에 필요한 비선형성을 제공하면서도 양수 영역에서는 선형 특성을 유지합니다. 또한 양수 영역에서 기울기가 1로 일정하기 때문에, 깊은 신경망에서도 기울기가 안정적으로 전파되어 기울기 소실 문제를 크게 완화할 수 있습니다. 이러한 장점들이 결합되어 ReLU는 현대 딥러닝 아키텍처의 표준 활성화 함수로 자리잡게 되었습니다.

2.1.2 ReLU 계열들

ReLU의 성공을 기반으로, 그 한계를 극복하기 위해 다양한 변형 함수들을 개발했습니다. 이러한 변형들은 주로 ReLU의 음수 입력 처리 방식을 개선하는 데 초점을 맞추었습니다. Leaky ReLU는 음수 입력에 대해 작은 기울기를 허용하여 뉴런이 완전히 '죽지' 않도록 하며, ELU(Exponential Linear Unit)는 음수 영역에서 부드러운 곡선을 통해 자연스러운 기울기를 제공합니다. GELU(Gaussian Error Linear Unit)는 입력값의 확률적 특성을 고려한 비선형성을 도입했고, Swish는 시그모이드 함수를 활용하여 음수 영역에서도 부드러운 전이를 가능하게 했습니다. 이러한 변형들은 각각의 장단점을 가지고 있으며, 특정 문제나 아키텍처에 따라 더 나은 성능을 보일 수 있습니다.
활성화함수
신경망 학습에서 가중치를 업데이트하기 위해 오차 함수(E)의 그래디언트를 계산하는 과정은 매우 중요합니다. 여기서 우리는 시그모이드 활성화 함수를 사용하는 신경망에서 오차 함수의 그래디언트를 어떻게 계산하는지 살펴보겠습니다.

(1) 오차 함수 \(E\)

주어진 오차 함수는 \[E=\frac{1}{2}(t-y)^2\] 입니다. 이는 실제 값 \(t\)와 예측 값 \(y\) 사이의 차이를 나타내는 평균 제곱 오차 함수입니다. 이 함수를 최소화함으로써, 우리는 모델의 예측을 실제 값에 더 가깝게 만들 수 있습니다.

(2) 시그모이드 함수와 그 미분

시그모이드 함수 \(\sigma(u)\)는 다음과 같습니다. \[y=f(u)=\sigma(u)\] 그리고 시그모이드 함수의 미분은 다음과 같은 성질을 가집니다. \[\frac{d \sigma(u)}{d u}=\sigma(u) \cdot (1-\sigma(u))\]

(3) 입력에 대한 선형 조합

입력 \(x_i\)와 가중치 \(w_i\)의 선형 조합으로 구성된 \(u\)는 다음과 같습니다. \[u=\sum_{i=0}^K w_i x_i\]

그래디언트 찾기

가중치 \(w_i\)에 대한 \(E\)의 그래디언트를 구하기 위해 연쇄 법칙(chain rule)을 사용합니다. 먼저, 오차 함수 \(E\)를 가중치 \(w_i\)에 대해 편미분합니다.

오차 함수의 미분

\[ \frac{\partial E}{\partial w_i} = \frac{\partial E}{\partial y} \cdot \frac{\partial y}{\partial u} \cdot \frac{\partial u}{\partial w_i} \]
신경망 학습에서 가중치를 업데이트
이 식들은 두 층으로 이루어진 신경망 모델에서의 전방 전파(forward propagation)와 오차 함수(error function)의 계산 방법을 설명합니다. 신경망은 일반적으로 입력층(input layer), 하나 이상의 은닉층(hidden layers), 그리고 출력층(output layer)으로 구성됩니다. 여기서는 입력층에서 은닉층으로, 그리고 은닉층에서 출력층으로의 데이터 흐름과, 이때의 오차를 계산하는 방법을 살펴보겠습니다.

전방 전파 (Forward Propagation)

•
은닉층의 활성화:
hi=σ(ui)=σ(∑k=1Kwkixk) h_i = \sigma\left(u_i\right) = \sigma\left(\sum_{k=1}^K w_{ki} x_k\right)
이 식은 입력층에서 은닉층으로의 데이터 전달을 나타냅니다. 여기서 \(x_k\)는 입력층의 뉴런에서의 입력 값, \(w_{ki}\)는 입력층의 뉴런 \(k\)와 은닉층의 뉴런 \(i\) 사이의 가중치, \(h_i\)는 은닉층 뉴런 \(i\)의 출력 값입니다. \(\sigma\)는 시그모이드 활성화 함수를 의미하며, 이 함수를 통해 비선형 변환을 수행합니다.
•
출력층의 활성화:
yj=σ(uj′)=σ(∑i=1Nwij′hi) y_j = \sigma\left(u_j^{\prime}\right) = \sigma\left(\sum_{i=1}^N w_{ij}^{\prime} h_i\right)
이 식은 은닉층에서 출력층으로의 데이터 전달을 나타냅니다. wij′w_{ij}^{\prime}는 은닉층의 뉴런 ii 와 출력층의 뉴런 jj 사이의 가중치, yjy_j는 출력층 뉴런 jj 의 최종 출력 값입니다.

오차 함수 (Error Function)

•
제곱합 오차 함수
E(x,t,W,W′)=12∑j=1M(yj−tj)2 E\left(\mathbf{x}, \mathbf{t}, \mathbf{W}, \mathbf{W}^{\prime}\right) = \frac{1}{2} \sum_{j=1}^{M} \left(y_j - t_j\right)^2
•
이 식은 네트워크의 출력 \(y_j\)와 실제 목표 값 \(t_j\) 사이의 오차를 측정하는 제곱합 오차 함수입니다. 여기서 \(M\)은 출력층의 뉴런 수입니다. 오차 함수의 목적은 이 값을 최소화하는 것으로, 이를 통해 신경망의 가중치들이 적절히 조정됩니다.
이 과정은 신경망이 학습하는 기본적인 방법으로, 입력 데이터에 대한 신경망의 출력을 계산하고(전방 전파), 계산된 출력과 실제 목표 값 사이의 오차를 기반으로 신경망의 가중치를 조정합니다(역전파). 오차 함수의 최소화는 경사 하강법(Gradient Descent)과 같은 최적화 기법을 사용하여 수행됩니다. 이 과정을 통해, 신경망은 주어진 입력 데이터에 대해 정확한 예측을 할 수 있도록 학습됩니다.
Backpropagation with a Multi-Layer Network

GNN(Graph Neural Networks)

그래프 신경망(Graph Neural Networks, GNN)은 노드, 엣지, 그리고 이들의 상호작용을 모델링하기 위해 설계된 심층 학습 아키텍처입니다. 이러한 구조는 데이터의 그래프 구조를 직접적으로 활용하여, 소셜 네트워크, 분자 구조, 지식 그래프, 추천 시스템 등 다양한 분야에서 유용하게 적용됩니다. GNN의 장점과 단점을 상세히 살펴보겠습니다.

GNN의 장점

1.
그래프 구조 데이터의 직접적인 처리: GNN은 그래프 형태의 데이터를 자연스럽게 처리할 수 있으며, 노드 간의 복잡한 관계와 구조적 정보를 학습할 수 있습니다.
2.
강력한 표현력: GNN은 노드, 엣지, 전체 그래프에 대한 특성을 학습할 수 있어, 복잡한 패턴과 관계를 효과적으로 모델링할 수 있습니다.
3.
전이 학습(Transfer Learning) 용이: 한 분야에서 학습된 GNN 모델을 다른 분야의 비슷한 유형의 그래프 데이터에 적용할 수 있습니다. 이는 모델의 범용성을 높여줍니다.
4.
동적 구조의 학습: GNN은 시간에 따라 변화하는 동적 그래프 데이터를 처리할 수 있어, 실시간 데이터 분석 및 예측에 유용합니다.

GNN의 단점

1.
계산 복잡성: 그래프의 크기가 크거나 복잡할 경우, GNN의 학습과 추론은 계산적으로 매우 비용이 많이 들 수 있습니다.
2.
오버스무딩(Over-smoothing) 문제: 여러 레이어를 거치면서 노드 간의 특징이 과도하게 혼합되어, 노드 간의 구별이 어려워질 수 있습니다. 이는 모델의 성능 저하로 이어질 수 있습니다.
3.
스케일러빌리티 문제: 대규모 그래프에 GNN을 적용하기 위해서는 메모리 요구량이 매우 높아질 수 있으며, 이를 해결하기 위한 효율적인 방법론이 필요합니다.
4.
데이터 불균형: 그래프 데이터에서는 종종 특정 클래스의 노드나 엣지가 다른 것들에 비해 훨씬 적을 수 있습니다. 이러한 불균형은 모델 학습에 있어서 편향을 일으킬 수 있습니다.
5.
해석 가능성의 어려움: GNN 모델은 복잡할 수 있으며, 모델이 내린 결정의 근거를 해석하기 어려울 수 있습니다. 이는 특히 의료, 금융 등의 분야에서 중요한 고려사항이 될 수 있습니다.
GNN(Graph Neural Networks) 장점 단점

CDP(Conditional Density Partitioning)

CDP(Conditional Density Partitioning)는 통계적 학습과 데이터 분석에서 사용되는 개념 중 하나입니다. CDP는 주어진 조건 하에서 데이터의 밀도를 분할하여 분석하는 방법론을 의미합니다. 이 기법은 특히 조건부 확률밀도 함수(Conditional Probability Density Function, CPDF)를 추정하고자 할 때 유용합니다.
CDP의 기본 아이디어는 조건부 확률밀도를 사용하여 데이터 공간을 여러 영역으로 나누고, 각 영역에서 데이터의 분포 특성을 분석하는 것입니다. 이를 통해 데이터의 복잡한 구조를 더 잘 이해하고, 예측 모델링, 클러스터링, 분류 등에 활용할 수 있습니다.
CDP를 수식으로 설명하면, 우리는 먼저 조건부 확률밀도함수 \(f(x|y)\)를 가정합니다. 여기서 \(x\)는 관심 있는 변수(예: 예측하고자 하는 값)이고, \(y\)는 조건을 나타내는 변수입니다. CDP는 주어진 \(y\)의 값에 따라 \(x\)의 분포가 어떻게 변하는지를 분석합니다.
조건부 확률밀도함수는 다음과 같이 정의됩니다:
\[ f(x|y) = \frac{f(x, y)}{f(y)} \]
여기서 \(f(x, y)\)는 \(x\)와 \(y\)의 결합 확률밀도함수이고, \(f(y)\)는 \(y\)의 주변 확률밀도함수입니다. 이 식은 \(y\)가 주어졌을 때 \(x\)의 확률밀도를 나타냅니다.
CDP는 이 조건부 확률밀도함수를 추정하고, 데이터 공간을 \(y\)의 다른 값에 따라 여러 영역으로 나눕니다. 각 영역에서 \(x\)의 분포를 분석함으로써, 우리는 \(x\)와 \(y\) 사이의 관계를 더 깊게 이해할 수 있습니다.
실제 데이터에서 CDP를 적용하기 위해서는 비모수적 방법(예: 커널 밀도 추정), 모수적 방법(예: 가우시안 혼합 모델), 또는 반모수적 방법(예: 스플라인 회귀) 등 다양한 통계적 추정 방법을 사용할 수 있습니다. 각 방법은 데이터의 특성과 분석 목적에 따라 선택됩니다.
CDP는 복잡한 데이터 구조를 이해하고, 특히 다변량 데이터에서 변수들 간의 관계를 모델링하는 데 있어서 중요한 도구입니다.
결합 확률밀도함수(joint probability density function, PDF)와 주변 확률밀도함수(marginal probability density function)는 연속 확률 변수의 분포를 설명하는 데 사용되는 두 가지 기본 개념입니다. 이들은 확률 변수들 사이의 관계를 이해하고 분석하는 데 필수적입니다.

결합 확률밀도함수 (Joint PDF)

결합 확률밀도함수는 두 개 이상의 연속 확률 변수가 특정 값을 동시에 취할 확률을 나타냅니다. 예를 들어, 두 연속 확률 변수 \(X\)와 \(Y\)에 대한 결합 확률밀도함수 \(f_{X,Y}(x, y)\)는 \(X=x\) 및 \(Y=y\)를 동시에 만족하는 확률 밀도를 나타냅니다.
결합 확률밀도함수의 정의는 다음과 같습니다:
CDP 란?
오늘은 회귀 분석에서 많은 분들이 간과하기 쉬운 P-값에 대해 이야기해보려고 합니다. 회귀 분석에서 P-값은 선택 사항이 아닙니다. 이를 무시하면 잘못된 특성을 신뢰하게 될 수 있습니다.

P-값이란 무엇인가?

P-값은 통계학에서 중요한 개념으로, 회귀 모델에서는 특성(변수)의 계수가 실제로 0일 확률을 알려줍니다. 쉽게 말해, 이 값은 "이 특성이 실제로 모델에 가치를 더하고 있는가?"라는 질문에 답해줍니다.
통계적으로 이는 가설 검정 형태를 띠고 있습니다:
•
H₀(귀무가설): 특성 계수 = 0 (특성이 목표 변수에 영향을 미치지 않음)
•
H₁(대립가설): 특성 계수 ≠ 0 (특성이 목표 변수에 영향을 미침)
P-값이 낮다는 것은 "이 특성이 쓸모없을 가능성이 낮다 → 아마도 중요하다"는 것을 의미합니다.

P-값 계산 방법

P-값은 다음과 같은 수식으로 계산됩니다:
•
검정 통계량: t = b/SE₍ᵦ₎ (계수를 표준 오차로 나눈 값)
•
P-값: p = 2P(t > |검정 통계량|)
실제 회귀 출력 예시를 보면:
•
상수항: 계수 = 1.352, 표준오차 = 2.401, t = 0.46, p = 0.315
•
가중치: 계수 = 0.9207, 표준오차 = 0.8194, t = 1.12, p = 0.1375

P-값 해석 기준

회귀 모델에서 P-값의 중요성