라쏘 회귀 개념과 예시로 배우는 머신러닝 핵심 이론 | LASSO Regression
라쏘 회귀(LASSO Regression) 개념과 예시로 배우는 머신러닝 핵심 이론
라쏘 회귀는 머신러닝에서 중요한 정규화 기법 중 하나로, 변수 선택과 모델 단순화를 동시에 실현하는 고급 회귀 분석 방법입니다. 이 글에서는 라쏘 회귀의 정의부터 수식, 다른 회귀 기법과의 차이점, 실제 활용 예시, 장단점, 그리고 자주 묻는 질문까지 폭넓게 설명합니다.
1. 라쏘 회귀란? - 정의와 작동 원리
라쏘 회귀(LASSO: Least Absolute Shrinkage and Selection Operator)는 선형 회귀(linear regression) 모델에 L1 정규화 항을 추가하여 계수 축소(coefficient shrinkage)와 변수 선택(feature selection)을 동시에 수행하는 머신러닝 기법입니다. 기본적인 아이디어는 덜 중요한 변수의 계수를 0으로 만들어 모델을 단순화하고 해석력을 높이는 데 있습니다.
라쏘 회귀의 목적 함수는 다음과 같습니다:
minβ [ Σni=1 (yi - ŷi)2 + λ Σpj=1 |βj| ]
여기서 ŷi = β0 + β1xi1 + … + βpxip
여기서:
- yi : i번째 실제 종속변수 값 (관측된 결과)
- ŷi : i번째 예측값, 모델이 추정한 값
- n : 데이터 샘플 개수 (관측치 수)
- p : 독립변수(특징, feature)의 개수
- β0 : 절편(intercept), 회귀선의 시작점
- βj : j번째 독립변수의 회귀계수 (가중치)
- xij : i번째 샘플의 j번째 독립변수 값
- λ : 규제 강도(regularization parameter), 벌칙항의 크기를 조절하는 하이퍼파라미터
- Σ(yi - ŷi)² : 잔차 제곱합(오차항), 모델의 적합도 측정
- Σ|βj| : L1 규제항, 계수들의 절댓값 합 → 변수 선택 기능
핵심 요점: L1 정규화는 계수의 절댓값 합을 패널티로 적용하여, 일부 계수를 정확히 0으로 만들어 변수 선택을 자동으로 수행합니다.
| 항목 | 내용 |
| 정규화 기법 | L1 노름 (절댓값의 합) |
| 목적 | 모델 단순화 + 예측 성능 향상 |
| 영향 | 덜 중요한 변수 계수를 0으로 |
| 해석력 | 높음 (중요 변수만 유지) |
2. 라쏘 회귀의 장점과 사용 목적
라쏘 회귀는 단순한 회귀 모델을 넘어 다음과 같은 실질적 이점을 제공합니다:
- 변수 선택 자동화: 불필요한 변수를 제거하여 과적합 방지
- 해석 가능성 향상: 중요 변수만 남아 해석이 쉬움
- 고차원 데이터 처리: 변수 수가 많을 때 안정적인 예측 가능
- 일반화 성능 향상: 테스트 데이터에서도 좋은 성능 발휘
핵심 요점: 복잡한 데이터에서도 필요한 정보만 걸러내는 능력이 있어, 실무 현장에서 매우 유용합니다.
| 장점 | 설명 |
| 과적합 방지 | 불필요한 변수 제거 |
| 모델 해석 용이 | 중요 변수만 포함 |
| 효율적인 계산 | 고차원에서도 적용 가능 |
3. 라쏘 회귀 vs 릿지 회귀 vs 일반 선형 회귀
라쏘 회귀를 이해하려면 다른 회귀 방식과의 차이를 비교하는 것이 좋습니다.
| 항목 | 일반 선형 회귀 | 릿지 회귀 | 라쏘 회귀 |
| 정규화 방식 | 없음 | L2 정규화 | L1 정규화 |
| 계수 축소 | 불가능 | 작게 유지 | 0으로 만들어 제거 |
| 변수 선택 | 불가능 | 불가능 | 가능 |
| 해석력 | 낮음 | 보통 | 높음 |
4. 라쏘 회귀의 예시: 주택 가격 예측
다음은 라쏘 회귀를 실제 데이터에 적용한 사례입니다.
- 목표: 다양한 변수로 주택 가격을 예측
- 입력 변수: 면적, 방 개수, 위치, 학군 점수, 교통 접근성 등 30개
라쏘 회귀를 적용하면, 모델은 자동으로 중요 변수만 남기고 나머지는 제거하여 아래와 같은 결과를 얻게 됩니다:
- 면적, 학군, 교통 접근성 → 유지
- 방향, 창문 수 등 영향 적은 변수 → 제거
핵심 요점: 모델 단순화 + 예측 성능 유지 + 해석력 향상을 동시에 달성할 수 있습니다.
| 적용 전 | 적용 후 (LASSO) |
| 30개 변수 | 10개 핵심 변수만 유지 |
| 복잡한 모델 | 간단하고 명확한 모델 |
5. 라쏘 회귀의 단점 및 유의 사항
라쏘 회귀는 강력하지만 몇 가지 한계도 존재합니다.
- 하이퍼파라미터 λ 선택이 민감: 너무 작으면 효과 없음, 너무 크면 과소적합
- 상관성 높은 변수 중 일부만 선택: 해석에 주의 필요
- 비선형 문제에 부적합: 선형 모델이라는 전제 존재
핵심 요점: 라쏘 회귀는 선형 관계를 전제로 하며, 하이퍼파라미터 튜닝과 변수 해석에 주의가 필요합니다.
| 제약 사항 | 설명 |
| 람다 조정 필요 | 교차 검증으로 최적값 탐색 |
| 해석 불확실성 | 상관된 변수 중 일부만 남김 |
| 선형성 한계 | 비선형 모델에는 부적합 |
6. 라쏘 회귀 요약 정리
- 정규화 기법 중 하나로, L1 패널티를 사용
- 계수를 0으로 만들어 변수 선택 가능
- 모델 단순화 + 과적합 방지 + 해석력 향상
- 적절한 하이퍼파라미터 설정이 중요
7. 자주 묻는 질문 (FAQ)
Q1) 라쏘 회귀는 어떤 데이터에 적합한가요?
A1) 입력 변수가 많고, 그중 일부만 중요한 경우에 적합합니다. 특히 고차원 데이터나 과적합이 우려되는 상황에서 효과적입니다.
Q2) λ 값은 어떻게 정하나요?
A2) 일반적으로 교차 검증(Cross-Validation)을 통해 최적의 λ 값을 찾습니다. Scikit-learn에서는 LassoCV 클래스가 이를 지원합니다.
Q3) 라쏘 회귀는 변수 선택도 가능한가요?
A3) 네, 일부 계수를 0으로 만들어 자동으로 변수 선택이 가능합니다. 이로 인해 모델이 더 간결해집니다.
Q4) 라쏘 회귀와 릿지 회귀를 함께 사용할 수 있나요?
A4) 네, 엘라스틱넷(Elastic Net)이라는 기법이 L1과 L2 정규화를 동시에 적용해 두 방법의 장점을 결합합니다.
Q5) 모든 계수가 0이 되는 문제는 없나요?
A5) λ가 너무 클 경우 그런 문제가 발생할 수 있습니다. 이를 방지하려면 적절한 λ를 교차검증으로 선택해야 합니다.
댓글
댓글 쓰기