머신러닝 다항회귀: 개념, 수식, 실전 예제까지 완벽 정리

머신러닝 다항회귀: 개념, 수식, 실전 예제까지 완벽 정리

다항회귀의 기본 개념부터 선형 회귀와의 차이, 수학적 원리, 실전 예제, 장단점, 그리고 활용 분야까지 머신러닝 초보자도 이해할 수 있도록 체계적으로 정리합니다. 다항회귀에 대한 실용적인 내용을 모두 담았습니다.

추가적인 회귀분석기법 알아보기 >

---

1. 다항회귀란? — 정의 및 기본 개념

다항회귀(Polynomial Regression)는 머신러닝의 지도학습 회귀 모델 중 하나로, 변수들 간의 비선형 관계를 곡선을 통해 예측하는 기법입니다. 단순 선형 회귀는 직선을 통해 예측하는 데 비해, 다항회귀는 곡선을 사용하므로 더 복잡한 패턴을 학습할 수 있습니다.

예를 들어, 입력값이 증가함에 따라 출력값도 일정하게 증가하지 않고, 일정 시점 이후 증가 속도가 더 빨라지거나 느려지는 경우, 단순 선형 회귀는 이러한 곡선형 패턴을 포착하지 못합니다. 이때 다항회귀가 효과적입니다.

핵심 요점

다항회귀는 입력 변수에 대해 고차항을 추가하여 곡선 형태로 모델링하는 회귀 기법입니다.

항목	내용
정의	입력 변수의 다항식을 이용한 회귀 모델
사용 목적	비선형 관계 예측
예측 형태	곡선
모델 예시	y = b0 + b1·x + b2·x2 + b3·x3 + ... + bn·xn + 오차

---

2. 선형 회귀와 다항회귀의 차이

선형 회귀는 입력값과 출력값의 관계가 직선이라고 가정합니다. 하지만 다항회귀는 입력값의 제곱, 세제곱 같은 항을 추가해서 곡선 형태로 표현할 수 있습니다.

예시:

• 선형 회귀: y = 2·x + 1 → 직선
• 다항 회귀(2차): y = 0.5·x² + 2·x + 1 → 포물선 곡선

다항회귀는 비선형(곡선)이지만 계산 방법은 선형 회귀와 동일한 방식을 따릅니다.

핵심 요점

다항회귀는 곡선으로 데이터를 설명하지만, 계산 방식은 선형 회귀처럼 간단합니다.

비교 항목	선형 회귀	다항 회귀
모델 형태	직선	곡선
수식 예	y = b0 + b1·x	y = b0 + b1·x + b2·x² + …
복잡도	낮음	차수에 따라 높아짐

3. 다항회귀 수식과 작동 원리

다항회귀는 아래처럼 입력값의 고차항을 포함해 식을 구성합니다.

일반적인 다항회귀 수식:

y = b0 + b1·x + b2·x² + b3·x³ + ... + bn·xⁿ + 오차

여기서:

• b0, b1, b2, ..., bn : 각각의 계수(모델이 학습을 통해 결정하는 값)
• x : 입력값(독립 변수)
• x², x³ : 입력값의 제곱, 세제곱 등 고차항
• 오차 : 실제 값과 예측 값 사이의 차이

다항회귀는 단순히 입력값을 제곱하거나 세제곱해서 새로운 변수처럼 만든 후, 일반적인 선형 회귀 알고리즘(예: 최소제곱법)을 통해 계수들을 학습합니다.

핵심 요점

입력값에 제곱, 세제곱을 추가한 후, 선형 회귀 방식으로 학습합니다.

항목	내용
기본 수식	y = b0 + b1·x + b2·x² + … + bn·xⁿ
학습 방법	선형 회귀 알고리즘 그대로 사용
고차항	x², x³ 등 입력값을 제곱 또는 세제곱
복잡성 조절	차수(n)로 조절

4. 다항회귀가 유용한 경우

다항회귀는 아래와 같은 데이터 패턴을 가진 경우 효과적입니다.

• 처음에는 빠르게 증가하다가 점점 느려지는 경우
• 증가하다가 어느 시점부터 감소하는 경우
• 오르락내리락하는 곡선 형태의 데이터

예시:

1. 운동량이 많아질수록 체중이 줄다가 일정 수준 이후 효과가 줄어드는 경우
2. 광고비를 늘리면 판매량이 증가하지만, 어느 시점 이후부터는 변화가 거의 없는 경우
3. 아이의 성장 곡선: 빠르게 크다가 청소년기 이후 성장 속도가 줄어드는 패턴

핵심 요점

단순 직선이 아닌 곡선 형태로 변화하는 데이터를 설명할 때 다항회귀가 유용합니다.

패턴	다항회귀 적합성
직선 증가	선형 회귀 사용
처음에 급격한 증가 → 완만한 증가	다항회귀 적합
오르락내리락	다항회귀 적합
극단적 변화	주의 필요 (과적합 가능성)

---

5. 실전 예시: 경력에 따른 연봉 예측

다음은 직원의 경력(연차)에 따라 연봉이 어떻게 변화하는지를 예측하는 예제입니다.

일반적인 선형 회귀 모델은 다음과 같습니다.

Salary = b₀ + b₁·Experience

하지만 실제 연봉은 일정 수준 이후에는 상승률이 둔화되거나 정체되는 경우가 많습니다. 이때 다항회귀 모델을 사용합니다.

Salary = b₀ + b₁·Experience + b₂·Experience²

그래프를 그려보면, 단순 직선 모델보다 곡선 모델이 실제 연봉 데이터를 더 잘 설명합니다.

핵심 요점

다항회귀는 연차별 연봉처럼 곡선형 변화가 있는 데이터를 효과적으로 모델링합니다.

변수	설명
Experience	근무 연차 (독립 변수)
Salary	연봉 (종속 변수)
사용 모델	2차 다항회귀
예측 성능	선형보다 우수

---

6. 다항회귀의 장점과 단점

장점:

• 비선형 데이터에 대한 모델링이 가능
• 차수를 조절해 모델 복잡도 조절 가능
• 선형 회귀 기법을 그대로 활용 가능

단점:

• 차수가 높을수록 과적합 위험
• 해석이 어려움 (특히 고차항 포함 시)
• 입력값이 크면 수치 불안정성 발생 가능

핵심 요점

다항회귀는 강력하지만, 차수 조절과 해석의 어려움 등을 고려해 신중히 사용해야 합니다.

항목	내용
장점	비선형 예측, 유연한 모델링
단점	과적합, 해석 어려움
주의사항	적절한 차수 설정 필요
활용 분야	연봉 예측, 반응 속도, 성장 곡선 등

---

FAQ

Q1) 다항회귀는 언제 사용하는 것이 좋은가요?

입력 변수와 출력 변수 간의 관계가 곡선 형태일 때 사용합니다. 예를 들어, 연차가 증가함에 따라 연봉 상승률이 일정하지 않은 경우에 적합합니다.

Q2) 다항회귀의 차수는 어떻게 결정하나요?

모델의 차수는 데이터를 시각화하거나 검증 데이터를 통해 예측 정확도를 비교하면서 결정합니다. 일반적으로 2~3차가 많이 사용되며, 차수가 높을수록 과적합 위험이 있습니다.

Q3) 다항회귀는 비선형 회귀인가요?

모델 형태는 비선형이지만, 회귀 계수에 대해서는 선형이므로 선형 회귀 방식으로 학습할 수 있습니다. 따라서 선형 회귀의 확장으로 볼 수 있습니다.

Q4) 여러 독립 변수에도 다항회귀를 사용할 수 있나요?

가능합니다. 다변수 다항회귀에서는 각 변수의 제곱, 곱, 상호작용 항 등을 포함시켜 모델을 확장할 수 있습니다. 단, 변수가 많을수록 모델 복잡도가 크게 증가하므로 주의가 필요합니다.

Q5) 다항회귀의 과적합을 방지하려면 어떻게 해야 하나요?

차수를 높이지 않거나, 정규화 기법(L2 정규화 등)을 도입하거나, 교차 검증을 통해 과적합 여부를 확인하는 방법이 있습니다. 시각화를 통해 모델이 데이터에 너무 민감하게 반응하지 않는지도 확인해야 합니다.