[AI 응용 ML] 이론 | 3.1 회귀란? 단순선형회귀, Loss함수, 경사하강법

회귀 분석 알고리즘 : 독립변수와 종속변수로 미래를 예측한다.

완벽한 예측은 불가능하기에 최대한 잘 근사해야 한다.

각데이터의 실제값과 모델이 예측하는 값의 차이를 최소한으로 하는 선을 찾자

단순 선형회귀 모델을 학습하며 차이를 최소한으로 하는 선을 찾는 방법을 알아보자

 

단순선형회귀

데이터를 설명하는 모델을 직선 형태로 가정

데이터를 잘 설명한다는 것은 어떤 것일까?

먼저, 실제값과 예측 값의 차이를 구해보자.

하지만

다음을 보면 알 수 있듯이

실제값과 예측값의 차이의 합으로 비교하기에는 예외가 있다.

고로

실제값과 예측값 차이의 제곱의 합으로 비교하자.

이를 Loss 함수로 정의한다.

Loss함수가 작을수록 좋은 모델이다

Loss함수 줄이기

경사하강법이란?

단순 선형 회귀 과정은 다음과 같다.

단순 선형 회귀 특징
•가장 기초적이나 여전히 많이 사용되는 알고리즘

•입력값이 1개인 경우에만 적용이 가능함

•입력값과 결괏값의 관계를 알아보는데 용이함

•입력값이 결괏값에 얼마나 영향을 미치는지 알 수 있음

•두 변수 간의 관계를 직관적으로 해석하고자 하는 경우 활용