Lasso 또는 least absolute shrinkage and selection operator(최소 절대 수축 및 선택 연산자)는 통계 모델의 예측 정확도와 해석 가능성을 향상시키기 위해 변수 선택과 정규화를 모두 수행하는 회귀 분석 방법이다. Lasso방법은 선형 모델의 계수가 희소하다고 가정한다. 즉, 0이 아닌 계수가 거의 없다는 의미이다.

L1정규화는 모델이 훈련 데이터에 너무 딱 맞춰지는 과적합을 막기 위해, 손실 함수에 가중치의 절대값 합이라는 패널티를 추가한다.

$$ \text{Total Loss} = \sum (y - \hat{y})^2 + \lambda \sum_{j=1}^{p} \vert w_j\vert $$

$\lambda$ 가 클수록 아래 그림의 마름모가 작아져서 가중치를 더 0으로 만든다(학습은 보통 loss를 최소화하기 때문).
이를 기하학적으로 보자. 아래 그림에서 두 축은 가중치 $w_1, w_2$ 이며 최적점(오차=0)이 (1.5,0.8)이라고 알고 있다. 이때 타원(등고선, 3차원의 손실함수를 위에서 내려다본 꼴)의 형태는 두 가중치의 관계를 나타낸다. 최적점부터 타원이 점점 커지다 마름모와 처음 접하는 지점에 L1정규화를 사용했을 때 최적해이다.
이때 타원이 마름모의 평평한 변보다 뾰족한 모서리에 먼저 닿을 확률이 기하학적으로 훨씬 높다. 이 경우 한 가중치가 0이 되어, 모델에서 완전히 제거되는 효과를 낳는다. 이게 selection operator의 역할이다. 덜 중요한 변수를 0으로 만들어 모델을 심플하고 해석 가능하게 만드는 과정이다.
L1 규제 1.png

항상 타원이 뾰족한 모서리에 먼저 도달하는 것은 아니다. 만약 최적점이 (1.5,-0.8)이고 타원의 형태가 각 가중치의 관계를 나타낸다고 할 때, 타원과 마름모의 첫 접점은 마름모의 변 위에 놓인다. 이 경우 변수들은 0이 되지 않고 모두 살아남는다. L1 규제는 어느 변수를 무조건 0으로 만드는게 아니라, 중요하지 않은 변수를 0으로 만드는 규제이다.
L1 규제 2.png

하지만 현실에선 최적점을 모르는 경우가 더 많다. 하지만 타원의 경사(gradient)는 데이터를 통해 계산할 수 있기 때문에 오차가 줄어드는 방향으로 가중치를 업데이트할 수 있다. 이때 가중치가 너무 커지지 않도록 규제를 두는 것이 L1규제이다.