(수정) [윤석용의 철강AI] “회귀와 예측”

철강산업에 빅데이터 분석, 기계학습, 인공지능이 도입된 시기는 타 산업과 크게 차이가 없다. 어쩌면 다른 도메인보다 앞서서 진행했고 의미 있는 결과를 보인 면도 있다. 그러나 이런 이야기는 철강업의 탑티어에 들지 못한 중소기업에는 남 이야기로 들릴 것이다.

중소 전기로사나 가공사들의 데이터분석 프로젝트의 멘토링이나 과제평가에 참여해보면, 철강 물성치 예측 과제가 많다. 철강의 성분과 가공정보를 이용하여 인장강도, 항복강도, 연신율, 단면수축률, 피로강도, 크리프강도를 제품 검사 전에 예측하여 시험 비용 및 시간 단축 또는 제품의 공정비용 절감을 목적으로 과제를 수행하고 있다.

물성치 예측에서 ‘예측’의 사전적 의미는 ‘미리 헤아려 짐작함’이고, Prediction 또한 라틴어의 ‘미리’라는 뜻의 Prae와 ‘알려주다’의 Dicere의 결합어로, 데이터 분석에서 매력적인 과제들이다. 기계학습에서 예측을 위한 알고리즘은 무수히 많지만, 가장 많이 사용되면서도 정확하게 이해하고 있지 못한 알고리즘이 바로 회귀(Regression)가 아닌가 생각된다.

직선의 방정식으로 중고등학교 때 배웠고 일상에서도 많이 사용되는 회귀는, 고대 유전학자인 프랜시스 골턴이 부모와 자식 간 신장의 연관 관계를 연구하면서 평균 키로 돌아가려는 경향이 있음을 발견하고 이를 회귀라 하였고, 이후 칼 피어슨에 의하여 수학적 관계식인 y = β0 + β1χ1 + … + βnχn 로 표현되어, 현재 예측에서 가장 많이 사용되는 알고리즘이 되었다.

사전적 의미인 회귀와 회귀식으로 보여주는 것은 Regression과는 어울리지 않는 면이 있어 회귀는 적정한 표현이 아니고 예측이라는 단어가 맞는다는 의견도 있다. 그런데 예측은 분류 즉 Classification까지를 포함하는 포괄적 용어이기 때문에 그 또한 옳지 않다.

그런데 위에서 본 회귀식에서 빠진 항목이 있다. 그것은 바로 엡실론(Epsilon)이라고 부르는 잔차(Residual) 또는 오차항이다. 식을 써보면 y = β0 + β1χ1 + … + βnχn + ε 와 같이 ε항이 더 있다. 즉 회귀는 ‘오차항의 평균으로 회귀’를 의미한다고 봐야 한다.

이 회귀식을 좀 더 살펴보면, y 종속변수(반응변수)와 χ 독립변수(설명변수)가 선형관계에 있고 오차의 합이 최소가 되도록 β를 추정하게 되는데, 이때 오차항이 0으로 회귀 되어야 한다는 사실이다. 좀 더 명확한 정의는 오차항이 IID(Independent & Identically Distributed) 조건을 만족하는, 즉 오차항의 분포가 정규분포이고, 오차항과 독립변수 간 상관관계가 없고, 오차항의 분포가 일정해야 한다는 조건을 만족해야 한다.

예측에 많이 사용되는 이러한 회귀는 다중회귀(Multiple Regression) 이외에도 독립변수의 차수를 높여 선형과 비선형의 관계를 모델링 할 수 있는 다항회귀(Polynomial Regression), 모델의 일반화 성능을 높이고 변수 간 다중공선성 문제에 효과적인 벌점화회귀(Penalized Regression), 성능 향상과 해석력을 높이기 위한 주성분회귀(PCA Regression) 그리고 분류에 많이 사용되는 로지스틱회귀(Logistic Regression) 등 수많은 변형이 존재하고 이를 필요에 따라 적정하게 사용해야 한다.

일반적으로 인장강도를 예측하기 위하여 철강 성분과 가공 데이터를 이용하여 Orange3, R, Python 패키지를 이용하여 β를 추정한 후, 충분한 검토 없이 이를 현장에 적용하는 것에 많은 위험이 있다는 것을 이해할 필요가 있다.

이러한 문제를 해결하기 위한 간단한 과정을 보면, 인장강도에 영향을 줄 수 있는 데이터를 수집하고 탐색적 데이터 분석과 데이터 전처리를 수행된 후, 변수 선택, 변수의 특성과 목적에 맞는 회귀 알고리즘의 선정 그리고 모델을 평가하기 위한 적정한 Metric의 설정이 필요하다. 그리고 앞에서 언급했던 오차항 ε의 가정에 맞는지 확인해야 한다.

예측이란 기업 입장에서는 데이터 분석이나 인공지능을 도입하는 매우 매력적인 항목임이 분명하다. 그러나 가정을 깊게 생각하지 않거나 적정한 알고리즘을 적용하지 않은 상태에서 패키지에서 제공되는 결과를 그대로 현장에 적용한다면, 경험과 직관으로 하는 것과 크게 다를 바가 없을 수 있다.

데이터 관련 인프라를 갖추고 데이터 분석 패키지를 도입하는 것만으로는 부족하고 사내 데이터 분석 전문가를 양성하고 꾸준한 경험을 갖게 하는 것이 무엇보다 중요한 이유가 바로 여기에 있다.