[윤석용의 철강 AI] AI 준비를 위한 데이터 관련 직무는

2024-10-31     윤석용
윤석용

천연자원과 같다는 평가를 받고 있고, 최근 인공지능 서비스로 많이 회자되는 퍼플렉시티, 클로드, 수노, 스테이블 디퓨전, 감마 등을 구현한 핵심은 바로 ‘데이터’임을 모두 알고 있다.

클로드(http://claude.ai)에 프롬프트를 이용하여 노래 가사를 작성하게 하고, 수노(https://www.suno.com)에 작성된 가사를 붙여 놓고, 음악 스타일을 지정만 하면 나만의 음악이 만들어져, 이를 다운로드하여 쉽게 공유할 수 있다. 놀라운 것은 쉽게 음악을 만든다는 사실뿐만 아니라 음악의 완성도에도 있다.

앞으로 수를 헤아릴 수 없을 정도로 나타나게 될 인공지능 서비스도 모두 데이터에 기반을 두고 있다. 8년 전 빅데이터 열풍이 한창일 때 영국의 경제전문 저널인 “The Economist”에 “The world’s most valuable resource is no longer oil, but data” 기사가 실릴 때만 해도, 지금의 인공지능을 상상하지 못했으며, 기사 제목처럼 될 수 있을지도 의구심을 가졌던 것이 사실이다.

그런데 이제는 그 누구도 데이터의 가치를 의심하지 않고 있다. 다만 데이터의 가치를 인식하면서도 어떻게 데이터를 체계적으로 모으고 관리해야 하는지, 관련 전문가의 역할은 어떻게 설정하고 또 어떻게 양성해야 하는지, 많은 관심을 갖고 있지 않다는 점이다.

그냥 과거처럼 DBMS 기술조직이나 데이터베이스 관리자를 두는 것으로 충분하다고 생각하고 있는 것 같다. 데이터에 전략적 가치가 있고 인공지능의 원천으로 데이터를 본다면 다시금 데이터 관련 직무의 세분화와 역할에 대하여 생각할 필요가 있다.

그럼 먼저 국가별로 데이터 관련 직무와 역할이 어떻게 구분되고 있는지 살펴보자.

영국 정부의 데이터 포탈인 www.gov.uk 사이트를 운영하고 정부의 디지털 혁신을 담당하는GDS(Government Digital Service)에서는 데이터 관련 직무를 데이터 아키텍트, 데이터 분석가, 데이터 엔지니어, 데이터 윤리학자, 데이터 거버넌스, 데이터 과학자 등으로 구분하고 있다. 특이할만한 직무는 데이터 윤리학자(Data Ethicist)와 데이터 거버넌스(Data Governance)이다. 데이터 관련 윤리기준과 관련 교육을 담당하는 직무를 조직 내 두고 있고, 조직 내 데이터의 자산관리 및 표준화를 주도하게 하는 직무를 별도로 구성하게 하고 있다. 또한, 직무를 4단계로 나눠, 요구되는 역량을 상세히 기술하고 있다.

미국은 노동통계국(BLS)에서 제공하는 직업 데이터베이스인 O*NET(Occupational Information Network)에서 관련 직무를 살펴볼 수 있다. 데이터 관련 직무로는 데이터베이스 아키텍트, 데이터 웨어하

우스 전문가, 데이터 분석가, 데이터 과학자, BI 분석가, 의료데이터 관리자 등으로 되어 있다. 그리고 직무별 임무, 교육수준, 요구되는 기술, 업무영역이 상세하기 기술되어 있다.

그럼 우리는 어떠한가? 데이터산업을 주도하고 있는 한국데이터산업진흥원에서는 데이터 컨설턴트, 데이터 기획자, 데이터 아키텍트, 데이터 개발자, 데이터 엔지니어, 데이터베이스 관리자, 데이터 분석가, 데이터 과학자 등으로 나름 세분화하고 있으며 직무별 주요 업무에 대해서도 자세히 설명하고 있다.

그런데 국가별로 살펴봐도 데이터 관련 부분은 나름 정리가 되어 있지만, 인공지능 관련해서는 아직 미비한 상태로 보인다. 국내에서는 노동부의 국가직무능력표준(NCS)에서 데이터와 인공지능을 나눠 소분류와 세분류로 구분하고 능력단위를 제시하고 있으나, 구성과 내용 측면에서 부족한 부분이 많아 빠른 개편이 필요해 보인다.

데이터를 기업의 자산으로 취급되어야 하는 것에 대하여 반론의 여지는 없지만, 이는 활용하기 위해서는 품질과 양 그리고 인공지능 연결을 위한 체계적인 거버넌스가 무엇보다 필요하다. 이를 위하여 국가 차원에서 관련 직무나 자격제도 등을 만들 필요가 있지만, 기업도 데이터의 중요성이 강조되는 만큼 필요한 관련 직무를 체계적으로 운영할 필요가 있다.

철강업을 포함하여 다른 산업의 기업 조직을 살펴보더라도 데이터 분석팀, 인공지능 전략팀, DX팀 등 관련 기술이나 방법에 대한 조직은 운영되고 있지만, 데이터는 기존의 DBMS 운영팀의 경계를 크게 벗어나지 못하는 아쉬움이 있다.

데이터 분석과 인공지능 구현기술들은 LLM과 연결되고 추상화 수준이 높여진 도구의 사용으로 쉽게 활용 될 수 있지만, 현장에서의 데이터 획득과 관리, 데이터의 품질과 거버넌스는 한 땀 한 땀의 노력의 결과로 나타나기 때문에 지속적인 관심이 필요하다고 생각된다.