AI 프런티어 (4회)
임우형 LG AI연구원 그룹장
AI에이전트 구축 위한 파일럿 테스트
“엑사원 산업현장의 두뇌가 될 것”
임우형 LG AI연구원 그룹장
AI에이전트 구축 위한 파일럿 테스트
“엑사원 산업현장의 두뇌가 될 것”
LG 마크를 달고 전자·화학·바이오·통신 등 제품 생산이 이뤄지는 현장 곳곳에 엑사원 기반의 설비 셧다운 예측·감지 시스템부터 부품 조립 시 이상 감지 모델이 적용된다. 비용을 낮추면서도 생산량을 높일 수 있는 최적의 설비 공정 스케줄링 모델이 실시간 가동되는 등 LG그룹 전반의 생산 라인을 한층 진화된 AI 스마트 팩토리로 탈바꿈 시키겠다는 계획이다.
이를 위해 현재 LG전자, LG생활건강, LG화학, LG에너지솔루션, LG이노텍 등에선 LG그룹 차원의 고도화된 산업용 자율 AI 에이전트를 구축하기 위한 파일럿 테스트가 한창 이뤄지고 있는 것으로 파악된다.
임우형 LG AI연구원 연구 그룹장(상무)은 최근 서울 여의도 LG 본사에서 매일경제신문과 인터뷰를 갖고 “기존 생산 공정 라인이 자동화에 초점을 맞춘 스마트 팩토리 수준에 그쳤다면, 엑사원은 산업 현장의 에이전트 두뇌 역할을 맡게 될 것”이라고 강조했다. 그러면서 그는 “LG 주요 생산라인에서 파일럿 테스트 중인 엑사원 기반의 다양한 AI 모델들을 지속해서 고도화해 나가고 있고, 이를 토대로 올 하반기에는 각 계열사별 생산라인에 최적화된 솔루션이 탑재될 수 있게끔 내부적으로 공유할 계획”이라고 전했다. (이하 일문일답)
-대학 학부(서울대)로 전기공학과를 나왔다. 이후 (동대학) 석·박사 때 음성인식 기술을 전공했다. 당시엔 AI라고 하면 음성인식, 영상인식 정도였던 것으로 기억한다. 컴퓨터공학과와는 구분돼 있긴 했지만 전기공학과에서도 전자·전기·제어계측·반도체·소프트웨어·운영체제 등을 과목으로 다뤘다. 학부 땐 AI소프트웨어 수업도 있었고, 원하면 컴퓨터공학과 수업도 들을 수 있었다.
▶ AI라는 분야에 원래 관심이 있었는지
- 어렸을 때는 로봇을 만드는 것이 꿈이었다. 로봇을 비롯한 하드웨어를 제작하는 것을 좋아했었고, 이를 움직이게 하는 소프트웨어에도 관심이 많았다. 초등학교 때부터 프로그램 개발을 좋아했었다. 대학교에 들어와선 ‘시그마 인텔리전스’라는 로봇 동아리에 들어갔다. 서울대 96학번인데 1998년도에는 동아리 회장을 맡기도 했다. 로봇 축구 대회에도 다수 참여했다. 수상 경력은 없었지만 하드웨어 설계도 혼자 하고, 임베디드 소프트웨어나 관련 미로를 찾는 알고리즘도 개발했던 바 있다. 나름대로 AI라고 부를 수 있는 비전 기술를 이용해 축구공 색깔을 구분하고 상대편 골대에 넣게끔 코딩을 짜는 등 관련하여 많은 공부를 했다.
▶ 이후 현업에 뛰어들기까지의 과정은
-음성인식 전공으로 (대학원에) 진학했던 것은 소프트웨어적으로 사람에 대한 궁금즘이 있었고, 이를 구현하는 것도 재미있을 거라 생각했기 때문이다. 대학원을 다닐 때였던 1990년대 말~2000년대 초에는 음성인식 분야에서 붐이 일어날 뻔했다. 그때 분위기가 고조되다가 당시 기술로선 성능이 나오지 않았다. 유선전화에서 교환기 대신에 사람 이름을 말하면 사내 내선 전화를 돌려준다든지, 인명과 지명을 짧은 단어로 검색하는 수준이었다. 긴 문장 인식은 논문 연구 수준에 불과했다. 그렇다 보니 관련 벤처기업, 스타트업도 기술 수준의 한계로 사업이 잘되지 않아 2000년 중반부턴 사라지는 곳들이 많았다. 2007년 박사 과정을 마쳤을 땐 사실 AI 연구 시장이 좋지 않았기에, 소프트웨어 개발로 유망한 기업을 찾던 중 삼성전자 휴대폰 소프트웨어 개발 조직에 들어가게 된 것이다.
▶ 당시엔 S보이스 개발을 맡았다던데
- S보이스는 빅스비(Bixby) 전신이라고 보면 된다. 초기에는 삼성전자 내에서 음성인식을 하지 않았다. 그러다가 애플에서 ‘시리’가 나오니까 삼성전자에서도 음성 에이전트를 만들겠다고 했다. 그때 나온 게 바로 S보이스였다. 나 역시 그때 합류하면서 음성인식 개발을 다시 하게 됐다. 그때부터는 본격적으로 시장 분위기와 기술 수준이 올라오던 때였다.
▶ 삼성에 있다가 SK텔레콤으로 옮겼다
- SK텔레콤으로 이직한 것은 2013년도였다. 애플 시리로 음성 에이전트가 나오기는 했었지만 국내 기준으로는 많이 쓰이지 않았던 때다. 근데 통신사들은 예전부터 음성인식 기술을 많이 연구했었다. KT도 오랫동안 음성인식을 연구해왔고, SK텔레콤도 마찬가지였다. SK텔레콤에서는 ‘구글 보이스 서치’를 벤치마킹했다. 가령 T맵에 들어가는 음성 검색도 구글 서치를 쓰다가 내재화했다. 그러다가 우연히 스피커 사업조직에 합류하게 됐다. SK텔레콤은 사물인터넷(IoT) 사업도 하고 있었으니 연계해서 사업적으로 해볼 수 있지 않을까 싶어서 만들었던 게 ‘누구(NUGU) 스피커’였다. 누구는 에이닷의 이전 버전이라고 보면 된다.
▶LG에는 언제 합류했나
- 2019년에 연구위원으로 왔다. 당시에는 LG그룹에서 AI 태스크포스(TF)를 만들었는데 현재 원장께서 TF장을 맡게 됐다. LG그룹에서 AI연구원을 만들기 전에는 SK텔레콤에서 함께 있었던 인연이 있다. 함께 일해보자고 제안을 주셨고, 고민 끝에 합류하게 됐다. 당시 개인적인 생각으론 LG그룹 AI 인지도가 부족했지만, 잠재력은 다른 어떤 회사보다도 굉장히 높다고 봤다. LG그룹을 보면 포트폴리오에서 제조업이 많긴 하지만 공장이나 여러 업무 프로세스에 관련된 AI 도구를 만들면 큰 변화를 만들 수 있을 거라고 생각했다. 가령 신약 개발은 LG화학에서 하고 있는데 여기에 도움이 되는 AI 개발은 연구원에서 하고 있다. 배터리 신물질이라든지 이런 분야에서도 AI 기술이 많이 있다.
▶ LG에선 무엇을 했나
- 처음에는 랩(Lab)을 세분화하진 않았고 비전, 데이터 인텔리전스, 펀드멘털 등이 있었다. 이 중 내가 하고 싶은 건 데이터 인텔리전스였다. 데이터 기반 지능은 사람이 사고하는 것과 관련된 지능이라고 할 수 있다. 사람이 이해하기 어려운 데이터도 많은데 이를 이해하고 예측·판단해서 의사결정하는 걸 구현해 보고 싶다는 생각이 있었다.
▶ LG AI에 대해 설명해 달라
- 다양한 버전이 있다. 일례로 전자제품이나 생필품 수요를 예측해서 이를 기반으로 생산·판매 계획을 할 수 있는 모델이 있다. 과거 추이와 관련된 지표를 종합적으로 입력하면 시장 니즈를 예측할 수 있는 모델을 만들고 있다. 계열사에서는 이미 (파일럿 테스트로) 사용하고 있다. LG 퓨처캐스트(가칭)라고 하반기에는 다시 말씀을 드릴 기회가 있을 것이다. 이 밖에도 설비가 고장 나면 셧다운 후에 정비를 해야 하는데, 이를 미리 알 수 있으면 셧다운 타임을 최소화할 수도 있다. 테스트 중인 또 다른 솔루션으로는 생산라인 중간 과정에서 문제가 있는지도 예측할 수 있는 이상 감지 모델이 있다.
▶그만큼 현장을 많이 다닐 것 같다
- 계열사 공장 견학을 다니면서 현업에 있는 분들과 많은 얘기를 나누고 있다. 예측이나 최적화 얘기를 했는데 공장에서 어떤 물건을 어디에, 언제까지 넣어야 하는지를 스케줄링하는 문제도 있다. 사람이 상황을 판단해 1~2주간 표를 짜서 운영하고 있는 작업을 AI가 데이터를 모아서 수율을 높이거나 비용을 최소화하고 생산량을 높일 수 있게끔 (자동으로) 스케줄링하는 AI 모델도 만들고 있다. 일례로 LG이노텍 공장에서 생산 공정상 이상 지점을 자동적으로 판별해 내고 품질을 감지하는 파일럿 테스트를 진행했다. 이 밖에도 다수 계열사 공장들을 찾아다니며 좀 더 효율적으로 생산 공정이 이뤄질 수 있는 AI 모델들을 만들어 나가고 있다.
특히 이상 감지 모델의 경우 과거 화학설비 공장에서 파일럿 테스트를 진행했는데, 현장 수요가 있는 솔루션이라는 것을 느꼈다. 아무래도 엄청나게 큰 설비가 고장 나면 셧다운해서 정비를 해야 하는데, 이걸 예측하고 사전에 정비할 수 있는 시스템이 만들어지면 셧다운되는 시간도 그만큼 단축할 수 있는 효과가 있기 때문인 것 같다.
-어떤 식으로 외부에 공개할지는 정해지지 않았다. 다만 작년 여름 엑사원 2.0 발표 때 처럼 엑사원으로 묶이는 여러 솔루션을 시장에 소개하는 방안을 그룹 차원에서 검토하고 있는 것으로 안다. (앞서 언급한 생산 라인에서 테스트 중인 모델들은) 기존 생산 공정 라인이 자동화에 초점을 맞춘 스마트 팩토리 수준에 그쳤다면, 엑사원은 산업 현장의 에이전트 두뇌 역할을 맡는 것을 목표로 준비 중이다. 이를 위해 현재 LG 주요 생산라인에서 파일럿 테스트 중인 엑사원 기반의 다양한 AI 모델들을 지속해서 고도화해 나가고 있고, 이를 토대로 올 하반기에는 각 계열사 생산라인에 최적화된 솔루션이 탑재될 수 있게끔 내부적으로 공유할 계획이다.
▶산업용 자율 AI 에이전트로 가는 방향인지
-맞다. 자율 AI 에이전트라는 것이 아직까지 기술 고도화 수준에 따라 범주가 모호한 측면이 있지만, AI의 자체 판단이 들어가는 영역이 점차 생겨난다는 측면에서 그 범주는 향후 더욱 넓어질 것으로 본다. LG그룹에선 이미 생산라인 스케줄링 최적화 부분에 있어 AI가 스스로 조건에 맞춰 판단을 내리고 (인간에게) 지침을 주고 있다. AI가 적재적소에 필요한 업무를 맡는 형태로 가고 있는데, 결국 관련 기술이 발전할수록 자율 AI 에이전트로서의 역할도 커질 것이다.
▶사례를 들어 준다면
-스마트팩토리, 스마트워크를 보면 현재 일부 자동화가 많이 이뤄지고 있는 상태다. 이것이 자율 AI 에이전트로 고도화되면, 자동화 단계를 넘어 AI에게 사람이 하나하나 다 가르쳐 주지 않아도 AI 스스로 사람이 했던 행동 패턴과 로그 기록 등 히스토리 전반을 파악하게 되고, 외부 기록까지 분석해 자율적인 판단하에 움직이는 수준이 나타나게 된다. 가령 냉장고 수요 데이터와 관련된 AI 모델이라고 하면 기존 AI 수준에선 판매 데이터를 갖고 예측하는 수준이었지만 자율 AI 에이전트 수준에선 정형화된 수치와 더불어 뉴스나 리포트 등 외부 비정형 데이터까지 복합적으로 분석해 AI가 자체 판단하에 최적의 결정을 내리는 것이다. 이러한 모습들로 AI를 만들어가고자 하는 분위기가 최근 그려지고 있다.
▶엑사원은 왜 B2C로 공개하지 않나
-내부적으로도 여러 의견이 있다. 개인적으로는 고객 서비스를 만드는 것도 의미 있지만 우선은 LG그룹이 업그레이드할 수 있는 것에 AI가 기여하는 것이 더 큰 의미가 있지 않을까 싶다. 우선순위의 문제겠지만 언젠가는 엑사원을 소비자에게 오픈할 생각이 있다. 다만 언제 오픈할지는 확정된 바 없다.
▶타사 모델과 엑사원을 비교하자면
-한 때 벤치마킹 경쟁이 치열했다. 하지만 지금은 어떻게 AI를 의미 있게 활용하고, 어떤 서비스로 더 큰 가치를 만들어 내는지가 중요해졌다. 우린 그 지점에서 주요 계열사와 협력하고 있는 것이다.
▶ LG 계열사에선 모든 사원이 엑사원을 쓰나
- 우리가 항상 모든 부분에서 베스트라고 할 수는 없다. 글로벌 수준보다 떨어진다면 우리 식구라고 하더라도 쓸 수 없다. 그래서 우리가 최고 수준의 모델과 서비스를 만들려고 노력하는 것이다. 가격이든 품질이든 여러 기준을 계열사들이 판단해서 외부 솔루션이 좋으면 그쪽으로 가는 게 맞다. 우리는 그것보다 더 좋은 걸 만들 책임이 있고, 무조건 외부 모델보다 더 좋은 성능을 만들기 위해 힘쓰는 것이다. 글로벌 톱에 비해선 부족할 수는 있지만 다른 부분에서 커버할 수 있도록 노력하고 있다. (클라우드 관점에서 보면) 멀티 밴더로 아마존웹서비스(AWS) 외에도 LG CNS 역시 당연히 검토 대상이다.
▶AI 칩 설계에 대한 계획도 있나
-아직은 없다. 우리가 직접 설계하는 것보다 (업무 협약을 맺은) 퓨리오사AI 등 외부 전문 회사와 좋은 협업 관계를 가지고 나가겠다는 것이 우리 연구원의 입장이다. 전자 등 계열사 단위로는 계획은 모르겠다. 일단 우리는 AI 연구조직이라서 AI칩 검토는 하지만 칩을 자체 개발하는 역할은 검토하고 있지 않다.
▶엑사원 3.0도 나오나
-당연하다. 그 시기는 확정해 말할 순 없지만 현재 계속 성능을 업그레이드해 나가고 있다. 한편 서비스적인 관점에선 앱, 웹 형식 어느 한쪽만을 고수하지 않고 계열사별로 최적화된 형태로 구현할 것이다.
▶ 브랜드 ‘엑사원’의 향후 계획은
-처음 챗GPT에 대항해서 모델을 만들었을 때는 전문가용 초거대 AI에 엑사원이라는 이름을 붙였다. 초기에는 LLM 관련 기술만 엑사원이라 지칭했었는데, 서비스화를 거치면서 엑사원 1.0에서 엑사원 2.0을 넘는 과정이 지난 현재는 AI 플랫폼 모델명처럼 됐다. LG AI연구원이 제공하는 서비스 플랫폼에도 엑사원이라는 이름이 붙을 가능성이 높다. 마치 마스터 브랜드처럼 되는 것이다.
- 엄청난 초수퍼 지능이 오더라도 먼 미래가 아닐까 조심스레 예상하고 있다. 현실에서 느낄 수 있을 정도로 다가오는 건 시간이 더 걸리지 않을까 싶다. 그러나 현재 AI 수준도 높아져서 대규모언어모델(LLM)로 혁신이 일어났고, LLM을 활용하는 추가적인 AI가 만들어진 것도 수준이 꽤 높다. 이를 어떻게 실생활에 잘 녹아들게 할지가 현재의 가장 큰 숙제다.
▶AI에게 자의식이 있다고 생각하는가
-기술자 입장에선 자의식이라고 표현하고 싶진 않다. 현재 LLM을 비롯해서 아주 높은 수준의 인공지능이라 하더라도 결국에는 사람이 바꿔줘야 태세 전환을 할 수 있는 것이다. 그걸 AI가 의식적으로 했다면 자의식이라 하겠지만 입력 데이터를 어떻게 넣었는지에 따라서 말을 바꾸게 만들 수 있다. 결국에는 자의식이 있다고 하더라도 사람이 명령하는 걸 잘 듣는 정도이지 않을까 싶다.
▶ 마지막으로 비전 한 마디를 말해달라
- 박사학위를 마치고 회사를 다닌 거라서 업력이 길지는 않다. 회사에 다니면서 욕심을 내는 것은 AI 부문에 몸담고 있는 동안 LG그룹 내에서 AI를 실증하고 고객·소비자와 세상을 바꾸는 축에 일조하고 싶다는 것이다. 현재 후배들도 많이 들어오고 있는데 AI 필드에서 의미 있는 일을 할 수 있도록 판을 만들어주는 역할도 하고 싶다. AI라는 것이 스쳐 지나가는 유행이 아니라 큰 줄기가 돼 꾸준하게 세상을 바꿔나갈 수 있도록 내 역할을 다하고자 한다.
He is…서울대 전기공학과를 거쳐 동 대학에서 머신러닝 음성인식 분야 석·박사 학위를 받았다. 이후 삼성전자의 AI 음성비서 ‘빅스비’ 전신인 ‘S 보이스’, SK텔레콤의 AI 스피커 ‘누구’ 개발을 담당했다. LG그룹의 AI 연구 조직에 합류한 것은 2019년이다. LG AI연구원은 2020년 출범했다.
*자율 AI 에이전트(Autonomous AI Agent) 이용자가 명령을 내리면 수동적인 결과값을 내놓는 기존 AI 에이전트와 달리 환경을 인식하고 그에 맞춰 독립적으로 의사 판단까지 내릴 수 있는 등 한층 고도화된 AI. AI는 자신의 센서를 통해 외부 세계의 정보를 수집하고, 내부 알고리즘을 사용해 어떤 행동을 취할지 결정함. 궁극적으로 자율 AI 에이전트가 발전할 수록 인간의 직접적인 개입 없이 스스로 결정을 내리고 실행할 수 있는 범위와 대상이 넓어지게 될 전망.
.png?type=nf190_130)
.png?type=nf190_130)
