Fig. 1. Artificial Neural Network model.1)

인공지능은 1940년대에 기계에 인간과 같은 지능을 부여하고자 시작되었다. 인공지능은 기계가 사람의 지능을 모방하기 위한 기술이다. 이 인공지능의 한 분야로 기계 학습이 있다. 기계 학습은 사람이 일일이 프로그램하지 않고 주어진 데이터로부터 자동으로 학습하여 예측 모형을 개발하는 인공지능의 한 분야이다. 기계 학습은 지도 학습, 비 지도 학습, 강화 학습 등으로 나뉘며 대표적인 기법은 인공신경망, 서포트 벡터 머신(Support Vector Machine, SVM) 등이 있다. 기계 학습은 어떠한 데이터가 있을 때 컴퓨터가 이해할 수 있는 형태로 데이터를 표현하고 이를 우리가 원하는 결과를 가져올 수 있도록 학습을 하기 위해 많은 연구가 진행되고 있다. 딥 러닝은 기계 학습에서 인공신경망을 기반으로 한 기법 중의 하나이다. 딥 러닝은 기존의 기계 학습에 비해 많은 양의 데이터를 사용한다. 그리고 기존의 기계 학습이 데이터를 컴퓨터가 이해하기 쉽도록 표현하기 위해 연구자의 지식에 의해 만들어진 데이터 표현 방법을 사용한 반면 딥 러닝은 데이터를 학습함에 따라 자동으로 데이터 표현 방법을 만들고 학습한다는 차이점이 있다. 이에 따라 기존의 기계 학습에 비해 딥 러닝은 데이터를 학습하는 시간과 연산량이 많이 필요하지만 좀 더 복잡한 데이터를 정확하게 학습이 가능하다는 장점이 있다. 이러한 장점이 있기 때문에 딥 러닝은 현재 많은 연구가 진행되고 있다.

Fig. 2. Support Vector Machine (SVM) model.3)

딥 러닝의 부모 격인 인공신경망은 1940~1960년대 연구된 퍼셉트론(perceptron)부터 시작되어 연구가 진행되어 왔다. 주요 목적은 생물학적인 뇌의 모형을 모방하기 위해 시작되었고 현재의 딥 러닝에 비하면 매우 단순한 구조를 가졌다. 퍼셉트론은 XOR 연산을 하지 못한다는 한계로 1969년 잠시 침체기를 겪었다가 1986년 다층 퍼셉트론의 개발로 다시 부흥기를 맞이하게 된다. 여러 개의 층으로 이루어진 다층 퍼셉트론은 기존 퍼셉트론의 한계인 XOR 문제를 해결했다. 이 시기에 딥 러닝도 이 기술들을 기반으로 개발되었다.

딥 러닝은 1998년 얀 르쿤이 오류 역전파 알고리즘에 기반하여 우편번호를 인식하는 딥 뉴럴 네트워크(Deep Neural Network, DNN)2)를 개발한 것으로부터 연구되기 시작했다. 얀 르쿤의 DNN은 성공적으로 동작했다. 하지만 Vanishing Gradient 문제, Overfitting 문제 등에 의해 학습 시간이 너무 오래 걸리거나 학습이 제대로 이루어지지 않는 등의 문제가 제기되어 다시 딥 러닝에 대한 관심은 멀어졌다.

그 후 수학적 모델에 기본을 둔 기계 학습의 한 기법인 SVM4)이 주목받아 연구되다가 2000년대 기존의 인공신경망의 문제들을 일부 해결한 기법, Unsupervised Restricted Boltzmann Machine (RBM)5)이 제프리 힌튼에 의해 소개되면서 다시 딥 러닝이 주목을 받게 되었다. 추후 2010년 제프리 힌튼 교수는 Vanishing Gradient 문제를 해결하기 위한 Relu6) 기법과 2012년도에는 Dropout7) 정규화 기법을 제시하여 딥 러닝을 더 발전시켰다. 2012년도에는 기존 인공신경망의 고질적인 문제들이 대부분 해결되고 기술의 발전에 따른 데이터의 증가 및 하드웨어 연산 속도의 증가로 딥 러닝이 크게 발전하게 된다. 특히 딥 러닝의 기법인 Convolutional Neural Network (CNN)과 Recurrent Neural Network (RNN)이 크게 발전했다.

Fig. 7. Transformer model.17)

RNN은 뉴런을 순환 구조로 배치하여 과거의 정보를 이용할 수 있도록 한 인공신경망으로 순차적으로 들어오는 데이터를 학습하는데 용이하도록 고안된 신경망이다. 주로 자연어 학습에 많이 사용되었다. 대표적인 모델은 Long Short Term Memory models(LSTM)14)과 Gated Recurrent Unit (GRU)15) 등이 있다. RNN의 경우 순차적 데이터를 학습할 수 있기 때문에 자연어 처리 분야에서 많이 사용되어져 왔다. Seq2seq16)이라는 RNN 기반의 입력 시퀀스에서 출력 시퀀스를 학습하는 기법이 만들어지고 연구되어졌다. 하지만 데이터의 인과관계가 멀리 떨어져 있을 경우 그 관계는 학습되지 않았거나 데이터가 일부 손실되는 문제가 있었다. 이 때문에 자연어 처리 시 문장이 길어지면 잘 학습하지 못하는 문제가 있었다.

이를 보완하고자 Attention이라는 개념이 도입되었다. 각 입력된 데이터들 중에 특정 데이터들(즉 인과관계가 있는 데이터들)을 좀 더 집중하도록 하는 것이다. Attention 개념을 이용하여 Transformer17)라는 기법이 2017년도에 소개되었다. 기존의 RNN 모델 없이 순차적으로 들어오는 데이터를 학습하는 모델이다. Self-attention이라는 기법을 사용하여 순차적으로 들어온 데이터 내의 중요도 또는 집중을 계산하여 사용하는 방식이다.

기존의 기법들에 비해 월등한 성능을 보여주어 현재까지 사용되고 있다. 대표적인 모델로는 Bidirectional Encoder Representations from Transformers (BERT),18) Generative Pre-trained Transformer (GPT3)19)가 있다.

Transformer는 자연어 처리 분야에서만 사용되다가 현재에는 2012년에 영상인식 분야에 Visual Transformer (ViT)20)가 소개되어 많은 연구가 진행되고 있다.

Fig. 8. Vision Transformer (ViT) model.20)

KSTAR 초전도 자석의 운전데이타를 기반한 딥 러닝 학습 데이터 셋 연구

초전도 자석의 온도는 운전전류 및 초임계 헬륨의 유량, 온도 등에 의해 결정되지만, 냉각 경로들이 복잡하게 얽혀 있고, 30개의 초전도 자석들이 서로 영향을 미치기 때문에 초전도 자석의 정확한 온도를 예측하기 쉽지 않다. KSTAR는 10여 년 이상의 방대한 데이터를 가지고 있기 때문에 딥 러닝을 이용하여, KSTAR 초전도 자석의 온도를 예측하여, KSTAR 초전도 자석의 안정성을 확보하고, 더 나아가 다양한 플라즈마 시나리오에 대한 확인이 가능하다. 플라즈마 실험 시 초전도 자석의 온도 상승 경향을 파악하기 위하여 2018년도 총 633번의 실험에서 Poloidal Field (PF) 초전도 온도 데이터를 1초 단위로 interpolate하여 초전도 자석의 온도 데이터를 100 단위 시간 동안 학습하고 100 단위 시간 값을 입력으로 받았을 때 다음 단위 시간 값을 예측하도록 학습했다.

학습 성능을 비교하기 위해 딥 러닝에서 많이 사용되는 LSTM 모델과 입력의 길이가 100인 Transformer 모델을 온도 데이터 학습 후 비교했다. 그림 10에서 파란색은 원래 데이터이고 빨간색이 한 단위 시간 예측 데이터이고 초록색이 예측값과 원래 값의 차이 데이터이다.