정보처리 관점에서 가능한 모델링 방식들에 대한 나열 및 실험 결과
처방의 물성을 예측하는 문제는 신경망에 처방의 정보와 예측 물성의 정보를 넣어 기대값을 예측하는 문재이다.
입력으로 들어가는 정보는 원료의 정보와 함량, 그리고 물성에 대한 정보이다. 가장 기본적인 방식은 각 물성마다 신경망을 구성하는 것인데, 이는 확장성이 제한적이다. 새로운 물성을 예측할 때 새로운 신경망이 학습되어야 한다.
물성 예측 문제에서 원료의 정보가 충분하여 이를 바탕으로 함량과 섞어서 푸는 방식은 원료의 정보가 충분히 잘 구성되어야 가능하다 (그러나 현재 데이터는 그렇지 못하다). 이에 현재 학습 알고리즘은 물성 예측을 위해 원료에 대한 적절한 표현을 찾으며 이를 입력으로 예측까지 진행한다.
대표적으로 2개의 처방 예시를 보자. 파란색 원료가 들어가고 나머지 두 개 원료는 다른 종류로 바꿨다. 첫 번째 처방을 학습할 때 원료 표현들은 물성예측에 대한 에러를 최소화 한다. 그 과정에서 원료 표현들도 바뀌며 파란색 원료는 노란색 원료와 처방으로 구성되었을 때 예측값을 최소화하도록 학습된다. 두 번째 처방을 학습하게 되면, 파란색 원료와 초록색 원료가 업데이트 된다. 따라서 파란색은 두 번 업데이트가 되며, 노란색 및 초록색과 처방을 구성했을 때 에러를 최소한으로 가지도록 학습된다. 원료의 조합으로 구성된 처방은 여러 원료들의 조합이며, 학습데이터로 주어진 조합에 대해서 물성 예측 최소화를 진행하며 학습된다.
학습모델은 두 가지 학습 목표를 가진다.
따라서 모델을 학습하는 과정에서 두 가지 업데이트가 모두 발생하며, 이후 사용할 때는 임의의 원료들을 섞었을 때, 물성을 예측하기를 기대한다.
학습데이터는 처방과 물성 레이블 (pH, 점도, 경도, 비중)로 구성된다. 고정된 처방에 대해서 물성은 측정할 경우 값이 생기며, 일부 물성은 데이터 수가 적다. 예를 들어서 아래 그림에서 점도가 측정된 처방은 2개만 존재하며 위 학습에 의하면, 점도를 위한 표현과 점도를 섞는 것을 학습해야 한다. 그러나 학습데이터 수가 적기에 이는 제대로 학습되지 않는다.
pH를 포함한 물성이 점도보다 많은 데이터를 포함할지라도 원료 조합으로 만들 수 있는 처방은 그 수가 무수히 많다. 아래 그림은 입력데이터 (원료)에 대한 복잡도를 나타내며, 원료 개수 및 처방 내 원료 개수가 늘어남에 따라서 만들어지는 조합의 개수를 표현한 그림이다. 조합의 복잡도를 줄이기 위해서는 두 가지 인자: 전체 원료 수, 처방 내 원료 수를 줄여야 한다.
2023년까지 연구된 신경망의 설계는 제한된 형태를 이루며, 이들 중 다중 원료를 처리하는 구조적 해결책이 존재한다. 이 장에서는 가장 단순한 모델부터 복잡한 모델까지 구조를 설명하며 처방을 처리하고 물성을 예측하는데 적합한 모델을 논의한다. 모델 카테고리는 크게 세 종류가 있다.
학습데이터는 다음 6개 물성이다. 점도의 경우 측정 방식에 따라서 다른 물성으로 고려하였다. 위 모델 중 일부는 물성표현을 사용하여 모든 묾성을 동시에 학습할 수 있다. 그러나 여러 물성을 동시에 학습할 경우, 예측을 잘하는 물성과 못하는 물성에 대한 가중치를 구분하기 어렵기 때문에 개별적인 모델로 각 물성을 학습한다.
| data | size |
|---|---|
| density | 7836 |
| hardness | 2441 |
| pH | 7441 |
| viscosity_3_12 | 499 |
| viscosity_4_12 | 276 |
| viscosity_4_6 | 1731 |
각 물성에 대한 학습 결과는 얼마나 잘 암기하는지 보여준다.
각 물성에 대한 테스트 결과는 얼마나 새로운 (처방, 원료)에 대해서 잘 적응하는지 보여준다.
각 점수는 에러율로 낮을수록 좋다. L1 loss 값은 정규화된 Y에 대한 값으로 에러가 클수록 예측 성능이 낮음을 나타낸다.
아래 그림은 위 그래프에 대한 Radar Plot을 나타낸다.