[연구 16] 어텐션 기반 모델

모델 하이퍼 파라미터 튜닝

데이터 범위 및 처리

처방의 예측 물성에 아웃라이어가 들어있다. 데이터 정제를 위해서 퀀타일에 대한 값을 찍어봤고, 몇 가지 특이 사항을 발력하였다.

1. density는 에러가 낮게 나왔는데, 실제 quantile 범위는 0.8 ~ 1.3 사이에 고르게 존재했다. 따라서 예측 성능이 우수했던 것이다.
2. hardness 는 에러로 적힌 값은 없었지만, 유난히 큰 값이 있기에 제거하였다.
3. pH는 43 이라는 이상치가 있었다.
4. viscosity 는 대부분 에러가 없는 깔끔한 데이터이다.

task	min	0.01	0.05	0.10	0.25	0.50	0.75	0.90	0.95	0.99	max	std
density	0.80	0.88	0.95	0.99	1.01	1.02	1.07	1.14	1.16	1.24	1022.50	11.54
hardness	15.00	26.50	32.50	35.00	45.00	80.00	170.00	250.00	340.00	460.00	1500.00	125.04
pH	2.40	4.30	5.20	5.50	6.00	6.50	7.00	7.10	7.80	9.00	43.00	1.34
viscosity_3_12	500.00	1249.00	2250.00	2500.00	3000.00	4000.00	5000.00	6000.00	6500.00	7500.00	8750.00	1371.00
viscosity_4_12	3250.00	8875.00	10000.00	11250.00	14000.00	18000.00	22500.00	27250.00	30000.00	36687.50	53000.00	6800.94
viscosity_4_6	60.00	11000.00	16000.00	17500.00	29000.00	45000.00	60000.00	65000.00	70000.00	75000.00	85000.00	17489.22

아웃라이어 범위

학습데이터를 선별하는데 있어서, 다음 범위로 데이터를 골랐다.

task	clip min	clip max
density	0.8	1.3
hardness	15	500
pH	2.4	9.0
viscosity_3_12	500	8750
viscosity_4_12	3250	53000
viscosity_4_6	10000	85000

원료 정보 효율

원료에 대한 추가적인 정보를 활용하여 학습된 모델의 성능을 비교하였다. 여기서는 3가지 방식의 모델의 마지막 성능을 평균낸 값을 사용하였다.

pH

Error	inci	bf	wo_inci_bf
train/l1_loss	0.019	0.020	0.011
eval/l1_loss	0.239	0.237	0.235
additional_eval_1/l1_loss	0.011	0.017	0.018
additional_eval_2/l1_loss	0.240	0.217	0.254
additional_eval_3/l1_loss	0.267	0.271	0.258

Hardness

Error	inci	bf	wo_inci_bf
train/l1_loss	0.017	0.020	0.022
eval/l1_loss	0.293	0.287	0.290
additional_eval_1/l1_loss	0.050	0.068	0.059
additional_eval_2/l1_loss	0.206	0.194	0.206
additional_eval_3/l1_loss	0.308	0.302	0.305

VISCOSITY_4_6

Error	inci	bf	wo_inci_bf
train/l1_loss	0.072	0.070	-
eval/l1_loss	0.380	0.379	-
additional_eval_1/l1_loss	0.115	0.114	-
additional_eval_2/l1_loss	0.302	0.280	-
additional_eval_3/l1_loss	0.428	0.430	-

모델 표현력과 암기력

처방에 대한 조합 기반 물성 예측 문제는 모델의 표현력이 올라가면서 더 높은 성능을 보였다. 따라서, 암기는 에러 제로 수준으로 떨어뜨릴 수 있다.

앞으로 연구해야 하는 분야는 에러에 대해서 강건한 모델을 만드는 것이다.