데이터의 사용을 강제적으로 제한하여 원천에 대한 명시적인 사용과 데이터 보호를 증진할 수 있는 모델 구조의 제안.
추가 자료 조사 필요
트랜스포머 구조가 수많은 데이터로부터 학습하여 많은 지식을 보유하는 성능의 우월성은 지속적으로 보여왔으며,
최근에는 사람의 수준을 뛰어넘는 성능을 보였다.
긍정적인 면과는 다르게 한 편으로는 많은 데이터에 대해서 제약없이 암기할 수 있도록 학습하여
발생될 수 있는 부정적인 영향들이 지속적으로 보고되고 있다.
대표적으로 Hate Speech, Copyright Infringement, 개인정보 침해와 같은 정보들은 모두 트렌스포머가 공개된 데이터에 대해서 Language Modeling으로 학습될 뿐만 아니라, 간접적으로 침해되는 개인정보가 포함된 데이터나, 부정적인 단어, 편향적인 단어들이 데이터에 포함되어 있기 때문이다. 300GB가 넘는 대용량 데이터에 대해서 1B가 넘는 파라미터 개수를 가지는 트랜스포머 모델이 해당 정보를 내부에 저장함은 자명하나 이에 대한 규제는 쉽지 않은 상황이다.
학습 가능한 데이터, 제약된 상황에서 학습 가능한 데이터, 불가능한 데이터의 사회적인 규칙은 존재하며, 이러한 데이터의 특성을 반영할 수 있는 연산 구조가 필요하다. 그 중에서 대표적으로 다뤄져야 하는 부분은 출처가 명시적으로 표시된 데이터에 대한 학습이다.
학습은 가능하지만, 아직까지 데이터의 출처를 명시적으로 확인하며 생성하거나, 학습 자체에서 보호될 수 있는 구조적인 노력은 부족하였다. 본 연구에서는 처음으로 Self-Regulated Transformer 구조를 제안한다. 해당 구조는 기존 Transformer 구조에서 명시적으로 학습할 수 있는 데이터의 지식은 MLP에 보존하고, 정보보호가 필요한 데이터는 구분된 MLP 에 보관하며, 해당 MLP에 접급하거나 해석하기 위해서는 명시적인 watermark가 존재하여 허락하의 데이터의 사용을 강제하도록 강제하는 방식이다.
기존 모델 구조를 그대로 사용한 상태로 정보 보호에 대한 End-to-End 의 방식의 최적화는 모델 내부에 특정 값이 남아있는지 확인할 수 없으며, 모델이 실제와는 다르게 scheming 을 하는지 알지 못한다. 즉, 구조적으로 불확실성은 남아있다. 따라서, 데이터를 보호하고 믿을 수 있는 트랜스포머 사용을 위해서는 구조적 접근이 필요하다.
최근 연구에선는 트랜스포머의 대표적 두 개의 모듈 (multi-head attention) 과 MLP 에 대해서 그 역할이 많이 연구되었다. MHA은 컨텍스트에 존재하는 값들을 인식하여, 해석하고, 층을 지날수록 정보교환이 되어 in-context learning이 발생한다는 점이 알려져 있으며, 비선형 변환을 하는 MLP의 경우 4배의 사이즈 차이로부터 더 많은 메모리를 보유하고 있으며, 토큰에서 메모리로 값이 바뀌는 역할을 하는 것이 알려져 있다. 따라서, 정보를 끄집어 내는 부분은 MHA보다는 MLP에서 그 역할이 크다. 이를 바탕으로 최근에는 대용량 메모리나 외부 지식을 넣기 위해서, 혹은 지식을 수정하깅 위해서 MLP 부분을 증가하거나 업데이트 하는 방식을 사용하고 있다. 따라서, 대부분의 생성된 정보의 근원이 MLP이며, 현재 MLP 구조는 2개의 Linear 레이어를 붙여놓았으며, 모든 레이어에 존재하여 어떤 정보가 어디에 있는지 알 수 없으며 제약을 가하기에 너무 넓다는 단점이 있다. 해당 MLP 에 대하여 정보보호를 위한 제약사항을 추가할 필요가 존재한다. 이에 본 연구에서는 원천 추정이라는 문제에 대해서, 본 MLP의 구조를 개선하여 기존 트랜스포머의 연산을 그대로 유지하면서 정보보호가 가능한 메모리 구조를 제안한다.