심셋을 위한 실험을 모두 설계하다.
현재까지 내가 제대로 하지 못하는 것은 large corpus에 대해서 simsest을 동작하게 만드는 것이다.
해당 실험은 inductive location에 대한 초기 실험 결과이다. 나는 이 실험을 통해서 특정 위치를 강제하는 것이 Simset에 대해서 적합한 적용 방법이라는 점을 알게 되었다.
Counterfactual 데이터를 다뤄보며 Factuality Editing에서 실험을 어떻게 하였는지 확인하였습니다.
이 과정은 (s,r)이외에 다른 많은 관련된 것들이 포한된 경우나, (s,r) 관계가 문맥에 표현된 경우에 일반화되기 어렵다.
---------------
Prompt: 2011 Cannes Film Festival can be found in
Target word: Prescott
Generated answers: ['the following programs:\n', 'the following articles:\n', 'the following programs:\n', 'the following articles:\n', 'the following places:\n']
---------------
Prompt: Google Patents, a product developed by
Target word: Microsoft
Generated answers: ['Google, allows users to', 'Google, allows users to', 'Google, is a pat', 'Google, allows users to', 'Google LLC, is']
---------------
Prompt: Institut Polaire originated in
Target word: Budapest
Generated answers: ['1992', '1959', '1998', '1992', '1997']
지식의 유무에 대해서 확인하려면, 사람에게 물어도 당연한 Q-A 페어를 말하도록 추가적인 학습이 필요하다.
실험의 파이프라인은 다음과 같은 구조이다.
selected_docs=1000
num_clusters=1000
hook_layer=24
lm_size=7b
memory_allocation=simset
mem_seed=0
alpha=0.1
save_dir=outputs/trains/lm"_"$lm_size/layer_$hook_layer/$num_clusters/$memory_allocation'_'$mem_seed/alpha_$alpha
To find the effective layer for memorizing documents with the proposed structure, we train the model to memorize 1K documents for two models. This training is equivalent to the proposed loss with $\alpha=0.0$. To evaluate the proposed method, we train the with different $\alpha$ and memory allocation methods. Currently we report the 1K results. For the comparison with the other number of documents, we train with the same layer and change the $alpha$ and memory structure.