Towards Selecting Document Memories from Token Representations
โ๐ป ๋ฌธ์์ ๋ํ ์ํธ๋ฆฌ๋ฅผ ๋ง๋๋ ๊ฒ๊ณผ ์ค์ ํ ํฐ์ด ์ํธ๋ฆฌ๋ฅผ ์ ๊ทผํ๊ณ ์ฌ์ฉํ๋์ง ์ฌ๋ถ๋ ๋ถํ์คํ๋ค. ์ด ์คํ์์๋ ํ ํฐ์ผ๋ก๋ถํฐ ๋ฌธ์ ๋ฉ๋ชจ๋ฆฌ ์ ํ์ ๋ฐฉ์์ ๊ด์ฐฐํ๊ณ ํ ํฐ์ผ๋ก๋ถํฐ ๋ฌธ์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ end-to-end๋ก ์ ํํ๋ ๋ฐฉ์์ ์ฐ๊ตฌํ๋ค.
[Draft] Document Representation and Memory
โ๐ป ๋ ๊ฐ์ง ์๋ฌธ. 1) ๋ฌธ์์ ๋ํ ํํ์ผ๋ก๋ถํฐ ๋ฉ๋ชจ๋ฆฌ์ ์ํธ๋ฆฌ๋ฅผ ๋ง๋๋ ๊ฒ์ ์ค์ ๋ก ํจ๊ณผ๊ฐ ์๋๊ฐ? 2) inductive bias๋ ์ค์ ๋ก ํจ๊ณผ๊ฐ ์๋๊ฐ?
Theory of Mind for LLM early experiments
โ๐ป ToM์ 1st order์ ๋ํด์ ์๋ํ์ง๋ง, 2nd order์ ๋ํด์๋ ์ ๋๋ก ์๋ํ์ง ์๋๋ค.
๐ Early Experiments on Sparse Autoencoding (SAE)
โ๐ป ์ ๊ฒฝ๋ง์ ํํ์ ์จ์ด์๋ ์๋ง์ ํน์ง๋ค์ ์ฐพ์๋ด๊ธฐ ์ํด์ ์ต๊ทผ ์ฐ๊ตฌ๋๋ SAE ๊ธฐ๋ฒ์ ์ถ์ข ํ๊ธฐ ์ํด ์คํ์ ์งํํ์๋ค.
Group
โ๐ป
Causal Variables and Distributed Neural Representations
โ๐ป
Simset Early Experiments and main experiments design
โ๐ป ์ฌ์ ์ ์ํ ์คํ์ ๋ชจ๋ ์ค๊ณํ๋ค.
Simset + inductive bias regularization (Korean)
โ๐ป Simset์ ๋ํด์ ์ ๋๋ก ์ฐ๊ตฌํ๊ธฐ ์ํด์ inductive bias๋ฅผ ์ํ ์คํ ์ค๊ณ ๋ฐ ์งํ.
๋ฌธ์ ๋ฉ๋ชจ๋ฆฌ ๋ฐฉ์์ document memorization์ผ๋ก Factuality์ ๋ํด์ ๋์ ์ฑ๋ฅ์ ๋ผ ์ ์๋๊ฐ? (Korean)
โ๐ป ๋ฌธ์๋ฅผ ์๊ธฐํ๋๋ก ์ ์ฅํ๋ ๊ฒ์ ๋์์ด ๋๋ค. ์ถ๊ฐ์ ์ธ ๊ถ๊ธ์ฆ์ ๊ตฌ์กฐ์ ์ธ ๋ฉ๋ชจ๋ฆฌ๋ก ๋ฌธ์๋ฅผ ์๊ธฐํ๋ ๊ฒ์ด ๋์์ด ๋๋์ง ์ฌ๋ถ์ด๋ค.
Webots Robot RL
โ๐ป Webot ์๋ฎฌ๋ ์ดํฐ์ ๋ก๋ด์ ๋ํด์ RL์ ํ์ต, ๋ชจ๋ธ ๋ฐฐํฌ๋ฅผ ๊ด๋ฆฌํ๋ ๊ฒ์ ๋ชฉํ๋ก ํ๋ค.
Kimst2024
โ๐ป ์ ๋์ ์ธ ์งํ ์ธก์ ์ ๊ธฐ๋ฐ์ผ๋กํ CPS ์ปจํธ๋กค ์๊ฐ ์ธก์
Rosbot Control ๐
โ๐ป Rosbot Control ๋ถ๋ถ ์ฐ๊ตฌ
Does Adaptation of Neural Memory help factual prediction? (Korean)
โ๐ป ์ ๋ณด ์๊ธฐ๋ฅผ ์ํ ์ถ๊ฐ์ ์ธ ๋ด๋ถ ๋ฉ๋ชจ๋ฆฌ๋ ๋ชจ๋ธ ์์ธก์ ๋์์ด ๋๋๊ฐ?
Mastering NLP Tasks
โ๐ป Study materials for NLP tasks
Towards Knowledge Memories in Transformers
โ๐ป ํธ๋์คํฌ๋จธ์ ์ถ๊ฐ์ ์ธ ์ ๋ ฅ์ ๊ฐ์ด ๋ฃ์ด์ ์์ฑ๋ฌผ์ ์ปจํธ๋กค ํ๋ ์ฐ๊ตฌ
Side Information for Transformer
โ๐ป ํธ๋์คํฌ๋จธ์ ์ถ๊ฐ์ ์ธ ์ ๋ ฅ์ ๊ฐ์ด ๋ฃ์ด์ ์์ฑ๋ฌผ์ ์ปจํธ๋กค ํ๋ ์ฐ๊ตฌ
Distribution
โ๐ป Study of Distribution
Papers
โ๐ป All the papers...