Towards Selecting Document Memories from Token Representations

✍🏻 문서에 대한 엔트리를 만드는 것과 실제 토큰이 엔트리를 접근하고 사용하는지 여부는 불확실하다. 이 실험에서는 토큰으로부터 문서 메모리 선택의 방식을 관찰하고 토큰으로부터 문서 메모리를 end-to-end로 선택하는 방식을 연구한다.

  May 5, 2024

[Draft] Document Representation and Memory

✍🏻 두 가지 의문. 1) 문서에 대한 표현으로부터 메모리의 엔트리를 만드는 것은 실제로 효과가 있는가? 2) inductive bias는 실제로 효과가 있는가?

  May 2, 2024

Theory of Mind for LLM early experiments

✍🏻 ToM은 1st order에 대해서 작동하지만, 2nd order에 대해서는 제대로 작동하지 않는다.

  April 30, 2024

📌 Early Experiments on Sparse Autoencoding (SAE)

✍🏻 신경망의 표현에 숨어있는 수많은 특징들을 찾아내기 위해서 최근 연구되는 SAE 기법을 추종하기 위해 실험을 진행하였다.

  April 29, 2024

Group

✍🏻

  April 20, 2024

Causal Variables and Distributed Neural Representations

✍🏻

  April 19, 2024

Simset Early Experiments and main experiments design

✍🏻 심셋을 위한 실험을 모두 설계하다.

  April 18, 2024

Simset + inductive bias regularization (Korean)

✍🏻 Simset에 대해서 제대로 연구하기 위해서 inductive bias를 위한 실험 설계 및 진행.

  April 16, 2024

문서 메모리 방식은 document memorization으로 Factuality에 대해서 높은 성능을 낼 수 있는가? (Korean)

✍🏻 문서를 암기하도록 저장하는 것은 도움이 된다. 추가적인 궁금증은 구조적인 메모리로 문서를 암기하는 것이 도움이 되는지 여부이다.

  April 14, 2024

Webots Robot RL

✍🏻 Webot 시뮬레이터의 로봇에 대해서 RL의 학습, 모델 배포를 관리하는 것을 목표로 한다.

  April 7, 2024

Kimst2024

✍🏻 정량적인 지표 측정을 기반으로한 CPS 컨트롤 시간 측정

  April 7, 2024

Rosbot Control 🚗

✍🏻 Rosbot Control 부분 연구

  April 6, 2024

Does Adaptation of Neural Memory help factual prediction? (Korean)

✍🏻 정보 암기를 위한 추가적인 내부 메모리는 모델 예측에 도움이 되는가?

  March 28, 2024

Mastering NLP Tasks

✍🏻 Study materials for NLP tasks

  March 25, 2024

Towards Knowledge Memories in Transformers

✍🏻 트랜스포머에 추가적인 입력을 같이 넣어서 생성물을 컨트롤 하는 연구

  March 17, 2024

Side Information for Transformer

✍🏻 트랜스포머에 추가적인 입력을 같이 넣어서 생성물을 컨트롤 하는 연구

  March 17, 2024

Distribution

✍🏻 Study of Distribution

  September 17, 2023

Papers

✍🏻 All the papers...

  September 10, 2023