Code Repository for the paper Controllable prompt tuning with relation dependent tokens (kcc 2023)
프롬팅(Prompting)이란 특정 태스크에 맞는 자연언어 문장인 프롬프트(prompt)를 입력 앞에 추가해주어 거대 사전 학습 모델의 성능을 높이는 방법이다. 최근 다양한 자연언어 태스크를 해결하기 위한 프롬팅에 관한 연구가 활발히 이루어지고 있고, 연속 프롬프트 최적화 방법론이 주목받고 있다. 기존 연속 프롬프트 최적화 기법에서는 특정 데이터 집단에만 적합한 프롬프트 인코더를 학습해야 하고, 추론 과정에서 출력을 조절할 수 없다는 문제점들이 있다. 본 논문에서는 이를 해결하기 위해 조절 토큰을 사용한 통합된 프롬프트 인코더를 제안한다. 지식 탐침 데이터셋에서 다양한 언어 모델에 대해 실험한 결과, Precision-1의 일관된 향상을 통해 통합된 프롬프트 인코더 모델이 문제 해결에 효과적인 방법인 것을 확인하였다.