An Effective Method of Improving P-tuning Performance Using KoGPT2

Abstract

최근 딥러닝을 이용한 자연어처리 분야에서 다양한 모델이 소개되는 가운데 BERT와 GPT 등 트랜스포머(Transformer) 기반의 사전훈련 언어모델(Pre-trained model)이 기본이 되고 있다. 트랜스포머 기반 모델의 파인-튜닝(Fine-tuning)은 전체 모델의 파라미터가 업데이트되어 우수한 성능을 보여주고 있다. 최근에는 적은 양의 파라미터를 업데이트하여 성능을 개선하는 P-tuning 방식이 등장하였다. 본 논문에서는 모델의 파라미터의 학습을 동결하여 적은 양의 파라미터만 업데이트하더라도 기존의 파인-튜닝과 비슷한 성능을 달성할 수 있는 피-튜닝 방식에서 프롬프트 인코더(Prompt-encoder)를 변경한 방법을 제안하였다. 성능 검증을 위하여 GPT-2 모델은 KoGPT2를 사용하였다. NSMC와 KorNLI 데이터셋을 이용한 분류 결과, 제안한 방법은 기존의 피-튜닝 방식과 비교하여 NSMC와 KorNLI 데이터셋으로 각각 4.56%와 11%의 정확도가 향상된 성능 향상 결과를 보였다.