Sentence Transfomer

[NLP]. MultipleNegativesRankingLoss 적용기(Sentence Transfomer)

BackGround 인공지능에게 질문에 대한 답변을 학습시킬 때, 한 가지 문제가 있는데 바로 적합한 질문/답변(Positive)데이터만 존재한다는 것이다. 지도학습을 할때는 정답과 오답을 같이 줘야 학습하는데 오답(Negative)이 없어 직접 만들어야 함. 그래서 오답 샘플을 만들어내는 많은 아이디어가 등장했다. 1. Random Sampling - 가장 일반적인 방법으로 여러 정답 데이터들 중에서 답변만 랜덤으로 섞어 오답이라고 하는 것이다. 배고프다. 얼른 밥먹어 ㅠㅠ Postive 피곤하다. 어제 밤샜어?? Postive 배고프다. 어제 밤샜어?? Negative 피곤하다. 얼른 밥먹어 ㅠㅠ Negative 실제로 이렇게만 학습해도 어느 정도 잘 된다. 2. Hard Negative Sampli..