[챗봇] faiss로 빠르게 유사도 검색하기(Similarity Search)
Faiss 는 Facebook AI 에서 개발한 유사도 검색 모델이다.
밀집 벡터의 효율적인 유사성 검색 및 클러스터링을 위한 라이브러리입니다.
Faiss 는 numpy 나 torch 에서 제공해주는 cosine_similarity 보다 훨씬 빠릅니다.
빠른 이유는 벡터들 간의 연관성까지 포함하여 임베딩 정보를 가지고 있기 때문입니다.
즉, 벡터 길이(n)가 고정되어 있을 경우에는 빠른속도를 기대할 수 있지만
매번 다른 벡터들일 경우엔 매번 벡터간 연관성 계산 + 유사도 계산이 필요하기 때문에 기존
numpy 함수를 사용하는 것이 더 빠릅니다.
즉 faiss 는 길이(n)를 제한하는 대신 미리 벡터끼리의 정보를 계산해두고 그것을 이용하여 빠르게 검색합니다.
( 틀리면 마구마구 지적 부탁드립니다. )
실습을 통해 알아보겠습니다.
Faiss 설치 방법
# CPU-only version
$ conda install -c pytorch faiss-cpu
# GPU(+CPU) version
$ conda install -c pytorch faiss-gpu
# or for a specific CUDA version
$ conda install -c pytorch faiss-gpu cudatoolkit=10.2 # for CUDA 10.2
데이터 셋 : https://github.com/songys/Chatbot_data
pairwise 모델 : https://huggingface.co/Huffon/sentence-klue-roberta-base
준비단계
(1). 데이터셋에 질문(Q)를 pairwise 모델로 전부 임베딩
(2). 임베딩 벡터들을 저장 (.npy)
패키지 로드
import pandas as pd
import numpy as np
import faiss
from sentence_transformers import SentenceTransformer , util데이터 로드
#데이터 불러오기
df = pd.read_csv("./ChatbotData.csv")
#임베딩 벡터 불러오기
embeddings = np.load("./embeddings.npy")
#변환기 불러오기
embedder = SentenceTransformer("Huffon/sentence-klue-roberta-base")
불러온 벡터의 차원이 맞는지 확인합니다.
# 벡터 차원 확인하기
embeddings.shape(103675, 768)
Faiss 적용하기
# faiss 계산하기
index = faiss.IndexFlatL2(embeddings.shape[1]) # 초기화 : 벡터의 크기를 지정
index.add(embeddings) # 임베딩을 추가여기서 IndexFlatL2 는 각 벡터의 유사성 또는 각 벡터의 근접성을 측정하는 데 사용하는 거리 메트릭입니다.
여기서 L2 는 유클리드 거리를 의미합니다.
index.is_trained # 추가가 되었는지 확인하기
index.ntotal # 임베딩 수 확인하기
유사도 검색
top_k = 100
query = "사랑했던 사람이 떠났어"
query_embedding = embedder.encode(query, normalize_embeddings=True ,convert_to_tensor=True)
distances, indices = index.search(np.expand_dims(query_embedding,axis=0),top_k)유사도 검색은 쉽게 index.search 를 사용하면 할 수 있습니다.
결과는 튜플의 형태로 나오게 되는데 앞에(distances)는 각각의 벡터들의 거리가 저장되고,
뒤에(indices)는 해당하는 인덱스를 반환됩니다.
top_k 는 몇개를 추출할 것인지에 대한 옵션이고 자동으로 거리가 가까운 순서로 정렬되어 반환됩니다.
# 결과 확인
temp = df.iloc[indices[0]]
#temp
temp['distances'] = distances[0]
temp[['user','system','distances']].head(10)
#index 저장하기
faiss.write_index(index,"sts.index")
#인덱스 불러오기
index = faiss.read_index("./sts.index")한번 계산한 index 는 저장하여 다음번에 불러오기만 해서 사용할 수 있습니다.
속도 테스트 결과
총 10만개의 벡터를 전부 cosine_similarity를 했을 경우에는 10초 정도 결렸고
faiss 모델은 0.2~0.3초 소요되었다.
검색기반 챗봇은 검색 성능과 속도가 가장 중요한데 faiss 라이브러리를 사용하여 엄청난 성능향상을 기대할 수 있었습니다.
참고 : https://www.youtube.com/watch?v=sKyvsdEv6rk&t=22s
https://github.com/facebookresearch/faiss/wiki/Getting-started
https://github.com/facebookresearch/faiss/blob/main/INSTALL.md