NORI

[ElasticSearch]. 한국어 형태소 분석기 nori_analyzer 사용하기

엘라스틱 서치에서 사용하는 토크나이저를 파이썬 클라이언트로 연동해서 사용할 수 있다. 굳이 엘라스틱서치에서 작동되는걸 파이썬으로 가져와서 연동해야할 필요가 있을까 하지만 검색 결과로 나오는 BM25 score 말고 분리된 형태소 간 유사도를 파악하기 위해 사용했다. *(0~1)로 치환되는 값이 필요함. Mapping 정보 "analysis": { "analyzer": { "nori_token_analyzer": { "type": "custom", "tokenizer": "nori_base_tokenizer" } }, "tokenizer": { "nori_base_tokenizer": { "type": "nori_tokenizer", "decompound_mode": "mixed", "discard_pun..