[Mac_M1]. tokenizer install error 해결하기

https://towardsdatascience.com/hugging-face-transformers-on-apple-m1-26f0705874d7

Install Hugging Face Transformers on Apple M1

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

git clone https://github.com/huggingface/tokenizers

pip install setuptools_rust

M1 맥북에서 transformer 모델을 설치할때 마다 발생하는 패키지 설치 에러