OpenAI在其官方GitHub上公开了一个最新的开源Python库：tiktoken，这个库主要是用做字节对编码(BPE)的。相比较HuggingFace的tokenizer，其速度提升了好几倍。 chatgpt 按token 数量收费，1000个token大约700个单词，可以用tiktoken统计token数量，自己估算费用或者做token数量限制！ 安装 pip install tik 继续阅读
tiktoken （a fast BPE tokeniser for use with OpenAI‘s mo
