JioNLP

• JioNLP 是一个面向 NLP 开发者的工具包，提供 NLP 任务预处理、解析功能，准确、高效、零使用门槛。请下拉本网页，查阅具体功能信息，并按 Ctrl+F 进行搜索。JioNLP在线版 可快速试用部分功能。关注同名微信公众号 JioNLP 可获取最新的 AI 资讯，数据资源。

  • AI发展方向——从pipeline到end2end
  • 你为什么不相信 LLM 模型评测：深入评测 LLM 接口
  • AI似乎在向着奇怪的方向飞奔
  • ChatGPT这么强，会影响NLPer的就业环境吗？
  • 一文读懂ChatGPT模型原理
  • 花了三周，我又更新了一版开源软件 ffio => FFIO链接

• jio.chinese_idiom_loader该函数是成语加载函数，目前返回成语的 释义、出处、示例、整个中文语料中的出现频率。

由于该函数占据了 2.9M 硬盘空间，且使用人数应该非常少，所以会对该词典进行精简，计划仅保留成语以及其文本频率，删除释义、出处、示例。这样做会压缩 jionlp 工具包大小。

如果有任何意见，都可以提 issue 反馈。

• MELLM, short for Mutual Evaluation of Large Language Models, is an automatic evaluation algorithm of LLMs without human supervision. MELLM has been tested effectively on several LLMs and datasets test results and analysis. You can use the example code below to take a try.
• before running this code, you should download norm_score.json and max_score.json from test data with password jmbo.
• If you encounter any error, read the test_mellm.py to download *.json file.

$ git clone https://github.com/dongrixinyu/JioNLP$ cd JioNLP/test/$ python test_mellm.py

• JioNLP 提供了一套 LLM 的测试数据集，并应用 MELLM 算法完成了自动评测。
• 评测结果可关注公众号JioNLP，查阅具体各家评测截图pdf。

>>> import jionlp as jio>>> llm_test = jio.llm_test_dataset_loader(version='1.1')>>> print(llm_test[15])>>> llm_test = jio.llm_test_dataset_loader(field='math')>>> print(llm_test[5])

• python>=3.6 github 版本略领先于 pip

$ git clone https://github.com/dongrixinyu/JioNLP$ cd ./JioNLP$ pip install .

• pip 安装

$ pip install jionlp

• 导入工具包，查看工具包的主要功能与函数注释

>>> import jionlp as jio>>> print(jio.__version__)  # 查看 jionlp 的版本>>> dir(jio)>>> print(jio.extract_parentheses.__doc__)

• 星级⭐代表优质特色功能

• 文本数据增强各方法说明

• 工具包 NER 数据规定说明

• 若论文需要进行引用，可复制以下引用：

Chengyu Cui, JioNLP, (2020), GitHub repository, https://github.com/dongrixinyu/JioNLP

• NLP 预处理与解析至关重要，且非常耗时。本 lib 能快速辅助完成各种琐碎的预处理、解析操作，加速开发进度，把有限的精力用在思考而非 code 上。
• 如有功能建议、bug，可通过 issue 按模板提出。
• 非常欢迎各位 NLP 开发者和研究者 合作完善本工具包，添加新功能 。

• 感谢致谢名单中赞助的小伙伴们，你们的打赏让我更有动力