背景:23年5月，DeepMind和Meta的三位前员工在巴黎共同创立了Mistral AI
23年9.27，他们发布了第一个基座大模型，即Mistral 7B，共73亿参数

模型对比:
在所有基准测试中跑赢 Llama 2 13B
在推理、数学和代码生成方面中优于 Llama 1 34B
在代码上接近 CodeLlama 7B 性能，同时保持良好的英语任务

主要方面：
使用分组查询注意力 （GQA） 加快推理速度，还减少了解码期间的内存需求
使用滑动窗口注意力 （SWA）有效地处理任意长度的序列，同时降低推理成本。
位置编码方面RoPE)采用绝对位置编码的形式 实现相对位置编码

其他：
预填充与分块：减少重复运算
滚动缓冲区缓存(Rolling Buffer Cache)：固定的注意力长度意味着可以使用滚动缓存来限制的缓存大小

检索增强生成（RAG），它融合了大语言模型中的检索（retrieval）和文本生成（text generation）功能。这种方法将从庞大语料库中获取相关文档片段的检索系统，与根据检索信息生成答案的大语言模型配对使用。

我们将使用 2023 年 12 月发表的 PubMed 文章中的数据。PubMed 是一个免费搜索引擎，主要访问 MEDLINE 数据库(美国国立医学图书馆)，其中包含有关生命科学和生物医学主题的参考文献和摘要。目的是评估LLM在专业领域和最近发布的信息中的表现。