TigerBot

TigerBot 是一个多语言多任务的大规模语言模型(LLM)。根据 OpenAI InstructGPT 论文在公开 NLP 数据集上的自动评测，TigerBot-7B 达到 OpenAI 同样大小模型的综合表现的 96%，并且这只是我们的 MVP。我们在 GPT和BLOOM 基础上，在模型架构和算法上做了如下优化：

1. 指令完成监督微调的创新算法以获得更好的可学习型(learnability)；

2. 运用 ensemble 和 probabilistic modeling 的方法实现更可控的事实性(factuality)和创造性(generativeness)；

3. 在并行训练上，我们突破了 deep-speed 等主流框架中若干内存和通信问题，使得在千卡环境下数月无间断；

4. 对中文语言的更不规则的分布，从 tokenizer 到训练算法上做了更适合的算法优化。

执行：虎博团队在大模型研发上致敬了硅谷90年代经典的“车库创业”模式，团队开始只有5个人，coding & coke, day & night;而创始人本人正是 chief coder & chief scientist。我们拥抱开源，在公开文献和全世界最优秀的开源模型和代码基础上，用一个月时间实现了自研的全栈代码，当时模型表现达到OpenAI可比模型的八成。这给了陈烨和团队很大的信心，并开始在事实性、创造性和思维链这些底层研究上不断突破，形成了算法，工程，数据的高效率迭代节奏;粗略统计，陈烨带领团队在过去3个月时间内实验次数超过3000次，也就是每天至少三次实验。据悉，虎博内部已经迭代出同等大小表现优于OpenAI的模型。

开源：我们拥抱开源，因为相信科学创新无国界无阶层。虽然这次发布产品依然只是我们的MVP，我们很自豪将我们阶段性成果开源给大模型社区：

1. 模型：TigerBot-7B-sft, TigerBot-7B-base (表现优于同等可比的OpenAI和BLOOM)，TigerBot-180B-research (或是迄今最大的Chat LLM)；

2. 代码：基本训练和推理代码，包括双卡推理 180B 模型的量化和推理代码；

3. 数据：预训练 100G(或是业内最大质量最优之一的开源预训练数据)， 监督微调 1G 或 100 万条数据。

生态：陈烨认为大模型是人工智能时代的基础设施，而生态的发展能反哺大模型的能力。因此，虎博也发布开源大模型应用开发的全套API ：

1. (chat, plugin, finetune) API’s, 让用户能在半小时内无代码的训练和使用专属于自己的大模型和数据;

2. 领域数据：涵盖金融，法律，百科，广邀大模型应用开发者，一起打造中国的世界级的应用。