LOADING STUFF...
TigerBot
中国
AI聊天对话

TigerBot

TigerBot 是一个多语言多任务的大规模语言模型(LLM)。

标签:

TigerBot 是一个多语言多任务的大规模语言模型(LLM)。根据 OpenAI InstructGPT 论文在公开 NLP 数据集上的自动评测,TigerBot-7B 达到 OpenAI 同样大小模型的综合表现的 96%,并且这只是我们的 MVP。我们在 GPT和BLOOM 基础上,在模型架构和算法上做了如下优化:

1. 指令完成监督微调的创新算法以获得更好的可学习型(learnability);

2. 运用 ensemble 和 probabilistic modeling 的方法实现更可控的事实性(factuality)和创造性(generativeness);

3. 在并行训练上,我们突破了 deep-speed 等主流框架中若干内存和通信问题,使得在千卡环境下数月无间断;

4. 对中文语言的更不规则的分布,从 tokenizer 到训练算法上做了更适合的算法优化。

执行:虎博团队在大模型研发上致敬了硅谷90年代经典的“车库创业”模式,团队开始只有5个人,coding & coke, day & night;而创始人本人正是 chief coder & chief scientist。我们拥抱开源,在公开文献和全世界最优秀的开源模型和代码基础上,用一个月时间实现了自研的全栈代码,当时模型表现达到OpenAI可比模型的八成。这给了陈烨和团队很大的信心,并开始在事实性、创造性和思维链这些底层研究上不断突破,形成了算法,工程,数据的高效率迭代节奏;粗略统计,陈烨带领团队在过去3个月时间内实验次数超过3000次,也就是每天至少三次实验。据悉,虎博内部已经迭代出同等大小表现优于OpenAI的模型。

开源:我们拥抱开源,因为相信科学创新无国界无阶层。虽然这次发布产品依然只是我们的MVP,我们很自豪将我们阶段性成果开源给大模型社区:

1. 模型:TigerBot-7B-sft, TigerBot-7B-base (表现优于同等可比的OpenAI和BLOOM),TigerBot-180B-research (或是迄今最大的Chat LLM);

2. 代码:基本训练和推理代码,包括双卡推理 180B 模型的量化和推理代码;

3. 数据:预训练 100G(或是业内最大质量最优之一的开源预训练数据), 监督微调 1G 或 100 万条数据。

生态:陈烨认为大模型是人工智能时代的基础设施,而生态的发展能反哺大模型的能力。因此,虎博也发布开源大模型应用开发的全套API :

1. (chat, plugin, finetune) API’s, 让用户能在半小时内无代码的训练和使用专属于自己的大模型和数据;

2. 领域数据:涵盖金融,法律,百科,广邀大模型应用开发者,一起打造中国的世界级的应用。

数据统计

数据评估

TigerBot浏览人数已经达到119,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:TigerBot的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找TigerBot的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于TigerBot特别声明

本站AI智习室提供的TigerBot都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由AI智习室实际控制,在2023年6月9日 下午5:56收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,AI智习室不承担任何责任。

相关导航