学术使用与商用皆可,中研院 CKIP-Llama-2-7b 繁中大型语言模型登场

中央研究院词库小组(CKIP)最新释出可以商用的繁中大型语言模型(large language model)CKIP-Llama-2-7b,能作为学术使用或是商业使用,可应用於文案生成、文学创作、问答系统、客服系统、语言翻译、文字编修、华语教学等。

中央研究院词库小组以商用开源模型 Llama-2-7b 以及 Atom-7b 为基础,再补强繁体中文的处理能力,并对 405 个可商用的任务档案同步进行训练优化,参数量达 70 亿。团队一共开发出两个模型一个是繁体中文预训练後的 CKIP-Llama-2-7b,一个是以前者为基础,继续多任务微调训练後的 CKIP-Llama-2-7b-chat。

该模型已经放上 Github 和 Huggingface 提供大众下载,也可以使用自己的训练资料集进行训练,快速构建出一个可以满足自身任务需求的模型,模型仅需一张 12G 记忆体容量的 GPU 即可布属。

(Source:测试网页)

其中为了达到可商用目的,多任务微调资料也避免使用 alpaca 及 vicuna 等经由 OpenAI 产品生成的资料集,而取自於纯人工产生的 COIG-PC 资料集和 dolly 资料集,中央研究院词库小组表示,COIG-PC资料集当中有为每一个任务档案注明是否可以商用,团队从中挑选出 405 个可商用的任务档案,再从其中随机抽取出我们的任务微调资料集;dolly-15k 资料集整体均为为可商用资料集。

团队也展示实测范例,好比问它「在台湾什麽是 22K?」、「台湾地方特色小吃」、「帮我规划日月潭二日游」等,都可以获得相对应的答案,也能请它以七言绝句吟诗、写推销文案、写志愿或是一封想入职中研院的求职信等。

中央研究院词库小组小组表示,这个模型可应用於各种领域,包括文案生成、文学创作、问答系统、客服系统、语言翻译、文字编修、华语教学等等,中研院抢先开放测试网页,开放所有人测试。

脸书母公司 Meta 7 月免费释出旗下开源软体人工智慧商用模型 Llama 2,提供免费用於研究和商业用途,也免费提供给在微软 Azure 云端服务上开发软体的开发者使用,华硕旗下的台智云也开发了「繁体中文强化版 FFM-Llama 2 大语言模型」,包括 70B、13B 及 7B 三种商用版本,支援 Code Llama 程式开发与 Embedding 增强语意搜寻模型。

(首图来源:unsplash)

proton可以翻墙吗

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
最旧
最新 最多投票
内联反馈
查看所有评论