2023年11月6日,由创新工厂董事长兼CEO李开复成立的AI公司“零一万物”颁布了首款开源中英双语大模型“Yi”。与此同时,36氪从知恋人士处获悉,零一万物已实现新一轮融资,由阿里云领投。目前,零一万物估值已超10亿美元,跻身独角兽行列。
此前,“Yi”于11月2日已经在Hugging Face低调上传了两个参数规模别离为6B和34B的基础模型。截至11月5日,Yi-34B别离在Hugging Face LLM Leaderboard(pretrained)(预训练大说话模型)和中文大模型榜单C-Eval排行榜已经爬升到1位。
高低文窗口,意味着模型的“影象力”。据介绍,Yi目前占有200K高低文窗口,可处置约40万字的文本——这也是目前全球大模型中最长的高低文窗口。
李开复提到,由于GPU紧缺,当模型尺寸从6B推向更大的尺寸时,团队必要把握好规模削减试错成本,不能一味钻营“大”。通过打磨AI Infra,Yi-34B将训练成本降落了40%,“此外友商若是要用2000张GPU,我们只有1200张。”
Yi的训练数据重要起源于公开语料的爬取和数据库。李开复介绍,训练数据的难点在于沉复率高、质量低。通过清澈,团队从100多T的数据中筛选出了3T。由于中文语料的质量较低,目前,Yi的训练数据中英文语料的比例高于中文语料。
那么Yi的能力到底几何?在测评中,零一万物参考了Meta开源模型Llama2能力测评中所用到的PIQA、SIQA、HellaSwag、WinoGrande等多个数据集,来评估Yi的“学问推理能力”“阅读理解能力”“数学与代码能力”等多维度能力。
了局显示,Yi-6B在学问推理能力和阅读理解能力上达到了国内表开源模型的均匀水平,但在数学与代码能力上还较弱。Yi-34B在学问推理能力和阅读理解能力上均大幅当先国内表开源模型,在数学与代码能力上处于当先水平。
相较于市面上常见的参数规模7B、13B,零一万物给出的是6B和34B的规划。李开复以为,34B的尺寸属于开源大模型稀缺的“黄金比例”尺寸,达到“涌现”门槛、满足精度要求的同时,对厂商而言可能选取高效能单卡推理,训练成本敦睦。
李开复坦言,在实现融资前,零一万物为了覆盖算力等训练成本已经负债几千万美元。这也侧面反映出李开复All in AI的刻意。
作为零一万物的提议人,李开复也可谓是中国人为智能的领武士物之一。他曾先后担任微软全球副总裁、谷歌全球副总裁兼大中华区总裁,并在2009年缔造了天使投资和企业孵化平台创新工厂。
2023年3月,李开复躬身入局大模型赛路,为筹建新公司零一万物广发“英雄帖”:“零一万物迎接有AI 2.0技术实力和AGI信仰的优良人才参与,一路打造AI2.0全新平台,加快AGI到来。”到7月,零一万物已有来自阿里、百度、谷歌、微软等国内表公司的数十位主题成员到位。颁布会上,李开复介绍,“(团队)在6、7月份写的第一行代码。”
如今,零一万物已经集结了国内表一批人为智能领域的大牛:
好比零一万物AI Infra副总裁戴宗宏,曾是阿里达摩院机械智能技术资深算法专家,以及华为云人为智能领域CTO。在阿里期间,他构建了阿里巴巴搜索引擎平台,后携带团队研发了图像搜索利用拍立淘。
再好比,零一万物预训练掌管人黄文灏来自智源人为智能钻研院,曾担任健全推算钻研中心技术掌管人。参与智源前,他曾任微软亚洲钻研院钻研员,掌管天然说话理解、实体抽取、对话理解以及人机协一致钻研工作。参与零一万物后,黄文灏团队重要掌管Yi的训练。
李开复以为,AI 2.0时期,最大的商机将呈此刻To C/消费级的超等利用。他提到,互联网时期的Super App微信和抖音的第一个版本并不是Super App,而是正确捉拿了用户的需要。而零一万物的指标是在AI 2.0时期再做一款微信、抖音。
具体到零一万物的贸易规划,李开复通知36氪,AI 1.0时期无法贸易化的公司很早被裁减,而贸易化的公司的最大挑战是可能可持续、可增长——这意味着AI 1.0的不少公司必要人头规模,不是高质量的收入。
他强调,收入的规;挥Ω糜萌送吠贫,而应该用技术推动。“以此为准则,零一万物将朝着Consumer(消费级)利用发力。”思考到国内用户的付费意识和意愿尚在造就阶段,零一万物将同时思考利用的本地化和出海。
目前,零一万物已经启动100B以上参数规模的模型训练,而多模态大模型团队已经集结了十多幼我。“几周之内我们就有新的颁布和各人分享。”李开复泄漏,“Yi”的定位是通用底座,同时,Yi系列量化版本、对话模型、数学模型、代码模型、多模态模型将以快节拍推出。









浙公网安备33059102000194号