图：蚂蚁团体始终在努力于进步年夜言语模子的练习效力，并冲破这一限度。 【至公报讯】综合金宝搏188网址登录中国基金报、凤凰网报道：蚂蚁团体应用国产芯片开辟了一种练习人工智能模子的技巧，可将本钱下降20%。近期，蚂蚁团体Ling团队宣布了最新的技巧结果论文《无需高等GPU即可扩大3000亿参数混杂专家LING年夜模子》。论文提到，只管浓密模子（神经收集中最为罕见的模子之一，每个神经元都与输入数据中的每个元素相连）获得了明显停顿，专家混杂（MoE）模子如DeepSeek系列、Qwen系列跟MiniMax-01系列等在某些特定义务中已展示出优于传统浓密模子的机能。 但是，MoE模子的练习平日依附于高机能盘算资本（比方H100、H800等进步AI减速器）。为了给业界供给一种实用于资本受限场景的模子练习新门路，论文先容了两款开源MoE模子：Ling-Lite与Ling-Plus，在资本本钱与模子机能之间获得精良均衡。比方Ling-Plus模子在五种差别硬件设置下实现9万亿token的预练习义务。若应用高机能硬件装备练习1万亿token，估计本钱为635万元国民币；而应用低规格硬件体系则本钱约为508万元，节俭近20%。 剖析指，MoE模子的练习平日依附于如英伟达所售GPU这类高机能芯皇冠新体育app官方入口片，使得练习本钱对很多中小企业而言过于昂扬，限度了更普遍的利用。假如蚂蚁团体研讨结果失实，将标明中国在人工智能范畴正逐渐走向自立可控，特殊是在追求本钱更低、盘算效力更高的模子架构皇冠app最新版本下载来应答英伟达芯片的出口限度。