大模型「能力建设」:如何满足金融行业对AI先进存力的需求?
大模型作为变革性技术,需要实现能力内化。
随着大模型时代的到来,人工智能领域对算力的需求不断增长。然而,算力需求的增长也带来了新的挑战,其中最突出的问题是算力“木桶效应”。在算力“木桶效应”下,存储能力成为限制算力发挥的重要因素之一。因此,存力的重要性逐渐凸显。
近日,爱分析联合京东云发布《金融行业先进AI存力报告》(以下简称“报告”)。报告对金融机构布局大模型的存力需求做了深入剖析,报告提出,构建可用、可信、可控的先进存力,是金融行业落地大模型的必答题。
存力在大模型时代的重要性逐渐凸显
2023年10月,工业和信息化部等6部门联合印发了《算力基础设施高质量发展行动计划》(以下简称《行动计划》)。《行动计划》指出,算力是集信息计算力、网络运载力、数据存储力于一体的新型生产力,强调计算、网络、存储和应用需要协同创新、共同发展。
在数字化日益深入的今天,算力的重要性日益凸显。它不仅是信息计算力的核心,更是网络运载力的引擎,还是数据存储力的关键。这三者共同构成了新型生产力的重要组成部分。只有当计算、网络、存储和应用实现协同创新,才能最大程度地推动算力基础设施的高质量发展。
然而,大模型落地过程中,算力、数据和算法是三大支撑要素。在算力建设方面,企业普遍将注意力投向价格高昂、技术供给上有卡脖子风险的GPU,相比以GPU为代表的计算力,存力的重要性往往被忽视,但事实上,大模型必须依托由高性能计算芯片、存储和网络共同构成的大规模算力集群。
报告显示,目前算力集群存在“木桶效应”。(算力“木桶效应”是指计算、存储和网络等不同系统之间的不匹配,导致整个系统的性能受到限制。)在大模型时代,由于模型复杂度不断提高,需要更多的计算资源和存储空间。然而,由于存储速度和带宽的限制,存储成为算力发挥的瓶颈。因此,要提高算力,必须首先解决存储问题。
如果存储和网络性能无法支撑大规模数据存储、读写和传输,高性能计算芯片也无用武之地,最终影响大模型训练效率。爱分析在报告中指出,大模型场景对于存力有着高吞吐、高IOPS、高带宽、低延时的极致性能要求。
因此,为了解决算力“木桶效应”中的存储问题,我们需要不断提高存储能力和带宽,以支持更多的计算资源和数据读取。同时,我们也需要不断优化人工智能应用的算法和数据结构,以提高存储的利用率和效率。只有这样,我们才能更好地应对大模型时代的挑战,推动人工智能技术的不断发展。
金融行业具备大模型落地的良好条件
报告调研了部分金融机构大模型落地动态:2023年,农业银行在推出金融行业首个自主创新的金融Al大模型应用 ChatABC;工商银行就基于知识增强的NLP大模型在金酸场景的能力研充和应用采购项目招募潜在供应商,要求供应商具备可支持私有化部署的千亿级自然语言大模型产品;建设银行就通用大语言模型产品选型测试项目发布供应商征集公告;以及招商银行、招商证券和银河证劵均有大模型落地动态。
图表来源于报告-部分金融机构大模型落地动态
可见,大模型已经成为了金融行业落地应用的重要方向之一。金融行业作为经济的重要支柱,一直以来都在积极探索如何利用先进的技术来提高效率、优化服务以及增强风险控制能力。
为什么是金融行业?进一步来看,金融行业具备大模型落地的良好条件。一方面,金融机构的数字化成熟度和AI应用成熟度都比较高,因此具备良好的数据基础、较强的算法技术能力,以及众多潜在的大模型应用场景,为大模型落地提供了坚实的基础。另一方面,金融机构向来重视数字化转型,数字化预算投入较高,且以央国企为主,在大模型算力投入方面具备较强实力和意愿。
根据爱分析调研,金融行业典型的大模型应用场景包括数据分析、智能问答、智能客服、数字营业厅、智能投顾、智能投研、营销内容生成、产品推荐、智能风控等,部分场景已进入试点应用阶段。这些应用场景可以帮助金融机构进一步改善客户体验、提效降本,甚至有机会带来业务重塑的变革性价值。例如,在数字营业厅场景,未来基于大模型支持的数字人具备强大的用户交互和任务执行能力,可以直接帮助客户办理业务、推荐产品完成交易,从而创造新的渠道。
报告指出,能力建设和应用建设是当前企业用户落地大模型的两种主要方式。对于头部金融机构而言,大模型作为变革性技术,需要实现能力内化,因此普遍采用能力建设的方式,在应用场景中优先调用自有大模型,而非直接采购外部大模型和相关应用。为了进行大模型能力建设,金融机构需要训练和部署自有大模型,且模型参数量往往在千亿级。
大模型作为变革性技术,需要实现能力内化
不容忽视的是,随着数据量的不断增长,传统的存储和管理方法已经无法满足人工智能技术的需求。例如,大模型需要处理的数据量非常大,而且需要存储和管理大量的参数和计算结果,这需要非常高效的存储和管理方法来支持。另外,AI先进存力还需要满足金融行业对于数据安全和隐私保护的要求。金融行业是一个高度敏感的行业,对于数据的安全性和隐私性要求非常高。因此,AI先进存力需要提供更加安全和可靠的存储和管理方法来保护金融数据的安全和隐私。
可见,具体到存力方面,金融机构也面临一系列新挑战。总结来看,对于AI先进存力的需求,主要在三个方面:可用、可信、可控。
当前,国内厂商和产品在先进存力发展中逐渐扮演着越来越重要的角色,京东云云海分布式存储就是其中具有代表性的典型解决方案。也可以说,云海是实现这一目标的理想平台。
据了解,云海是京东云自研的分布式统一存储平台,从2012年开始启动研发,经过十余年的发展,基于新一代存储架构的京东云云海于2022年正式对外发布。面向金融机构大模型场景,京东云云海分布式存储产品基于全自研的统一底座,具备高性能、强兼容性、低成本的优势。
首先,在性能方面,云海单文件系统支持千万级IOPS,上千台服务器同时并发访问。这意味着在处理大规模数据时,云海可以提供极高的读写速度和并发性能,有效提升大模型训练的效率;其次,在国产适配方面,云海是京东100%自研产品,核心技术完全自主可控,与主流国产化平台完成兼容互认。这使得金融机构可以更好地满足国产化和软硬件解耦的需求,同时确保在大模型应用过程中的数据安全性和隐私保护;最后,在成本方面,云海形成了低至1.1x副本的业内超低冗余的EC存储,并在生产环境成熟使用。这种低冗余的存储方式可以大幅提高磁盘空间利用率,从而降低存储成本。
在产业实践方面,某国有大行已经基于云海构建了存力底座,大幅提升大模型训练效率的效率。通过采用云海作为存储平台,该银行成功地满足了大规模数据存储的需求,并通过统一分布式存储的方式解决了数据系统、AI平台、大模型应用三者数据高效流动的问题,从而实现了降本增效。
总体来看,通过采用京东云的云海分布式存储平台,金融机构可以更好地应对大模型应用过程中的挑战。同时,云海的优异性能、国产适配性和低成本优势也为金融机构提供了更加安全、可靠、高效的解决方案。在未来的人工智能技术发展中,随着数据量的不断增长和金融行业对数据安全和隐私保护的更高要求,AI先进存力将继续发挥重要作用。而像京东云云海这样的分布式统一存储平台也将成为金融机构实现大模型应用的重要支撑。