会议介绍

随着 ChatGPT 的火热，大语言模型和相关应用不断涌现。你是否了解大语言模型的技术细节？你是否曾经开发过大语言模型应用？如果你对大语言模型背后的基础设施感兴趣，那么7月8号，北京海淀中关村创业大街，云原生的开源 AI 大语言模型基础设施 meetup 等你来探讨！

此次 meetup 聚集了来自 Milvus、VMware、智源、商汤科技和 WasmEdge 等AI/云原生领域的专家，演讲将涉及大模型应用开发、联邦学习与大语言模型、向量数据库、神经网络量化、模型评测等多个方向，为你解析完整的大语言模型开发生命周期，透彻了解大语言模型背后的细节。

除了精彩的演讲内容，本次活动还得到了 CNCF（云原生计算基金会）的大力支持，会议将提供饮料和 Pizza。人民邮电出版社赞助了AI、开源和 Rust 相关的技术书籍，为你的技术学习之路提供帮助。现场还有贴纸、帽子、杯子、T-shirt 等周边礼品，让你满载而归。

 

活动议程

下午1:30 - 1:35：介绍

下午1:35 - 2:20：使用 Rust 和 Wasm 开发轻量级 AI 应用 -- Michael Yuan，WasmEdge 创始人

下午2:20 - 3:05：FATE-LLM: 当联邦学习遇到大型语言模型 -- 王方驰，VMware CTO办公室高级工程师，FATE项目maintainer

 

下午3:05 - 3:50：向量数据库：大模型的长期记忆体 -- 李晨 Zilliz 运营及生态负责人

下午3:50 - 4:05：茶歇

下午4:05 - 4:50：在 AI 开发中模型量化相关的技术实践 -- 张志，商汤模型量化框架PPQ工程师

下午4:50 - 5:35：FlagEval：大模型评测开源项目 -- 玄日成，智源智能评测组算法研究员，天秤项目core contributor

下午5:35 - 6:00：集体照片和自由交流
 

具体议题介绍

 

演讲1：使用 Rust 和 Wasm 开发轻量级 AI 应用

 

LLMs如ChatGPT类似于没有记忆、感官或手部的大脑。API和插件使开发人员能够为LLMs添加这些关键功能，并启用LLM应用程序。OpenAI插件和函数模板的普及表明了对此类服务的巨大需求。

 

然而，当前的LLM插件通常建立在复杂的云本地基础设施之上，这些基础设施旨在为完整的服务（如VM，Linux容器和k8s集群）提供支持。这些基础设施对于大多数作为LLMs和外部服务之间轻量级链接的插件/无服务器应用程序来说过于繁重。Wasm已成为一种引人注目的轻量级、便携式和安全的运行时，适用于此类函数。

 

在这个演讲中，我们将讨论WasmEdge社区（一个CNCF沙盒项目）如何利用和构建了Wasm容器基础架构，用于LLM插件。我们将涵盖主要的用例和采用情况，例如研发管理、DevRel、市场营销自动化和培训/学习。然后，我们将深入探讨技术堆栈，以及社区创建的Rust和JavaScript SDK，这些都能实现这些LLM用例。

 

演讲2：FATE-LLM: 当联邦学习遇到大型语言模型

 

近年来，基于 transformer 的大型语言模型越来越受欢迎，各界讨论不断升温，各路大模型也相继发布，另一方面，大型语言模型在数据和隐私问题上面临的挑战也逐渐凸显。近期，开源联邦学习框架FATE发布了联邦大模型方案FATE-LLM，将联邦学习和大模型技术相结合，为以上问题带来前瞻性的解决方案。通过FATE-LLM，各参与方可以在数据不出本地域的前提下，用各自隐私数据共同进行大模型微调并互惠互利。本次演讲将介绍FATE-LLM在将联邦学习应用于ChatGLM、 LLaMA 等大型语言模型方面的最新努力，并探讨技术和实践上的挑战、设计思路以及未来规划。

听众受益： 1. 了解联邦学习与联邦大模型 2. 了解FATE-LLM相关设计思路 3. 了解FATE开源社区生态

 

 

演讲3：向量数据库：大模型的长期记忆体

 

对于构建专有大型语言模型的组织而言，向量数据库至关重要。向量数据库的一个新型重要用例是 LLM，在文本生成过程中可用于检索领域特定事实或专有事实，用以存储、索引、搜索和检索非结构化数据的大型数据集。本次分享将重点介绍AI 基础设施的开源向量数据库 Milvus 以及对应的云服务 Zilliz Cloud 是如何知识增强和赋能 LLM，并进而引出大模型与向量数据库的关系、生态集成、工具与应用等。

听众收益：

1. 了解大模型和向量数据库的集成构建AI Native应用

2. 向量数据库如何知识增强和赋能 AIGC 领域相关

 

演讲4： AI 开发中模型量化相关的技术实践

神经网络量化是一种广泛应用的技术，可以在较低的成本下降低神经网络的计算代价和内存使用。目前使用最为广泛的量化技术将浮点模型转换为8位整数模型，并使用整数运算器完成网络的推理过程。量化技术目前正广泛应用于推理框架当中，大模型的压缩与部署也广泛地依赖于神经网络量化压缩，由商汤 OpenPPL 团队开发的量化框架 PPQ 是目前国内神经网络量化框架的佼佼者，其支持多个硬件后端平台的量化模拟与部署，并在此基础上抽象出一套完整的量化框架设计。我们将着重讲解大语言模型中广泛应用的量化技术，从weight only量化到groupwise kv cache量化，介绍这些技术的应用场景与性能收益。

 

听众收益：

您可了解到如何在服务器上进行网络部署以及性能调优，进而大幅降低神经网络模型的存储需求和计算成本，从而使得这些模型可以在资源要求严苛的设备上运行。通过一些在实际应用中的案例，您将更进一步地了解神经网络模型量化的实现细节与局限性。

 

演讲5：FlagEval：大模型评测开源项目

 

模型评测是模型生产生命周期中非常重要的一环，随着近年来基础模型相关理论和技术的高速发展，但传统的评测方法和基准在基础模型评测上正面临失效的困境，因此研发面向基础模型的评测方法和工具就显得更为重要。FlagEval 大模型开源评测体系创新构建了“能力-任务-指标”三维大语言模型评测框架，尝试细粒度的刻画基础模型的认知能力边界。