11月24日,由开放原子开源基金会指导,OpenCloud0S、腾讯云、深圳市人工智能行业协会主办,深圳华强科创广场协办的“操作系统与AI技术应用实践沙龙·OC城市行·深圳站”在深圳华强科创广场圆满举办!
大模型时代的到来以及ChatGPT横空出世,迅速点燃了全球的AI 热潮,在冲击和颠覆传统的同时,也带来了前所未有的机遇。操作系统作为基础软件的底座,在AI大模型、框架、应用等方面也有了新的需求和方向。在此背景下,本次大会邀请到:深圳市人工智能行业协会秘书长郎立平,OpenCloudOS 社区副秘书长、运营负责人林青,深圳市人工智能行业协会副秘书长陈琳,OpenCloudOS社区核心Contributor 易林,深圳行云创新科技有限公司CEO 马洪喜,腾讯云异构计算AI研发专家工程师叶帆,云豹智能产品解决方案负责人孙传明,深圳市国鑫恒运信息安全有限公司首席技术官、资深技术专家黄翔等业界企业代表出席,并基于AI技术创新和实践案例展开主题分享。
活动正式开始前,由深圳市人工智能行业协会秘书长郎立平和OpenCloudOS 社区副秘书长、运营负责人林青分别代表主办方致辞。郎立平指出,协会自创立之初就与行业企业紧密联系,致力于推动行业高质量发展。目前协会已涵盖人工智能上下游产业链的500多家的会员企业;设有专家委员会、专业委员会,吸引国内外50余所高等院校、研究机构,近300位AI领域专家学者及16000位各领域专家加入。
林青指出,OpenCloudOS 操作系统开源社区由腾讯与合作伙伴共同倡议发起,腾讯将十余年技术积累悉数投入,为用户提供自主可控、绿色节能、安全可靠、高性能的下一代云原生操作系统。目前生态伙伴达 600 余家,包括 OS 厂商、芯片厂商、行业用户、整机厂商、云厂商和高校、开源组织,涉及 12 大行业和领域。
此次活动是协会联合腾讯云,携手 OpenCloudOS 社区举办的非常有代表性的行业沙龙活动,旨在促进行业上下游企业的沟通和合作,一起推动和建设国产开源操作系统生态,共同探索面向人工智能场景下的行业落地与应用实践。
接下来,由OpenCloudOS社区核心Contributor易林带来《大语言模型在OpenCloudOS的应用落地探索》主题分享。他从OpenCloudOS如何支持AI架构整体运行展开详细述说。并指出,在内核层面,OpenCloudOS通过支持NVIDIA驱动和AMD的显卡驱动促使AI优化运行。在上层软件生态应用方面,通过RPM包的形式对AI应用相关的支持,满足从数据处理到模型训练,再到模型部署推理等全流程需求。
深圳行云创新科技有限公司CEO 马洪喜带来《大语言模型在企业的落地场景探讨》主题分享。他表示,AI将长期存在并影响我们的生活。从企业角度出发,AI是变革企业数字时代的生产工具,大模型将应用于研发过程的各个环节,研发即将进入智能时代;AI是无所不知的企业秘书,通过AI用“说人话”方式改变与数字世界的沟通;AI是无所不能的工作助手,让繁琐的工作流程能一键式简易化。
腾讯云异构计算AI研发专家工程师叶帆带来《大模型时代AI基础设施集群最佳实践》主题分享。他表示,大模型的应用部署将面临不同的商业场景。在To C的场景下,例如在线聊天机器人chatbot和人的交付反馈必须在给定的时间内完成,典型的应用场景包括医疗咨询、教学辅导、商品导购等;在To B的场景下更多关注技术的可交付性,例如文本摘要,内容生成等。同时,不同的场景需求给大模型部署提出了挑战,叶总在会上从服务器维度的吞吐能力和请求维度的首字延迟(L1)、解码延迟(L2)、请求延迟(L3)四种性能维度提出了一个量化的评价指标。
云豹智能产品解决方案负责人孙传明带来《DPU如何支撑AI智算中心大规模运算的最佳实践》主题分享。他指出,随着数据中心数据处理的爆炸增长,CPU已经不能有效的进行所有数据处理,对DPU、GPU等异构计算的需求越来越多。当前数据中心技术趋势已然从以CPU为中心向以DPU为中心演进,DPU将成为未来数据中心的管理者。云豹智能研发的DPU SoC芯片,覆盖数据中心的裸金属、虚拟机、容器等三个主流场景,孙总对云豹智能DPU提供的统一方案展开了详细介绍。
深圳市国鑫恒运信息安全有限公司首席技术官、资深技术专家 黄翔带来《自研服务器与AI调度平台的技术实践与应用》主题分享。他指出,针对非IT行业建立自己私有的算力中心,容易遇到算力调度、服务器健康管理、应用发布等问题。为此,针对以上问题,国鑫自研的白泽整体解决方案,可一栈式完整解决算力搭配、算力调度、训练部署、应用发布、集群管理等问题。
经过几位讲师的深入分享,与会嘉宾纷纷就各自关心的问题,如大模型面临的挑战与机遇等提出疑惑,讲师以独特的视角和丰富的经验为参会嘉宾带来了解答与启示。
本次活动荟聚业界AI、操作系统领域技术专家,解读AI热点、难点,探讨最前沿技术趋势,解析最新技术研究成果,聚焦AI发展方向,相信通过本次会议的深度交流和碰撞,将会激发更多的创新灵感和思路,推动AI技术和操作系统的融合发展。