不炼大模型的互联网公司,趟出AI转型第一波经历
一水 发自 凹非寺
量子位 | 大众号 QbitAI
AI运用落地,算力缺乏仍是摆在世人面前的第一道槛。
这不,作为国产芯片规划公司,燧原科技成立时就碰上了这个老大难。
好在后来经过上云,其验证、benchmark测验功率从2周预备环境缩短至30分钟,算力足够加快了芯片研制。
△燧原科技副总裁任树峰
当下,云+AI根底设施已成为企业智能化转型的要害支撑。
在以生成式AI为代表的技能驱动下,互联网职业作为云+AI运用的前锋,现已找到了新的增加点。
详细是怎么做到的呢??
9月6日,腾讯数字生态大会「互联网AI运用专场」在深圳拉开序幕,现场人从人…(头顶飓风摩羯)
整场大会只做一件事,讲干货、讲干货、讲干货。例如:
作为C端消费玩家,值得买科技怎么让AIGC内容点击率是用户出产内容的103% ?作为国产算力前锋,燧原科技开始怎么脱节峰值算力供应难题?作为和技能没那么近的文娱职业,猫眼文娱怎么完结几十上百TB动画烘托?
话不多说,这就挑要点为咱们奉上。
关于用AI转型晋级,他们有话说
在大会现场,咱们达成了一个根本一致:
技能计划的挑选将影响AI运用的功率。
至今停止,有3条技能途径成为趋势:
结合专业范畴常识做RAGAgent将成为运用落地的首要办法云核算是夯实根底的重要底座
引证腾讯云副总裁许华彬的话来解说:
RAG结合企业自有常识,无需企业花费较多人力和算力,以及对大模型SFT精调,是其时企业级AI运用落地的老练计划。
近期来多职业场景的AI Agent蓬勃发展,面向C端的原生运用,以及B端企业级事务流程主动化,将成为后续运用落地的首要办法。
云核算是夯实根底的重要底座,云原生技能助力企业完成灵敏开发,以新技能、新市场的立异,完成增加打破。
那么问题来了,不同职业/企业怎么依据本身状况做挑选?
下面有请几位代表性玩家为咱们“现身讲事例”:
用户更喜爱点击AIGC内容了
作为聚集消费范畴的玩家,值得买科技共享了一个有意思的数据:
在最新内部测验中,经过AIGC出产的内容,它的点击率现已是用户出产内容的103%。
该公司CTO王云峰坦言,一般状况下,人们不太喜爱AI出产的内容(忧虑虚伪信息),而现在,这一点击率现已打破了旧有形象。
why??
复盘背面的原因,王云峰首要共享了值得买对AI的不同认知:
AI不只仅是一个技能,其实它本身也是一个生态。
按他的话说,假如AI纯粹是一个技能,那么AI运用落地或许意味着单纯运用通用模型;而实际上,AI不只仅是出产力,许多时分它在重塑咱们的出产流程。
放到消费范畴的AI生态,一个显着特征让它差异于金融、医疗等范畴。
在消费范畴,经历远大于常识。
也便是说,不同于金融、医疗等范畴有许多确定性的常识可供模型练习学习,用户消费首要凭仗经历,个性化十分强。
归纳下来,消费范畴的特色首要包含:
内容场景灵敏。用户消费更多凭仗个人经历而十分识,且动态改动;才干外延拓宽。消费不单指买东西本身,还有之后的一系列体会,鸿沟十分广;消费需求杂乱。消费需求杂乱多样,个性化强;
认知有了,职业特色也理清了。
所以,AIGC内容之所以能逐步赢得喜爱,答案正式揭晓:
让AI在更大程度上协助用户做功课。
值得买发现,让AI帮用户去做那些曾经要做许多功课才干处理的问题,用户点击率和阅览功率、阅览时长都会比经过AI单纯生成内容要好许多。
详细而言,值得买的做法是:推出一套AI处理计划。
包含1个“值得买消费大模型”(自研13B消费模型),“产品库”和“内容库”2大数据库,AIUC剖析引擎、AIGC生成引擎和AGENT调度引擎3个运用构建结构,以及供应针对性的AI处理计划的4类运用AI战略。
在这一计划中,上云是值得买战略的要害:
经过腾讯混元大模型等了解语音、视频、图画的多模态数据;自购算力保管+多云算力,敏捷进行模型练习和推理布置;经过腾讯云容器场景GPU虚拟化,完成对单个GPU的更细粒度区分,提高资源利用率、削减资源和人力耗费;完成10亿+条产品库与近百亿条内容库的数据处理;
芯片规划也能上云了
作为国产AI算力先行者,燧原科技副总裁任树峰一上台就回忆了创业初期面对的痛点:
对一家芯片规划创业公司来说,怎么确保峰值算力供应一直是个难题。
据他介绍,一个芯片规划项目的研制周期大概在1~2年,不一起刻对算力的需求出现波峰波谷状况。
实际状况是,公司一般会会集在两三个月内做很杂乱、压力很大的模仿仿真和各种运算。
与此一起,一般咱们以为芯片规划便是写IP或许写代码,但实际上,一家芯片公司还需求建机房、买服务器,以及办理服务器。
那么问题来了,对其时的燧原来说:
面对扩容需求,公司需求买服务器,这个进程需求工程师等候算力;并且,整个机房的建造也归于一件很杂乱的工程。
作用便是,千万级IT开支花出去了,工程师仍是由于算力不行需求等物理扩容、等算力。
后来的处理计划是:上云。
据任树峰介绍,芯片规划上云在整个职业还不太常见,原因首要是相关数据过于灵敏。
对此,燧原科技联合腾讯云打造了本地+上云的存算分离式新架构。
作用上,经过腾讯云保证燧原的峰值算力供应,燧原验证、benchmark测验功率从2周预备环境缩短至30分钟,提高作业并发100%、缩短仿真周期30%。
动画烘托更丝滑了
到了看似和技能没那么近的文娱职业,猫眼文娱副总裁徐晓也揭露了业界痛点:
在动画电影制造时,触及跨城市协作且数据量到达数十至上百TB时,运用传统网络进行传输十分缓慢。
这儿要弥补下,一般一个动画项目的服务公司和作业人员或许涣散在全国各地,需求将四散的工程文件进行汇总并一致烘托。
一般景象是,咱们只能依靠快递U盘或硬盘给对方,跨市传输至少需求1天,跨省则需2天,而跨国协作乃至或许拖延到十几天。
经过实验,猫眼依据腾讯云数据传输、数据存储安全方面才干打造了猫眼烘托渠道。
让作业者悉数用长途桌面登录到集群,集群上安装了常用作业软件。
如此一来,作业者只需长途在集群里制造,不只省去了资料交流下载环节,还能更好维护版权方。
处理了这个大问题后,再用AI去做建模……
别的,关于猫眼AI转型之路,徐晓在会中泄漏:
(咱们)没有基建建造才干,只能做一些垂类模型。
他要点共享了票房猜测这一场景,其时,猫眼能够依据单个影片特征和同期大盘预估票房。
这儿依托了依据腾讯云打造的大数据渠道。详细包含:
依据腾讯云Wedata数据开发办理渠道,供应数据集成,数据开发、数据财物办理等;依据腾讯云DLC数据湖产品,供应Serverless办法运用存储核算资源,按需主动弹性扩缩容;依据腾讯云DLC数据湖产品,供应一致湖格局存储、实时写入和更新数据入湖;腾讯云BI供应查询加快才干,联合TCHouse-D供应的高功能查询和加载报表数据到缓存,供应秒级交互式剖析才干;
数据显现,该渠道可完成日均3万+离线数仓调度使命安稳运转,中心使命履行功率提高20%。
还有哪些亮点
事实上,本次大会聚齐了SaaS、文娱、交际、营销、电商、招聘等多个泛AI运用场景,参与共享的企业还有金蝶云、趣丸科技、智谱、猎聘、筷子科技……
篇幅有限,下面只能共享部分嘉宾观点。
作为LLM的头部玩家,智谱企业商业技能中心总司理柴思远共享了:
把大模型真实变成企业出产力,有几件事值得考虑。
详细而言,企业要选一个好的基座模型,一起内部最好也有相似事务BP的人物(懂模型价值、懂事务)。
更重要的是,最好发起全员去运用AI。
真实好的运用仍是依据事务场景傍边一些原生运用,而这些运用的立异肯定是来自于自下而上的安排内部的元素。
跟着数据财物的沉积和变现,企业能够构筑本身竞赛优势。
今日咱们在大模型上落地运用,咱们做的一切的指令工程和SRT的内容,跟着这个场景越来越深化的探究,这就会成为咱们企业本身在大模型这个年代数据的财物或许是数据的壁垒。
终究是事务场景,前期或许适宜将大模型嵌入已有作业流程;更久远的,企业需求找到一些新的场景和事务形式,然后把模型的才干运用进去。
别的,趣丸技能保证负责人刘亚丹共享了:
运用AI赋能东西要回答的3个问题。
打开来说,刘亚丹首要提示AI转型也要讲ROI,即“愿意为AI转型花多少?想得到怎样的作用?”。
然后还要寻觅切入点。按他的说法:
提高3到5倍功率的工作,咱们才出资去做。
一起,依据以往向客户交给颠覆性东西的测验,他还共享了一条经历教训:
在切入点上,不要改动现有的流程。
终究,腾讯混元高档AI战略产品司理张汉策共享了怎么构建AI人物。
他们构建的《长想念》AI人物获得了成功:长想念AI人物对话总热度超3.7亿,“相柳” 单人物热度超2亿。
要点是,他详细介绍了不同练习办法踩过的坑,包含纯prompt法、RAG法,以及Agent法。
并终究总结了长想念选用的办法。
腾讯云:让企业更聚集本身中心事务
信任咱们也发现了一个华点:这些企业在AI转型晋级中都用上了腾讯云。
据了解,腾讯云具有广泛的全球根底设施,掩盖21个区域,运营58个可用区,全球服务器数量超越100万台,全球加快节点超越3200个,带宽储藏到达200Tbps。
一直以来,腾讯云都以深沉的公有云实力和分布式云战略,继续推进各行各业的数字化转型。
到现在,腾讯云AI产品已掩盖超越400家互联网头部企业,累计服务超越12万家互联网客户。
从AI运用落地面对的应战动身,腾讯云职业架构副总监邱浩共享了腾讯云AI全栈处理计划。
从根底设施层、模型层、模型加快层、机器学习渠道层、运用渠道层和事务运用层论述了腾讯云在核算、存储、网络,一站式AI开发渠道腾讯云TI-ONE以及云原出产品等方面的才干,并给出了对应不同阶段AI运用开发的详细计划。
详细而言,腾讯云供应了如下开箱即用的产品:
腾讯混元大模型。企业和个人开发者,都能够经过API直接调用腾讯混元;腾讯云TI渠道。打通从数据获取到模型练习布置、终究到AI运用开发的全流程链路;数据库TDSQL。包括金融级分布式、云原生、剖析型等多引擎交融的完好数据库产品系统,支撑数据库搬迁;大数据处理套件TBDS。可在公有云、私有云、非云化环境,依据不同数据处理需求组合适宜的存算剖析组件;
总归,一句话归纳腾讯云的作用,那便是能够让企业更聚集本身中心事务。
借用值得买科技王云峰的说法:
企业面对的不确定性不会消失,但能够让专业的人来处理。
BTW,就在大会前一天,腾讯混元发布了全新Turbo大模型,作为新一代的旗舰模型。
比较上一代混元pro,推理功能提高超越100%的状况下,本钱降低了50%,作用对标GPT-4o。
此外,新模型也支撑人物扮演、代码生成FunctionCall,以及全新推出的支撑腾讯生态整合的AI查找联网的才干。
对了,Turbo模型这一次的定价也降低了50%。
发表评论