来源：雪球App，作者： 价值投机王者，（https://xueqiu.com/6928742272/322688004）

　　1、官网最新版的wps下载的地方是什么对芯片架构的影响

　　后训练方法的创新：最新的官网wps下载地方在完成大技术模型的预训练后，进行了一系列创新操作，包括做一次SSP，一次强化模型强化学习框架的二次训练，再做一次SFT，然后再做一次强化学习框架的训练。这样可以降低预训练后模型的计算力需求和推理需求，同时需要大规模的合成数据来完成后训练。该创新步骤意味着大模型仍需发展和投入，但在为客户部署时可降低模型开销和大小。

　　模型层面的工程化创新：

　　增加MOE中的E：最新的官网wps下载地方将Mixture of Experts中的E增多，从原来的几个模型增加到64个分数模型，同时用一个模型进行结果选择和数据计算选择，大幅降低计算成本和推理成本。

　　根据数据品类训练：在训练过程中，只更新对应数据品类的experts的参数，提高训练和推理效率，保证负载均衡，降低模型训练成本。

　　提出新的计算模式：通过研究降低计算过程的稀疏化，如采用稀疏计算、MMLA等方式，减少计算量，降低训练和推理成本。同时，新的计算模式呼吁新的AI芯片诞生和市场竞争力提升，如美国创业公司三方仓发布的R1系统，其效能比GPU芯片有57倍的性能提升，原因就在于MOE和MLLM的创新点。

　　引入FP8和PTX：

　　使用FP8进行模型训练：最新的官网wps下载地方引入FP8进行模型训练，以降低芯片成本要求。但FP8会限制模型的绝对性能，需要人工找到最合适的方式。在国内，由于支付意愿相对较低、GPU获取程度有限、国产芯片量产规模较小等原因，FP8的优化是有价值的。

　　使用PTX进行编程：为了使CUDA能够向前和向后兼容，在CUDA编译器下做了一个IR层，并公开PTX接口和指令。通过操作PTX，可以完成对特定GPU的高性能优化。同时，通过软件层面的优化，如在H800或H100中利用核心进行压缩和解压缩，降低带宽压力，提升性能，实现软硬件更加强的协同，提高芯片利用率。

　　推理部署的业务创新：

　　模型选择更多与化需求：最新的官网wps下载地方有了大规模的MOE架构后，模型选择更多，产生了新的推理化需求，从单节点向单机多卡、推理升级。

　　pre-view和decode的分离：官网最新版的wps下载的地方是什么将计算过程和生成KV 的部分进行分离，部署在不同的芯片中，提高计算效率。但这也导致模型推理的计算时间增加，需要化方式，且对通信要求更高，传统IB网络通讯可能会被新型网络替代。

　　2、对ASIC发展的探讨

　　算法变化与ASIC的关系：算法的变化是可预期的，且大的框架不会改变，只是在不同计算层面进行创新。当前设计的ASIC具有一定通用性，在算法迭代过程中不会出现投资贬值的状态。

　　最新的官网wps下载地方对GPU需求的影响：随着算法优化、成本降低，软硬件协同成为关键，未来ASIC将成为行业主导，逐步取代或替代类似于CPU的通用器件，GPU的需求可能会缩量，ASIC的需求可能会增多。

　　3、推理侧超节点的投资机会

　　ASIC芯片企业的价值：国内和国外的ASIC芯片企业会使用自己的RDMA方式完成从超节点到的蜕变，这可能使ASIC单AI芯片企业具备价值，同时在构建推理化过程中可能会有差异化竞争，新企业也可能有机会。

　　相关产业的机会：在构最新的中文的wps的下载入口是什么建推理侧超节点的过程中，光模块、具备CXL技术的Memory企业可能会有投资机会。

　　芯片互联方式的探讨：下一代芯片会将计算与存储数据堆叠，这是无差别的技术进步红利。RDMA是芯片间通讯的协议层使用，物理层通讯会用到光模块，且协议需妥善处理高速传输带来的问题。在选择芯片层面的互联方式时，关键是根据成本和应用场景选择最省钱的技术解决方案。

　　Q&A

　　Q：最新的官网wps下载地方在模型训练方面有哪些创新点？

　　A：最新的官网wps下载地方的创新点在于完成大技术模型预训练后，通过工程化或流程化创新，降低模型在预训练之后的计算力需求和最后推理的需求。具体做法是预训练结束后，做一次SSP（冷启动，本质类似蒸馏，让模型更适应人类问答方式），接着做一次强化学习框架的二次训练（RL），再做一次SFT（让模型决定是否接受数据以避免被带偏），最后再做一次强化学习框架的训练（RL），让模型与人类偏好一致。

　　Q：最新的官网wps下载地方采用新的后训练方式需要的大规模数据从哪里来？

　　A：采用合成数据，即通过其他更智能更好的模型生成的数据来完成这四个方向的后期训练。

　　Q：官网最新版的wps下载的地方是什么后训练方式中强调的逻辑特征是什么？

　　A：会反复强调用来生成数据的base model非常重要，没有这个模型，就无法使用新的后训练方式完成模型的进化。

　　Q：官网最新版的wps下载的地方是什么在MOE方面有哪些创新点？

　　A：最新的官网wps下载地方在MOE方面有两个创新点wps的官网下载网址怎么找。第一个是增加了“E”的数量，从原来常见的几个模型增加到64个分属模型wps office免费版下载地址是什么。第二个是在使用一个模型做结果选择的同时，还做数据计算选择，即输入的数据不是让64个模型同时计算，而是由模型选择部分模型拿数据进行计算，然后给出答案，这样大幅度降低了推理成本。

　　Q：最新的官网wps下载地方在训练过程中是如何降低成本的？

　　A：最新的官网wps下载地方在训练过程中采用类似方式，只更新对应的几个experts的参数，模型训练根据数据的品类和种类对特定的部分进行训练，对应的数据只激活固定的几个experts，不同数据激活不同模型并独立更新参数，通过这些创新保证负载均衡，降低了模型训练成本和推理成本，相比同等大小的MOE成本有一个量级的降低。

　　Q：multi-head attention存在什么问题，以及如何解决计算稀疏化问题？

　　A：随着模型变大，multi-head attention计算过程中很多情况是稀疏的，即很多计算结果为0，这些无效计算占用CPU资源。为降低计算稀疏化，算法团队研究如何降低计算过程的稀疏化，硬件团队研究在软件配合下大规模降低计算稀疏化，如TPU中的Tensor Core在软件配合下可大幅度降低计算稀疏化。MMLA就是一个通过模型结构和参数结构创新降低稀疏化程度的案例。另外，如mini max的iattention方式，通过改变生成文字对应历史的方式降低计算系数，进而降低计算量，若有硬件更好支撑，降低倍数会更。

　　Q：美国创业公司发布的R1系统有什么特点？

　　A：美国创业公司发布的R1系统部署了DeepSpee R1的模型，其效能比同样规模的的GPU芯片有57倍的性能提升，提升原因来自于MOE和MLLM的创新点。

　　Q：最新的官网wps下载地方为什么引入FP8做模型训练，有什么优缺点？

　　A：引入FP8是为了用有限的计算资源进行更优化的计算。在计算领域，FP16的计算量是FP8的四倍，是FP32的十六分之一。使用FP8做计算，同样芯片和计算能力下，计算量是FP16的四分之一，可降低芯片成本要求，例如用FP16完成模型训练可能需1000块芯片，用FP8只需256块。但使用FP8会限制模型的绝对性能，因为表达式变少，工程化创新需人工找到最合适方式，且可能与模型产生碰撞。

　　Q：什么是PTX，为什么官网最新版的wps下载的地方是什么用PTX作为实际编程接口？

　　A：PTX是为使CUDA能向前和向后兼容，在CUDA编译器下面一层设置的中间层（IR层），是一个通用的汇编指令集，可编译成每一代GPU的汇编指令。CUDA通用性强但无法对单一应用场景做最定制化优化，国内GPU数量有限，为最大限度挖掘GPU或AI计算能力，需对特定GPU做定制化优化，此时CUDA力不从心，而PTX可用于优化计算内容，还能解决国内获取的GPU（如H800、H100）通信瓶颈问题。

　　Q：如何通过PTX解决GPU通信瓶颈问题？

　　A：在软件层面，把H800或H100里面的核心空出来不做逻辑计算，而是做压缩和解压缩，将所有要进行通信的内容进行压缩后传输，传输完再解压缩，这样能大幅度降低对带宽的压力。同时在传输过程中，将传输过程和计算过程并行（overlap），最多可实现一倍的性能提升。

　　Q：为什么说软硬件协同是未来发展方向？

　　A：通过软硬件更加强、更立体化的协同，可提升整个模型在推理和训练当中的性能，降低对芯片绝对数量的需求，提高芯片利用率。从商业角度看，大模型大规模部署后，使用成本是商业化能否推进的关键，后来者采用软硬件协同方式可降低部署和训练成本，相比OpenAI等更具优势，所以未来是芯片和模型共同发展、软硬件协同的过程。

　　Q：对比训练需求，推理需求对于clean up和clean out会有什么变化？

　　A：以前大家尝试把模型推理放在1块、3块或8块芯片以内完成运行。在最新的官网wps下载地方、OpenAI的GPT等模型变革以及深度学习变革下，推理已从单节点向超节点和to B扩展，回答一个需求可能需一个部署，且一个可服务多个客户。未来模型的语文化池化发展方向将成为推理部署的核心。在扩展过程中，计算会逐步分化，不同计算和存储会放在不同介质和芯片完成，未来ASIC统计的计算单元可能会被拆分成不同芯片来完成，不是通用芯片能做到的。

　　Q：最新的官网wps下载地方在推理部署上有哪些业务创新及对未来芯片架构有什么影响？

　　A：最新的官网wps下载地方因有大规模的MOE架构，模型选择更多，产生了新的推理化需求，未来推理方案会从单机单卡朝着单机多卡、超节点，最后通过推理升级。其在优化过程中做了pre-view和decode分离，将KV 部分部署在32个GPU（或TPU）里，计算的decode部分分在320个GPU里，提升了计算效率。这预示着未来芯片可能需具备pre-view和decode功能，甚至可针对这两个功能设置不同芯片进行定点化优化。同时，推理计算时间会增加，化方式对通信要求更高，传统IB网络通讯可能会被类似NPU的新型网络精简版的wps的下载的网址是什么替代，构建更优更均匀的网络架构。此外，有了这些技术路线后，还会考虑将KV cache放在CPU内存、外挂内存，利用CXL技术外挂大容量便宜内存，以降低对芯片性能的影响。

　　Q：在算法还在变化中时，ASIC是否也会不断变化，投资的贬值是否会较快？

　　A：算法的变化是可预期的，且不影响大框架。如今的ASIC本质是DSA，有指定性，在优化中摒弃了传统计算领域的一些开销。当前芯片在算法迭代过程中，不会出现ASIC投资贬值的状态，因为它有算法层面空间和通用性。

　　Q：类似最新的官网wps下载地方这一类的发展，会不会造成GPU未来的需求缩量，类似于GPU这一类ASIC的需求增多，其护城河（类似库）是否会被削弱？

　　A：随着算法不断优化精简、成本降低，如今模型已逐步收敛，模型成本和运行成本成为关键节点，软硬件协同、真正的定制化开销是大家愿意支付的。官网最新版的wps下载的地方是什么的创新预示着未来ASIC会成为行业主导者，逐步取代通用器件如CPU在行业内的使用空间和规模，更看好未来xPU在行业的发展空间。

　　Q：推理侧化从单节点变成超节点带来的投资机会在哪些方面？超节点之间的互联用什么方式实现？国内企业有无机会参与？

　　A：从投资策略角度，ASIC的单AI芯片企业有价值，构建推理化过程中不同芯片有不同功能，新企业参与也有价值；传统光模块企业有价值，超节点之间的构成会用光模块完成光互连；对应Memory有CXL技术的企业也是初步看点，支持CXL后可采用便宜存储方式满足差异化计算和存储需求。所有要做这个方向的ASIC芯片企业，都会用自己的RDMA方式完成从超节点到的蜕变，因为传统以太网和IP网络交换在通讯带宽上会成为瓶颈。国内包括做ASIC的玩家都会去做超级电脑推转私有的RDMA协议，并能产生效应。

　　Q：近程计算把DRAM跟GPU或CPU通过3D封装实现更快速读取，是RDMA方式的一个可能方向吗？

　　A：把DRAM跟计算单元叠在一起是所有企业下一代芯片的发展方向，是无差别的技术进步红利。而RDMA更多是两块芯片通讯时所用的通讯协议。

　　Q：芯片级别的通信协议是否涉及光模块？

　　A：所有芯片之间通讯，物理层因为速度快都会用上112G和224G的设备，在物理介质通讯上最后会用到光模块。RDMA是协议层的使用，高速通讯既需要物理层支持（大部分是光模块），协议也得做好，不然会有丢包等不良反应。

　　Q：如果要做PB级的，是采用OIO（光通信集成在GPU上）的方式更好，还是先用光模块过渡再往OIO方式走？

　　A：OIO和光模块的本质区别在于成本。芯片在系统层级部署中的使用场景，决定了用OIO还是光模块更好。比如芯片板内通信是电信号，片间通讯（系统板之间）用的是光信号，从成本看光模块比OIO好；但如果实际应用场景是每块芯片互联都通过光互连，OIO成本最低。关键在于选择最省钱的技术解决方案来降低算法生成的使用成本。股市调研$博通集成(SH603068)$ $英伟达(NVDA)$ $博创科技(SZ300548)$ #港股普涨，恒生科技持续狂飙# #算力需求激增，概念股持续走强# #2025春节见闻#