联系客服下载宝宝计划、计划之家免费版。qq 1430490332
宝宝计划软件是一款精准的数据分析软件，能够利用Deepseek的先进算法、ChatGPT4.0等AI工具的大模型进行数据建模，帮助客户识别项目中...
联系客服下载宝宝计划、计划之家免费版。qq 1430490332
宝宝计划软件是一款精准的数据分析软件，能够利用Deepseek的先进算法、ChatGPT4.0等AI工具的大模型进行数据建模，帮助客户识别项目中的趋势、问题和机会，从而做出更好的决策。
本文仅介绍几个关键词：
关键词一：多头潜在注意力MLA
多头潜在注意力（Multi-head Latent Attention），是DeepSeek在推理成本上大幅降低的关键创新。
在传统的Transformer架构中，通过多头注意力机制（Multi-head Attention），模型可以同时关注输入的不同部分，每个attention head都会独立学习输入序列中的特征。
但是当序列长度显著增加时，键值（KV）缓存也会大幅增加，从而带来巨大的内存负担。
为了解决这个问题，DeepSeek创新性地提出了多头潜在注意力MLA机制。通过低秩联合压缩技术，将多个输入向量压缩为一个隐藏向量（Latent Vector），从而减少了93.3%的键值缓存。
同时，DeepSeek还通过Multi-token Prediction机制，同时预测多个token，而非逐个token进行预测，大幅提升了模型预测的效率。
关键词二：专家混合模型MOE
专家混合模型，是一种将多个专家模型组合在一起，以提高模型性能的架构。
MOE包括多个专家网络和一个门控网络。每个专家网络都是独立的模型，负责处理特定领域的问题。门控网络的作用则是根据输入来确定每个专家网络的权重，从而路由给合适的模型进行处理。
在DeepSeek模型中，有一个专门的MOE层，包括了动态路由机制和专家共享机制。
通过动态路由机制，每次输入会选择性地激活部分专家模型，而非同时激活所有专家模型，从而提升计算的效率。同时，通过专家共享机制，在不同层之间可以共享部分专家模型的参数，从而减少模型冗余。
关键词三：负载均衡优化
MOE架构其实早在2021年就提出来了，但一直没有特别好的实践案例。因为如果要用MoE架构去训练一个超大的模型，存在计算复杂度高、训练难度大等问题，其中最大的挑战是负载均衡。
为了解决这个问题，DeepSeek提出了一种非常创新的策略，Auxiliaray-Loss-Free Load Balancing。
这个策略的核心是，当给一个输入token计算该路由到哪个专家模型的时候，会加上一个专家Bias。如果发现某个专家模型处于过载状态，就会降低它的Bias；如果发现某个专家模型处于闲置状态，就会增加它的Bias。
这个思想和服务器集群的负载均衡是相似的，通过这种策略让多个专家模型实现均衡，从而提升整体模型的利用率。
关键词四：模型蒸馏
模型蒸馏，是将一个复杂且性能优异的“教师模型”的知识，迁移到一个简单的“学生模型”，使学生模型在保持较高性能的同时，还能显著减少模型的参数规模和计算成本。
模型蒸馏的核心思想是利用教师模型输出的软标签（即概率分布），而非硬标签，来指导学生模型的训练。这样，学生模型不仅能学习到数据的类别信息，还能够捕捉到类别之间的相似性和关系，从而提升其泛化能力。
模型蒸馏主要包括四步骤：
训练教师模型：首先使用Transformer模型，训练一个性能优异但通常较为庞大的教师模型。
生成软标签：使用教师模型对训练数据进行预测，获得每个样本的概率分布。
训练学生模型：设计一个较小的学生模型，并使用软标签以及硬标签共同训练。
优化与调整：通过调整温度参数、损失函数权重等超参数，优化学生模型的性能，使其尽可能接近教师模型。
DeepSeek是完全原创还是蒸馏了一部分其他模型，目前众说纷纭，但风叔认为这个并不重要。
第一个做出蒸汽机的是英国人纽可门，用来进行矿井抽水，效率非常低。瓦特在修理纽可门蒸汽机时，进行了重大创新和改进，发明了瓦特蒸汽机。从某种程度上来说，瓦特也是“蒸馏”了纽可门蒸汽机，但并不能因此否认瓦特的贡献，否则科技史上的那些创新都要被打上“蒸馏”的标签了。
