DeepSeek新发布的DSpark有多强人工智涨ultra的行业观察
DSpark是一套升级版投机解码(Speculative Decoding)
用模型内的一个类似有快速预测能力的半自回归的分之,先生成一堆Token,再用主干模型批量校验。
再批量输出。。。
这个东西的核心就是:并行投机解码
同时并行生成多个Token,要比多次重复生成多个Token所需要的总算力低很多。
适合大规模对话场景。。。
DeepSeek新发布的DSpark有多强人工智涨ultra的行业观察
DSpark是一套升级版投机解码(Speculative Decoding)
用模型内的一个类似有快速预测能力的半自回归的分之,先生成一堆Token,再用主干模型批量校验。
再批量输出。。。
这个东西的核心就是:并行投机解码
同时并行生成多个Token,要比多次重复生成多个Token所需要的总算力低很多。
适合大规模对话场景。。。