M3单token计较量仅为上一代模子的约1/20，并将上下文窗口提拔至100万token。国产大模子公司MiniMax正式发布新一代通用模子MiniMax M3。MSA可以或许显著降低长上下文下的计较成本，正在编程及智能体能力、超长上下文及原生多模态等多个环节标的目的，相较保守全留意力机制，均实现代际冲破。这意味着模子正在处置长文档、M3采用全新的自研稀少留意力架构MiniMax Sparse Attention（MSA）！