端侧大模型推理是访存受限任务,每生成一个 token 都要把权重与 KV Cache 从片外 DRAM 搬进计算单元。把这两部分数据放进非易失的 MRAM 阵列,这段跨芯片搬运就不必发生。
权重与 KV 常驻 MRAM 阵列,不再跨芯片往返
单颗 NPU+MRAM Die 的存内带宽
串行 SPI/QSPI/OSPI/xSPI 与并行 SRAM 兼容接口
同面积缓存密度,对比 6T-SRAM
易失性存储各有代价:DRAM 要周期性刷新,跨片搬运耗电;SRAM 漏电;Flash 写入慢。MRAM 用磁性阻态记住数据,断电不丢,读写按纳秒计。下面四条分别处理其中一个环节。
MTJ 的阻态由磁化方向决定,断电后保持不变。模型权重和 KV Cache 写进阵列后留在原位,生成阶段不需要每 token 读一次片外 DRAM。
算力 Die 与存储 Die 通过 UCIe 互连,按 4 / 8 / 16 颗配置。单 Die 存内带宽 500 GB/s,聚合带宽与算力随 Die 数线性增长,型号见产品矩阵。
容量覆盖 1MB ~ 1GB。串行接口 SPI / QSPI / OSPI / xSPI,并行接口兼容标准 SRAM 时序,不需要外挂备用电池或大电容。
在后端互连层(BEOL)增加少量掩模即可集成,按字节改写、无需预擦除。用于 MCU 的代码存储、CPU 末级缓存、NPU 权重池与 GPU 显存池。
端侧大模型推理是访存受限型(memory-bound)任务。传统架构每生成一个 token,都要把权重和 KV Cache 从片外 DRAM 经总线搬进计算单元,单次搬运的数据量是模型规模的数倍。天烨智芯的存算一体 Chiplet 把这两部分留在 MRAM 阵列里,省掉这一段总线往返。下面三组数字来自内部仿真,非第三方实测。
瓶颈在哪:DRAM 在片外且断电即失,权重与 KV 每 token 都要过一遍窄总线。搬运占用了大部分总线带宽和功耗预算,计算单元多数时间在等数据。
省掉的环节:权重与 KV 写入 MRAM 后断电常驻,上电即可开始生成;每 token 不需要再从片外取一次权重。多颗 NPU Die 在同一基板上并发完成矩阵乘加。
UCIe 互连的 4 / 8 / 16 Die 配置,单 Die 存内带宽 500 GB/s,权重与 KV 常驻片内。
1MB~1GB 存储颗粒 同款供货,读写按纳秒计,断电不丢数据。
BEOL 集成,28 / 22 / 12nm 节点可选,按字节改写,替代 eFlash 与片上 SRAM。
算力 Die 与 MRAM Die 通过 UCIe 互连,按需配置 4 / 8 / 16 颗。模型权重与 KV Cache 写入后常驻阵列,生成阶段不再从片外读取,带宽与功耗预算留给计算。
对应 4 / 8 / 16 颗 Die,型号与功耗见表。
单 Die 500 GB/s 按 Die 数聚合,TDP 10 ~ 40 W。
| 型号 | Die | 算力 | 带宽 | TDP |
|---|---|---|---|---|
| T10s | 4 | 256 TOPS | 2.0 TB/s | 10.0 W |
| T10 | 8 | 512 TOPS | 4.0 TB/s | 20.0 W |
| T10pro | 16 | 1024 TOPS | 8.0 TB/s | 40.0 W |
片上容量随型号为 1 / 2 / 4 GB。三者共用同一套 NPU+MRAM Die,差别在 Die 数与封装。
Tineee 容量覆盖 1MB (8Mb) 到 1GB (8Gb)。串行接口为 SPI / QSPI / OSPI / xSPI,并行接口兼容异步与同步 SRAM 时序。读写按纳秒计,擦写寿命 10¹⁴ 次,断电数据不丢。
引脚少,可直连 MCU / SoC / FPGA,无需额外 glue logic。
直接替换 SRAM 无需改时序,不需要备用电池或大电容。
Tineee 面向先进工艺 SoC。在后端互连层(BEOL)增加少量掩模即可集成,提供片上非易失存储宏与存内计算宏,待机漏电接近零。按下图选择目标处理器。
替代 28/22nm 节点的 eFlash 宏单元。按字节改写、无需预擦除,OTA 升级不必整块擦除;支持工业与车规温区的数据保持。
同一套 MRAM 阵列,四个工况下取的参数不同:无人载具要上电即出结果,具身智能要几瓦的散热预算,工业现场要掉电不丢与高擦写次数,太空要没有电荷节点可翻转。型号见下方选型表。
机载视觉导航(BEV + SLAM)起飞后没有冷启动预算。权重写入阵列后断电常驻,上电即开始推理,不用先从片外 Flash 加载一遍模型。飞行数据改用 Tineee 颗粒记录,掉电瞬间停在最后一次写入的状态,不必靠超级电容续命。
无风扇的密闭腔体里跑多模态 VLA 模型,散热预算只有几瓦。权重与 KV Cache 写入后常驻阵列,生成阶段不从片外取一次权重,总线带宽和功耗预算留给计算,动作环的延迟因此按毫秒计。
数控母机、继电保护与边缘 AI 终端长期处在强干扰与突发掉电工况。颗粒用磁态记数据,擦写 10¹⁴ 次不磨损、掉电不丢,可以把备用电池与超级电容从 BOM 里删掉;eMRAM IP 则把同一套阵列放进 MCU 与 NPU 内部。
DRAM、SRAM、Flash 都靠电荷记数据,高能粒子打进来就会把 0 翻成 1。MTJ 记的是磁化方向,没有电荷节点可供翻转;权重常驻阵列后,遥感模型在星上直接出结果,下传的是结论而不是原始帧。
延迟与功耗为内部仿真值(BEV+SLAM、VLA 14B 均为 4-bit / batch=1 / 生成阶段),非第三方实测;抗辐照指标为设计目标,以辐照试验报告为准。
| 型号 | 类别 | 容量 / 算力 | 接口 | 关键指标 | 典型场景 | 操作 |
|---|
芯片前端与验证、存储控制、后端实现、嵌入式与算法方案都在招。社招按城市与经验分列,校招面向应届毕业生,岗位信息由人力资源提供,薪资为区间口径。