无需矩阵乘法，在 FPGA 上实现低功耗、高性能的 LLM
UC Santa Cruz, Soochow University, UC Davis 和 LuxiTech 发表了一篇题为“可扩展的无 MatMul 语言建模”的新技术论文。
“矩阵乘法 (MatMul) 通常占据大型语言模型 (LLM) 总体计算量的主导地位。随着 LLM 扩展到更大的嵌入维度和上下文长度，此计算量只会增加。在这项工作中，表明 MatMul 操作可以完全从 LLM 中消除，同时在十亿参数规模下保持强劲性能。实验表明，我们提出的无 MatMul 模型实现了与最先进的 Transformers 相当的性能，后者在推理期间需要更多的内存，规模至少达到 2.7B 参数。我们研究了缩放规律，发现我们的无 MatMul 模型和全精度 Transformers 之间的性能差距随着模型尺寸的增加而缩小。我们还提供了此模型的 GPU 高效实现，与未优化的基线相比，在训练期间可将内存使用量降低高达 61%。通过在推理过程中使用优化的内核，与未优化的模型相比，我们的模型的内存消耗可以减少 10 倍以上。为了正确量化我们架构的效率，我们在 FPGA 上构建了一个自定义硬件解决方案，该解决方案利用了 GPU 无法处理的轻量级操作。我们以超出人类可读吞吐量 13W 的功率处理了十亿参数规模的模型，使 LLM 更接近类似大脑的效率。这项工作不仅展示了 LLM 可以在大程度上精简同时仍然有效运行，而且还指出了未来加速器在处理下一代轻量级 LLM 时应该优化的操作类型。代码实现:
https://github.com/ridgerchu/matmulfreellm
技术论文（预印本）
https://arxiv.org/abs/2406.02528
大学新闻摘要
https://news.ucsc.edu/2024/06/matmul-free-llm.html
来源：
Zhu, Rui-Jie, Yu Zhang, Ethan Sifferman, Tyler Sheaves, Yiqiao Wang, Dustin Richmond, Peng Zhou, and Jason K. Eshraghian. “Scalable MatMul-free Language Modeling.” arXiv preprint arXiv:2406.02528 (2024).
Lattice将固定硬件的安全性与 FPGA 的灵活性相结合
莱迪思半导体公司是低功耗、低成本 FPGA 行业的长期参与者，最近发布了 MachXO5D-NX 系列。该中端系列将低成本、低功耗与各种外设和安全功能相结合，使其适用于安全边缘设备。
该三款芯片系列：
FMXO5-25：27k逻辑单元
LFMXO5-55T : 53k 逻辑单元
LFMXO5-100T：96k 逻辑单元
该系列的其他功能包括 20 到 156 个 sysDSP 18x18 乘法器和 1.9 Mb 到 7.3 Mb 的 EBR 或 LRAM 形式的嵌入式 RAM。该系列还拥有 200 到 300 个高性能、宽范围和多电压 I/O。
MachXO5-NX DSP 模块和寄存器布局
信任根 (RoT) 是芯片上的安全区域，其中包含用于加密功能的密钥。MachXO5D-NX 系列成员配备硬硅加密引擎，该引擎具有高级加密标准 (AES)、散列算法和真随机数生成器 (TRNG)。每个都包含一个唯一的秘密身份 (USID)，以保护设备身份，从而提高安全性。
MachXO5-NX DSP 加密引擎框图
来源：https://www.latticesemi.com/about/newsroom/pressreleases/2024/lattice-introduces-new-secure-control-fpga-family
小型 FPGA 面向 4K 视频接口，配备硬核 MIPI C-PHY
今年在Sensors Converge 2024上，高云半导体发布了一款新型FPGA——GW5AT-15，该设备内置硬核MIPI接口。
EETech 工程总监 Dale Wilson（左）在 Sensors Converge 2024 上会见了 Gowin 首席执行官 Jason Zhu，以了解有关该公司最新 FPGA 的更多信息
随着电子设备尺寸缩小、性能提升，设计人员必须在处理器面积和功能之间取得平衡。GW5AT-15 是 Gowin 基于 SRAM 的 Arora V FPGA 的最新成员，可帮助设计人员快速高效地传输数据，而无需使用笨重的设备。
GW5AT-15 FPGA 包括三通道 MIPI C-PHY（5.75 Gbps/通道）、四通道 PCIe 3.0 和四通道 MIPI D-PHY（2.5 Gbps/通道），适用于高速应用。板载 USB 3.x 和 2.x PHY 进一步扩展了设备的实用性。
MIPI C-PHY 眼图突出显示了使用硬核 PHY 所带来的性能提升，使设计人员能够根据自己的需求分配更多的逻辑单元 
GW5AT-15 的紧凑特性使其能够融入更多设计中
Jason Zhu表示：“我们站在 FPGA 行业巨人的肩膀上，但我们仍将继续寻求为行业带来新的想法。”
MiSTer FPGA 现已支持 Sinden 光枪
目前支持 NES、SNES、Genesis 和 PS1 核心。
MiSTer 完全支持 Sinden，这意味着现在可以按照原有的方式玩《Duck Hunt》、《Time Crisis》和《Battle Clash》等光枪游戏。
https://github.com/MrLightgun/MiSTerSindenDriver
上面链接中有完整的安装指南，长话短说，在做使用之前，需要确保你的 Sinden 运行的是最新的 v1.09 固件。
核心目前仅限于 NES、PS1、Mega Drive / Genesis 和 SNES，但是这绝不是最终成品，因此不要期望所有这些核心都具有 100% 的兼容性。
然而，核心和驱动程序的开发工作仍在继续，预计未来将添加 Master System、Sega CD 和 Saturn 支持。
“我们正在等待世嘉的回复”——SuperSega FPGA 游戏机团队正在讨论价格、发布日期等
SuperSega 承诺将通过 Virtex Ultrascale+ FPGA 芯片运行 Master System、Mega Drive、Saturn 和 Dreamcast 游戏。
据负责该项目的克里斯蒂娜·布尔格斯 (Cristina Burgués) 介绍，SuperSega 的诞生就是为了通过一款能够运行世嘉所有经典软件的一体化“超级游戏机”来扩展统一游戏库这一概念。布尔格斯开玩笑地补充说，“SuperSega”与“Super Nintendo”形成鲜明对比。
SuperSega 首席工程师 Alejandro Martin
SuperSega 声称能够使用 FPGA 复制 Dreamcast 级别的性能，Burgués 回答说“一些游戏”已经启动并运行，并且 Ultrascale+ 有“100K-200K 个逻辑单元可以模拟 Dreamcast 行为”。
由于原型板仍在开发中，因此发布日期有些难以确定。“我们预计这些板将在假期后完成，也就是 9 月到 10 月之间。之后，我们将专注于完成 FPGA 核心，然后是 GUI。我们希望在今年年底前筹集资金或以其他方式获得资金。目前，我们的工作仍在进行中。”
抗辐射 MCU 可在太空中实现 FPGA 重构
AMD 和 Vorago Technologies 携手合作，支持 AMD 太空级 Kintex UltraScale FPGA 与 Vorago 抗辐射微控制器的重新配置。
Vorago 抗辐射 ARM Cortex-M4 MCU（例如 VA41620）允许通过 AMD 的串行重新配置接口在运行中管理更新，从而简化了 FPGA 的重构（相对于传统方法）。
凭借高达 300 krad(Si) TID 和 >110 MeV*cm2/mg 的 SEL，抗辐射 MCU 可提供抗辐射能力，以承受太空中遇到的恶劣条件，适用于系统级单事件监控和电机控制等应用。
优秀的 Verilog/FPGA开源项目介绍（十二）- 玩FPGA不乏味
