首页 > 物理

清华大学李黄龙团队AEM：基于随机阻变阵列的稀疏自注意力机制实现方法

MaterialsViews 2024-12-24 09:08
文章摘要
本文由清华大学李黄龙团队提出，针对大语言模型Transformer中注意力机制算法复杂度高的问题，提出利用具有电导分散性的忆阻器阵列实现稀疏自注意力机制的方法。通过将随机阻变阵列作为随机哈希矩阵，在硬件上一步完成特征向量的哈希分类，从而支持注意力分数的计算仅在相似向量间执行，降低了Transformer的计算复杂度。研究者还提出利用阻变阵列中的D2D分散性和C2C随机性来进一步提高模型的准确率。实验结果表明，基于阻变阵列的稀疏自注意力机制在降低计算复杂度的同时，实现了70%以上的测试准确率。
清华大学李黄龙团队AEM：基于随机阻变阵列的稀疏自注意力机制实现方法
查看文献： Random Projection-Based Locality-Sensitive Hashing in a Memristor Crossbar Array with Stochasticity for Sparse Self-Attention-Based Transformer
查看期刊：Advanced Electronic Materials
阅读全文
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿，本站转载出于非商业性的教育和科研之目的，并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题，请作者速来电或来函联系。
推荐文献
ACS Applied Electronic Materials ACS Applied Electronic Materials
Brief Report: Increasing Intraverbal Responses to Subcategorical Questions via Tact and Match-to-Sample Instruction.
DOI: 10.1007/s10803-022-05827-1 Pub Date : 2024-12-01 Date: 2022/11/28 0:00:00
IF 3.2 3区 材料科学 Q1
ACS Applied Electronic Materials
ACS Applied Energy Materials ACS Applied Energy Materials
Issue Editorial Masthead
DOI: 10.1021/aev007i024_188102710.1021/aev007i024_1881027 Pub Date : 2024-12-23
IF 5.4 3区 材料科学 Q2
ACS Applied Energy Materials
Advanced Electronic Materials Advanced Electronic Materials
Thermal Noise-Induced Phase Transition in Multi-Domain Hf-Based Antiferroelectric Material: Fatigue and Endurance Performance
DOI: 10.1002/aelm.202400640 Pub Date : 2024-12-22
IF 6.2 2区 材料科学 Q2
Advanced Electronic Materials
最新文章
滑铁卢大学刘珏文Small Methods：小分子适配体Kd测定
滑铁卢大学刘珏文Small Methods：小分子适配体Kd测定
核酸适配体是对靶标分子有特异性结合能力的单链DNA或者RNA分子，在生物传感器、靶向药物递送、分离以及纳米技术等领域中有很好的应用前景。其中，DNA适配体因其出色的稳定性、低成本、易于修饰及结构可控等
2024-12-24
华中科技大学闫春泽J Am Ceram Soc：增材制造SiC三周期极小曲面点阵结构的工艺调控及力学性能研究
华中科技大学闫春泽J Am Ceram Soc：增材制造SiC三周期极小曲面点阵结构的工艺调控及力学性能研究
原文信息增材制造SiC三周期极小曲面点阵结构的工艺调控及力学性能研究Performance optimization of Si/SiC ceramic triply periodic minimal
2024-12-24
清华大学李黄龙团队AEM：基于随机阻变阵列的稀疏自注意力机制实现方法
清华大学李黄龙团队AEM：基于随机阻变阵列的稀疏自注意力机制实现方法
导读针对大语言模型Transformer中注意力机制算法复杂度高的问题，本文提出利用具有电导分散性的忆阻器阵列实现稀疏自注意力机制的方法。将随机阻变阵列作为随机哈希矩阵，在硬件上一步完成特征向量的哈希
2024-12-24
香港中文大学袁武、何浩培AM：纳米孔传感新策略-角惯性驱动分子易位
香港中文大学袁武、何浩培AM：纳米孔传感新策略-角惯性驱动分子易位
在过去二十年中，纳米孔传感技术因其在高分辨率分子检测和分析方面的优势，广泛应用于生物实验和临床诊断。然而，单分子易位速度和轨迹的不可控性限制了该技术所获得电信号的均匀性，这一问题严重阻碍了纳米孔传感作
2024-12-24
MaterialsViews
滑铁卢大学刘珏文Small Methods：小分子适配体Kd测定
滑铁卢大学刘珏文Small Methods：小分子适配体Kd测定 2024-12-24
华中科技大学闫春泽J Am Ceram Soc：增材制造SiC三周期极小曲面点阵结构的工艺调控及力学性能研究
华中科技大学闫春泽J Am Ceram Soc：增材制造SiC三周期极小曲面点阵结构的工艺调控及力学性能研究 2024-12-24
香港中文大学袁武、何浩培AM：纳米孔传感新策略-角惯性驱动分子易位
香港中文大学袁武、何浩培AM：纳米孔传感新策略-角惯性驱动分子易位 2024-12-24
澳门理工大学杜伟明等ETT ：元宇宙——趋势、新兴主题和未来方向
澳门理工大学杜伟明等ETT ：元宇宙——趋势、新兴主题和未来方向 2024-12-23
青岛大学任贺，中科院青岛生物能源与过程研究所徐健SMTD：基于拉曼组的肿瘤转移潜力快速预测方法
青岛大学任贺，中科院青岛生物能源与过程研究所徐健SMTD：基于拉曼组的肿瘤转移潜力快速预测方法 2024-12-23
热门类别
综合性期刊 物理 法学 地球科学 历史学
相关文章
香港城大彭咏康副教授Small：大规模合成具有可控O2活化路径和相关酶促反应特异性的Fe基纳米酶 MacMillan JACS：光催化剂实现活细胞微环境成像 Nature Catalysis：碱金属阳离子，大作用！ JACS：双氢原子转移实现内酰胺光催化去消旋化 AM：液态金属剥离制备二维纳米片
Book学术官方微信
Book学术文献互助
Book学术文献互助群
群 号：481959085
Book学术
文献互助 智能选刊 最新文献 互助须知 联系我们：info@booksci.cn
Book学术提供免费学术资源搜索服务，方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。
Copyright © 2023 Book学术 All rights reserved.
ghs 京公网安备 11010802042870号 京ICP备2023020795号-1