Meta 开源创新大模型架构 AU-Nets - OSCHINA

Meta 开源了更始大模子架构 AU-Nets（Autoregressive U-Nets），其通过自回归 U-Net 架构彻底调换了守旧言语模子的分词和统治形式，可能直接从原始字节动手练习，动态将字节组合成单词、词对以至众达四个单词的组合，变成众标准序列示意。

AU-Nets 的策画灵感来历于医学图像瓜分界限的 U-Net 架构，包蕴怪异的缩小道途（压缩字节序列为高方针语义单位，提取宏观语义音讯）和扩张道途（逐渐还原高方针音讯到原始序列长度，协调部分细节），并通过跳跃相连确保音讯不遗失，晋升天生才气和预测切确性 。正在推理阶段，AU-Nets 采用自回毕命生机制，确保文本天生的连贯性和切确性，同时普及推理结果。