ASRN:用学习到的固有时间时钟实现线性内存的长程复制
ASRN: Linear-memory long-range copying with learned proper-time clock [p]
ASRN(Adaptive Sparse Recurrence Network)是一种语言模型层,通过哈希桶中每个片段只关注最近 C 个同伴并按匹配复制后续片段,实现计算量按片段有界的长程精确复制。
| ASRN (Adaptive Sparse Recurrence Network, red de recurrencia dispersa adaptativa) es una capa de modelo de lenguaje que recupera apariciones anteriores exactas con trabajo acotado por pieza: cada pieza atiende solo a sus C compañeros más recientes en casilleros de hash de signo aprendidos y copia la pieza que vino después de cada coincidencia; un reloj de tiempo propio aprendido, Bt = P u≤t βu, fija el olvido αse −κ(Bt−Bs) tanto de los puntajes de recuperación como de una intensidad autoexcitada (de Hawkes) sobre grupos de n piezas repetidos; y una puerta lee esas intensidades y una racha de repetición mediante una respuesta no monótona aprendida para decidir cuándo copiar. https://github.com/KIROKOWA/ASRN submitted by /u/Mean-Disaster8380[link] [留言] |
来源:r/MachineLearning · reddit.com