Incorporação posicional: o segredo por trás da precisão das redes neurais transformadoras
Muito longo; Para ler
Um artigo explicando a intuição por trás da “incorporação posicional” em modelos de transformadores do renomado trabalho de pesquisa - “Atenção é tudo que você precisa”. Um artigo explica a intuição. O conceito de incorporação em NLP é um processo usado no processamento de linguagem natural para converter texto bruto em vetores matemáticos. A incorporação é fazer com que a rede neural entenda a ordenação e a dependência posicional na frase. Isso ocorre porque um modelo de aprendizado de máquina não será capaz de consumir diretamente uma entrada em formato de texto para os diversos processos computacionais.