Meta (NASDAQ:META) AI acaba de publicar un preprint en el que se muestra un nuevo y radical marco "Megabyte" para construir sistemas generativos de transformación preentrenados (GPT).
Calificada de "prometedora" por Andrej Karpathy, de OpenAI (antiguo director de IA en Tesla (NASDAQ:TSLA)), la nueva arquitectura está diseñada para procesar grandes volúmenes de datos -como imágenes, novelas y archivos de vídeo- sin utilizar un proceso conocido como tokenización.
Promising. Everyone should hope that we can throw away tokenization in LLMs. Doing so naively creates (byte-level) sequences that are too long, so the devil is in the details.Tokenization means that LLMs are not actually fully end-to-end. There is a whole separate stage with… https://t.co/t240ZPxPm7