Investigar, mediante pruebas y pilotos, las funcionalidades que se pueden añadir a ConTexto a través del uso de diferentes arquitecturas de transformadores (redes neuronales). Se recomienda no partir de ceros sino utilizar librerías existentes, tales como la librería transformers de huggingface.