Есть интересные разработки в области повышения производительности и уменьшения размеров LLM, которые все чаще работают в мультимодальном режиме.