Things we learned about LLMs in 2024
En 2024, de nombreuses avancées ont été réalisées dans le domaine des modèles de langage. Les barrières liées à GPT-4 ont été franchies avec plusieurs modèles surpassant cette référence. L'efficacité des LLMs a conduit à une baisse des prix, et l'usage de données d'entraînement synthétiques a été confirmé comme efficace. De plus, les modèles multimodaux, acceptant vidéo et audio, commencent à être courants. Toutefois, certains défis subsistent, notamment la nécessité d'une meilleure critique des LLMs et un accès inégal à la connaissance.
