L’utilité, la pertinence et l’authenticité des épreuves disponibles pour évaluer la compréhension en lecture ont été critiquées par les chercheurs, les éducateurs et les responsables des politiques éducatives. L’objectif de l’étude présentée ici était d’évaluer un nouveau type d’évaluation conçue afin de tenir compte d’une conception élargie de la lecture. Un outil d’évaluation scénarisé (Scenario-Based Assessment (SBA)) de la compréhension en lecture a été élaboré ; il est motivé par la littérature cognitive dans les domaines de la lecture, de l’apprentissage et de l’enseignement. L’outil SBA est élaboré pour mesurer les capacités des élèves à intégrer et à évaluer un ensemble de sources documentaires thématiquement reliées lorsqu’ils lisent avec un objectif principal précis. L’outil SBA permet également d’estimer la capacité des élèves à construire un modèle mental intégré, leurs connaissances antérieures relatives au thème des textes et leurs interactions sociales dans un environnement digital (e.g., adoption d’une perspective, classification et évaluation des arguments de pairs simulés). Le test SBA a été administré à 426 élèves de sixième et 161 élèves d’entre eux ont en outre été testés avec une batterie analytique des habiletés de lecture. Les résultats montrent que le test SBA a des propriétés psychométriques adaptées et d’une manière générale, les données sont en faveur de la pertinence de la conception de l’évaluation de la compréhension en lecture implantée dans l’outil SBA ; on observe de fortes corrélations entre le test SBA et les évaluations traditionnelles de la compréhension. Si les élèves se sont révélés capables de s’engager dans une variété de tâches complexes, les items estimant leur capacité à construire un modèle mental cohérent (e.g., écrire un résumé) et les tâches de littéracie digitale requérant l’intégration des informations provenant de documents multiples se sont révélées particulièrement difficiles.