Ouais, alors c'est un peu triché, en effet.
La version HTTP utilise HTTP 1.0 alors que la version HTTPS utilise HTTP/2 (vous pouvez voir ça grâce à l'outil de développement "réseau" présent dans votre navigateur préféré).
Pourquoi la page HTTP est plus lente ? La version 1.0 du protocole, en plus d'avoir une gestion assez catastrophique du cache (mais là on s'en fout) n'utilise pas la notion de connexion persistante (keep-alive) et donc il y a une connexion TCP qui s'établit et se ferme pour chaque image, ce qui rend le chargement très long.
De l'autre côté, l'HTTPS est fourni avec le protocole HTTP/2, qui est bien plus rapide, que ce soit en HTTP ou en HTTPS que la version 1.1 et antérieures (même si en fait de base vous n'avez pas vraiment le choix, les navigateurs ne proposant que HTTPS si vous utilisez HTTP/2) (mais HTTP/2 fait aussi de l'HTTP, faut juste trifouiller) (ne trifouillez que pour les tests, personne ne proposera publiquement d'HTTP avec HTTP/2).
La différence est en effet très nette, mais elle est de mauvaise foi.
HTTP/2 est extrêmement plus rapide dans tous les cas. Or HTTP/2 gère nativement le chiffrement. La différence entre HTTP et HTTPS en utilisant HTTP/2 est minime et dépend beaucoup plus de la machine qui exécute le navigateur. Avec un tel test on pourrait donc avoir des résultats où HTTP est plus rapide que HTTPS, même si c'est de l'ordre de la milliseconde.
Quitte à faire de l'HTTP/2, autant faire de l'HTTPS, surtout que l'HTTPS a d'autres avantages et que, au pire, la perte en temps de calcul est minimale (et comme je l'ai dit, aucun navigateur ne proposera de supporter HTTP avec HTTP/2).
On ne peut pas proposer un bon concept pour de mauvaises raisons, sur des tests biaisés. Le choix d'HTTPS n'est pas un choix de performance (qui est un point de vue technique) mais de vie privée (qui est un point de vue politique).
Et si vous voulez donc faire de l'HTTPS, ce que je vous encourage très vivement à faire, HTTP/2 fait du bon boulot. Mais HTTP 1.1 le fait aussi.