Est-ce que le calcul d'un hachage MD5 nécessite moins de ressources processeur que les fonctions SHA)?
Est-ce que le calcul d'un hachage MD5 nécessite moins de ressources processeur que SHA-1 ou SHA-2 sur du matériel x86 pour ordinateur portable "standard"? Je suis intéressé par des informations générales, non spécifiques à une puce.
PDATE: Dans mon cas, je suis intéressé par le calcul du hachage d'un fichier. Si la taille du fichier est importante, supposons que ce soit 300 Ko.
Oui, MD5 est un peu moins gourmand en ressources processeur. Sur mon Intel x86 (Core2 Quad Q6600, 2,4 GHz, avec un seul cœur), je reçois ceci en mode 32 bits:
MD5 411
SHA-1 218
SHA-256 118
SHA-512 46
et ceci en mode 64 bits:
MD5 407
SHA-1 312
SHA-256 148
SHA-512 189
Les chiffres sont en mégaoctets par seconde, pour un message "long" (c'est ce que vous obtenez pour les messages de plus de 8 Ko). C’est avec sphlib , une bibliothèque d’implémentations de fonctions de hachage en C (et Java). Toutes les implémentations sont du même auteur (moi) et ont été réalisées avec des efforts d’optimisation comparables; ainsi, les différences de vitesse peuvent être considérées comme réellement intrinsèques aux fonctions.
À titre de comparaison, supposons qu'un disque dur récent tourne à environ 100 Mo/s et que tout ce qui est sur USB dépasse les 60 Mo/s. Même si SHA-256 semble "lent" ici, il est assez rapide pour la plupart des applications.
Notez que OpenSSL inclut une implémentation SHA-512 32 bits, ce qui est beaucoup plus rapide que mon code (mais pas aussi rapide que SHA-512 64 bits), car cette implémentation est en mode Assembly et utilise des registres SSE2, ce qui ne peut pas être fait en clair C. SHA-512 est la seule fonction parmi ces quatre qui bénéficie d’une implémentation SSE2.
Edit: sur cette page , on peut trouver un rapport sur la vitesse de nombreuses fonctions de hachage (cliquez sur le lien "Télécharger maintenant " lien). Le rapport est en français, mais il contient surtout des tableaux et des chiffres, et les chiffres sont internationaux. Les fonctions de hachage implémentées n'incluent pas les candidats SHA-3 (sauf SHABAL), mais j'y travaille.
Sur mon MacBook Air 2012 (Intel Core i5-3427U, 2x 1,8 GHz, 2,8 GHz Turbo), SHA-1 est légèrement plus rapide que MD5 (utilisant OpenSSL en mode 64 bits):
$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 30055.02k 94158.96k 219602.97k 329008.21k 384150.47k
sha1 31261.12k 95676.48k 224357.36k 332756.21k 396864.62k
Mise à jour: 10 mois plus tard avec OS X 10.9, SHA-1 ralentissait sur le même ordinateur:
$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 36277.35k 106558.04k 234680.17k 334469.33k 381756.70k
sha1 35453.52k 99530.85k 206635.24k 281695.48k 313881.86k
Deuxième mise à jour: Sous OS X 10.10, la vitesse SHA-1 est revenue au niveau 10.8:
$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 35391.50k 104905.27k 229872.93k 330506.91k 382791.75k
sha1 38054.09k 110332.44k 238198.72k 340007.12k 387137.77k
Troisième mise à jour: OS X 10.14 avec LibreSSL est beaucoup plus rapide (toujours sur le même ordinateur). SHA-1 est toujours en tête:
$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 43128.00k 131797.91k 304661.16k 453120.00k 526789.29k
sha1 55598.35k 157916.03k 343214.08k 489092.34k 570668.37k
La vraie réponse est: ça dépend
Il y a quelques facteurs à prendre en compte, les plus évidents étant: le processeur sur lequel vous exécutez ces algorithmes et la mise en œuvre de ceux-ci.
Par exemple, mon ami et moi-même utilisons exactement la même version openssl et obtenons des résultats légèrement différents avec différents processeurs Intel Core i7.
Mon test au travail avec un processeur Intel (R) Core (TM) i7-2600 à 3,40 GHz
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 64257.97k 187370.26k 406435.07k 576544.43k 649827.67k
sha1 73225.75k 202701.20k 432679.68k 601140.57k 679900.50k
Et le sien avec un processeur Intel (R) Core (TM) i7 920 à 2,67 GHz
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 51859.12k 156255.78k 350252.00k 513141.73k 590701.52k
sha1 56492.56k 156300.76k 328688.76k 452450.92k 508625.68k
Nous exécutons tous les deux exactement les mêmes fichiers binaires d'OpenSSL 1.0.1j du 15 octobre 2014 à partir du package officiel ArchLinux.
Mon opinion à ce sujet est qu'avec la sécurité accrue de sha1, les concepteurs de processeurs sont plus susceptibles d'améliorer la vitesse de sha1 et davantage de programmeurs travaillent sur l'optimisation de l'algorithme par rapport à md5sum.
J'imagine que md5 ne sera plus utilisé un jour car il semble n'avoir aucun avantage sur sha1. J'ai également testé certains cas sur des fichiers réels et les résultats étaient toujours les mêmes dans les deux cas (probablement limités par les E/S du disque).
md5sum d’un gros fichier de 4,6 Go a pris exactement le même temps que sha1sum d’un même fichier, de même que de nombreux petits fichiers (488 dans le même répertoire). J'ai fait les tests une douzaine de fois et ils obtenaient systématiquement les mêmes résultats.
-
Il serait très intéressant d’enquêter plus avant. Je suppose que certains experts pourraient apporter une réponse concrète à la question de savoir pourquoi sha1 devient plus rapide que md5 sur les nouveaux processeurs.
MD5 bénéficie également de l’utilisation de SSE2, consultez BarsWF puis dites-moi que ce n’est pas le cas. Tout ce qu’il faut, c’est un peu de connaissance en assembleur et vous pouvez créer votre propre routine MD5 SSE2. Cependant, pour de grandes quantités de débit, il existe un compromis entre la vitesse lors du hachage et le temps passé à réorganiser les données d'entrée pour être compatible avec les instructions SIMD utilisées.
sha1sum est un peu plus rapide sur Power9 que md5sum
$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux
$ cat /proc/cpuinfo
processor : 0
cpu : POWER9, altivec supported
clock : 2166.000000MHz
revision : 2.2 (pvr 004e 1202)
$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar
$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563 linux-master.tar
real 0m1.685s
user 0m1.528s
sys 0m0.156s
$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4 linux-master.tar
real 0m2.942s
user 0m2.806s
sys 0m0.136s
$ time sum linux-master.tar
36928 810240
real 0m2.186s
user 0m1.917s
sys 0m0.268s