Après avoir compilé ce HOWTO, j'ai commencé à comprendre pourquoi les mots de "piège" et de "mise en garde" sont si souvent associés à l'évaluation de performances.
Ou devrais-je dire des Apples et des PCs ? (ndt : pour goûter pleinement toute la finesse de ce jeu de mots, il faut quand même savoir que pomme se dit apple en anglais :-) C'est tellement évident et c'est une controverse tellement éculée que je ne rentrerai pas dans les détails. Je doute que le temps nécessaire pour booter un Mac comparé à celui d'un Pentium moyen soit une véritable mesure de quoi que ce soit. De façon similaire on pourrait parler du boot de Linux vs. Windows NT, etc... Essayez autant que possible de comparer des machines identiques à une seule différence près.
Un seul exemple suffira à l'illustration de cette erreur très courante. On lit souvent dans comp.os.linux.hardware l'affirmation suivante : "Je viens tout juste d'enficher le processeur XYZ qui tourne à nnn MHz et la compilation du noyau prend maintenant i minutes (ajustez XYZ, nnn et i selon vos besoins). C'est énervant parce qu'aucune autre information n'est fournie: on ne connait même pas la quantité de RAM, la taille du swap, les autres tâches qui tournaient à ce moment là, la version du noyau, les modules sélectionnés, le type de disque dur, la version de gcc, etc...
Je vous recommende d'utiliser le formulaire de compte-rendu LBT, lequel fournit au moins un cadre informationnel standard.
Un fabriquant de micro-processeurs bien connu a publié naguère des résultats de benchmarks produits avec une version spéciale et personnalisée de gcc. Considérations éthiques mises à part, ces résultats sont dénués de toute signification, en effet, la totalité de la communauté Linux aurait utilisé la version standard de gcc. Le même genre de considération vaut aussi pour le matériel propriétaire. L'évaluation de performances est beaucoup plus utile quand elle va de pair avec du matériel sur étagère et du logiciel gratuit (au sens GNU/GPL).
On parle de Linux, non ? On devrait donc faire abstraction des benchmarks produits sous d'autres systèmes d'exploitation (ceci est une instance particulière de la comparaison des pommes et des oranges mentionnée plus haut). Si l'on se propose d'évaluer la performance d'un serveur Web, on pourra aussi se dispenser de citer la performance FPU et toute autre information non-pertinente. Dans de tels cas, moins c'est plus. Enfin, vous n'avez pas non plus besoin de parler de l'age de votre chat, de votre humeur pendant que vous procédez à une évaluation de performances, etc...