Il y a une grosse différence, ne serait-ce que la capacité de RAM gérable par l'un ou l'autre (limitée à 2,3Go-3Go en 32 bits), mais le noyau Linux a très rapidement intégré la fonction
PAE, ce qui a permis aux systèmes 32 bits d'adresser autant de mémoire vive qu'un système 64 bits (*). Cela a réduit considérablement le différentiel de performances, qui peut t'apparaître minime en utilisation courante.
La différence principale, c'est qu'un OS en 32 bits ne pourra pas faire tourner des applications en 64 bits, alors qu'une version 64 bits gère les deux. Comme le 32 bits est de moins en moins prévu par les concepteurs d'applications...
(*)Windows, après avoir intégré la fonction PAE dans les premières versions de Windows7, y a renoncé et préconise l'utilisation de sa version 64 bits.