Bonjour,
En théorie oui, il faut que chacun de tes ordinateurs appartiennent au même réseau.
Normalement les assistants Windows sont là pour ça, et il permettent de créer un réseau très rapidement. Il faut simplement veiller à mettre le même nom de réseau, Windows propose WORKGROUP, je prefère MAISON ou BUREAU. A toi de voir

.
Ensuite pour le partage, il faut cliquer de droit sur un dossier, choisir l'onglet Partage ou cocher "Partager ce dossier", à l'appui du bouton OK, il mettra en route une mini installation qui s'occupera de tout activer correctement.
Par suite une simple navigation dans Favori réseau permet de voir les dossiers partagés sur le réseau.
Cette manipulation, bien que simple en soit, m'a toujours été aléatoire, et parfois longue (refaire la même manipulation jusqu'à ce que ça marche parfois !).
Un des facteurs est le pare feu. Si tu as un pare feu autre que celui de windows, tu peux rencontrer des problèmes. Il faut alors couper internet physiquement, puis couper le pare feu que tu as, et tester le réseau, si les ordinateurs sont en réseau, c'est bon, sinon ce n'est pas le pare feu qui empêche la connexion entre les ordinateurs mais une erreur de manipulation/configuration.
Je ne vois pas d'autres choses à ajouter pour l'instant.