Village de 410 habitants (Les Lermois), Lerm-et-Musset est situé au centre de la Communauté de Communes de Captieux-Grignols et limité par des cours d'eau, à l'Ouest, le Ciron et au Nord, le Barthos son affluent.

Le bourg de Lerm regroupe environ 50 % de la population autour de la mairie, de l'église, de la salle Tartarin et de l'ancien foirail ombragé par des platanes centenaires.

Musset (nom dont on ne connaît pas l'origine) est le quartier distant de 4 km environ en bordure du Barthos, avec ses 7 ou 8 maisons, sa petite chapelle, son ancien presbytère transformé en gîte de France et son petit cimetière.

La forêt de pins domine à 90% le territoire communal, les terres cultivées et les prairies ne représentent pas plus de 10 % et sont réservées à la maïsiculture et à l'élevage. De nombreuses pistes forestières sillonnent la forêt, facilitant l'accès aux chasseurs et randonneurs.

Plusieurs associations animent le village : le comité des fêtes, le club du 3ème âge, le club de danse country, la gymnastique, la peinture et les sociétés de chasse et de pêche.