Le site du village est occupé dès l’époque gallo-romaine. En effet, il se trouve sur la voie romaine qui relie Nasium au châtelet de Fontaine sur Marne (Haute-Marne). L’architecture du village est typique des villages de plateaux, avec ses rues larges et aérées des maisons de constructions traditionnelles.
Rue du Puits de la Saulx est encore conservée une maison paysanne construite en 1600. Sa façade est constituée de portes et fenêtre en pierre de taille avec linteau incurvé et d’une porte charretière ronde.
Le village est encadré par la forêt de Ligny en Barrois à l’ouest qui s’étend sur 20 kilomètres du nord au sud et de bois à l’est. Pour accéder à n’importe quel village alentour depuis Villers le Sec, il faut nécessairement passer par les bois. Les habitants s’adonnent aux activités liées à la forêt. Ils sont majoritairement bûcherons, scieurs de long, charbonniers, charretiers, grutiers, ébéniste ou fabricant de meuble.
Des mines de fer sont exploitées dès le Moyen-Âge et fournissent aussi des activités aux habitants. Le fer est envoyé dans les hauts fourneaux de Naix, de Morley, de Dammarie sur Saulx, du Bouchon sur Saulx. Ces mines sont abandonnées en 1889.
Le nombre d’habitants est de 139 en 2015 mais le village comptait plus de 500 habitants au XIXe siècle.
En 1838, le sculpteur Antoine Varlet et son fils Nicolas Léon réalisent trois croix qui marque chacune les trois entrées de la commune. On trouve la marque des sculpteurs Varlet sur beaucoup de calvaire et dans les cimetières des environ jusqu’en Haute-Marne. Ils n’utilisaient que la pierre de Brauvilliers ou de Savonnières.
Villers le Sec est un village de l’ancien diocèse de Toul. L’église de Saint-Libraire est construite en 1851. On y rouve trois sculptures du XVIIIe siècles en pierre polychrome : la Vierge, Saint-Nicolas et Saint-Claude. Un bas relief daté de la même période retrace le martyr de la sainte. Ces objets se trouvaient dans l’ancienne église du village.
En 1880 est créée une voie ferrée entre les villages de Naix et Güe. En 1885, une halte pour voyageurs et marchandises, en petite vitesse est établie. En 1935, le trafic des voyageurs s’interrompt, celui des marchandises se poursuit. Durant la Seconde Guerre, les Allemands utilisent la ligne pour constituer un dépôt de munitions dans la fôret de Ligny en Barrois. La ligne est fermé en 1969. Désormais il ne reste de la ligne de chemin de fer qui passait respectivement par Longeaux, Villers le Sec puis Dammarie sur Saulx qu’un chemin visible à certains endroits car il surplombe ou est surplombé légèrement par le relief environnant.
