La rue Cavallers était la rue dans laquelle vivaient toutes les familles nobles de la ville au Moyen Âge. Cette maison, au numéro 14, a été construite au XVe siècle pour l’une de ces familles. Cependant, elle a subi de nombreuses périodes de restauration et de rénovation, au cours des siècles. Aujourd'hui son apparence reflète en grande partie les modifications apportées aux 18e et 19e siècles. Au 18e siècle, le bâtiment fut acheté par Carles de Castellarnau et, sous sa direction, d'importants changements furent apportés à la façade, à l'intérieur et à la disposition du bâtiment.




