Un premier Hospice, du 13ème siècle, était situé vers Montauban de Luchon et appartenait aux Hospitaliers de l'ordre de Saint-Jean de Jérusalem (ordre de Malte). Ces Hospitaliers prélevaient taxes et impots aux commerçants et voyageurs qui passaient la frontière avec leur mules chargées de denrées. Pour avoir leur part du gâteau, la chrétienneté décide la construction d'un nouvel Hospice au 17ème dans la vallée de la Pique pour contrôler le passage du Port de Vénasque (col frontière à 2450 m d'altitude). Malgré l'initiative des religieux, l'Hospice a toujours été un lieu laïque car il a été géré dès le début par des grandes familles de guide Luchonnaises qui, en échange de l'utilisation des lieux (pâturage compris), devaient assurer l'entretien du passage et venir au secours des personnes en difficultés.

Au fil des décennies, l'essor des thermes de Luchon a permis à l'Hospice du Port de Vénasque (car c'est comme cela qu'il s'appelait à l'origine) de devenir un haut lieu de la bourgeoisie. De l'impératrice Eugénie au Président Vincent Auriol, le bâtiment à vu défiler nombre d'artistes et de personnalités.

En 1976, une partie de la route s'effondra ce qui obligea la fermeture de l'Hospice. Odon Haurillon décèda 2 ans plus tard. Des rumeurs sur un trésor des templiers dans l'Hospice et il n'en fallu pas plus pour que le bâtiment soit vandalisé.