A droite en montant la grande rue, se trouve l'ancien collège des jésuites. La chapelle date de la seconde moitié du XVIIe siècle, et les autres bâtiments ont été reconstruits entre 1880 et 1889 ; les locaux abritent désormais le lycée Augustin Cournot (philosophe et mathématicien né à Gray en 1801). Le bâtiment ne se visite pas.