Javier se sitúa sobre un promontorio que domina el valle del Aragón, que en la zona hace un amplio recodo. Allí, dominador, se alza el castillo, fortaleza fronteriza con los dominios aragoneses, vinculada a diversas familias nobles locales, de las que nació, en 1506, San Francisco Javier, evangelizador en la India y Japón.
El Castillo se adoptó como museo en la década de los ochenta. Tiene diversas obras de arte, entre ellas óleos de Murillo, Coello, Carreño, y otros autores. También presenta otros elementos vinculados a San Francisco Javier y su peregrinación por el mundo. Entre las piezas escultóricas también cabe señalar un Cristo del gótico (estilo artístico siglos XII-XV) final.
