Smješten na brežuljku od 222 metra nadmorske visine, gradić Buje dominira nad okolnim zelenim terasastim poljima, a zbog svog strateškog položaja nazivali su ga stražarom Istre.

Gradić je okružen cijelim nizom brežuljaka na kojima su se već u brončano doba naselila različita plemena, a u željezno doba su u svoje prethistorijske gradine došli Histri. S osnivanjem rimske vladavine teritorij postaje Agro della Colonia di Trieste koja biva uključena u Regiju Venetia et Histria. U doba najezde barbara stanovništvo pronalazi utočiste u utvrdama podignutim na ravnim dijelovima brežuljaka. Odatle porijeklo bujskom utvrđenom kaštelu.