Názov obce Svätý Anton pochádza od svätého pustovníka Antona, ktorého postavu má obec aj vo svojom erbe. Uvádzajú sa aj ďalšie názvy obce: Sand Anthony, Zenthanthal, Scent Antollo.
Dominantou obce je barokovo-klasicistický kaštieľ z 18. storočia. Kaštieľ slúži ako múzeum od roku 1962, v súčasnosti sa v ňom nachádza umelecko-historická a poľovnícka expozícia. Každoročne sa v obci konajú Dni svätého Huberta, sviatok lovu a poľovníctva. Romantické okolie kaštieľa je dielom štiavnického staviteľa Františka Hausnera. Štýlový barokový anglický park so zatrávnenými terasami, záhonmi kvetín, kríkmi i cennými stromami, umelými jazierkami a jaskyňou prechádza do uvoľneného lesoparku. K ďalším pozoruhodným pamiatkam patrí Kostol sv. Antona Pustovníka. Jednoduchý jednoloďový kostol bol postavený v roku 1755. Barokovo-klasicistickému štýlu kostola vládne elegancia a precízne vyhotovené detaily. Existencia mýtnej stanice je archívne doložená pred polovicou 14. storočia. Mýtna a prepriahacia stanica bola súčasťou poštového systému, slúžila na vyberanie poplatkov za užívanie ciest, mostov, brodov a iných dopravných zariadení v obci. Cez obec viedla cesta, na ktorej sa nachádzala tzv. Mýtna brána. Objekt bývalej mýtnej stanice je od prestavby v 50. rokoch minulého storočia využívaný na kultúrne účely, konajú sa v ňom kultúrne a spoločenské podujatia.
