Buják községből gyalogösvényen felkapaszkodva lehet eljutni a még mindig több méternyi magas kőfalakkal övezett végvárba, ahonnét a vidékek panorámájában is gyönyörködhetünk.

Nem maradt fenn írásos adat, hogy kinek a parancsára és mikor emelhették a korai vármagot. Az első okleveles említésekor, 1315-ben királyi várnagy sikerrel védelmezte meg embereivel a Csák Máté tartományúr seregét vezető Ibur fia István fegyveresei ellenében. A következő évtizedekben is a királyi Kamara kezelésében áll. 1386-ban Anjou Mária a bizalmas hívének számító Garai Jánosnak adta, majd később Luxemburgi Zsigmond a feleségének adományozta, hogy ennek jövedelméből tartsa fenn a fényűző udvartartását. Nem sokkal később ugyanígy tett Habsburg Albert is. 1439-ben aztán az ország leghatalmasabb főnemesi családjainak egyike, a Báthoryak szerezték meg.

A 16. század első felében Bujákon is emeltek egy itáliai hadmérnök terve szerint formált rondellát, ahonnét a védők ágyútűz alá vehették a rohamozó ellenséget. Ali budai pasa 1552-es hadjárata idején a bujáki helyőrség katonái ötnapi ágyúzás után megrémülve, éjszaka feltörték az élelmiszerraktárakat, majd megpróbáltak észrevétlenül átjutni a török ostromzáron. Ez azonban nem sikerült, a legtöbb menekülőt a muzulmán harcosok levágták. A győztes sereg elvonulása után kis létszámú helyőrség foglalta el posztját, egy 1557-es zsoldlista szerint csak 28 gyalogos zsoldos őrizte az erősséget.

Visszafoglalását az 1593. őszén ellentámadást indító Habsburg haderőknek köszönhette, akiknek közeledtére a törökök elmenekültek. Buják azonban nem számított fontosabb katonai erősségnek, így fenntartására és a romladozó várfalak helyreállítására alig jutott pénz. Az itt állomásozó magyar katonák 1608-ban segélykérő levelet juttattak el a pozsonyi országgyűléshez: "Soha szolgáló embernek nem volt rosszabb mint most, nagy fizetetlenül, éhen és mezítelenül hagynak bennünket, koldulásra jutunk és senkinek sincs gondja a dűlőfélben lévő várak és palánkok építésére".

Az újabb török megszállás 1663-ban érte el a vidéket, Buják végvárára ismét kitűzték az igazhitű harcosok lófarkas-félholdas zászlóját. A győztes török sereggel tartott Evlia Cselebi diplomata és utazó is, aki szerint : "A várban 300 szűk ház van. Egyetlen temploma az uralkodó nevéről elnevezett dzsámi lett. Vára az ég csúcsáig felnyúló meredek sziklán álló erős kicsiny vár. Egyetlen oldalról sincs magaslat körülötte. Van mély börtöne, melybe kötélen kell leereszkedni. A régi időkben ez ozmani kézen volt, mert a dzsámi oltára most is megvan. A dzsámi mellett igen jó ízű kút van, melynek vize július hónapban is jéghideg. Teljes 90 öl mély. Külvárosa csinos magyar város. Lakói többnyire hatvani ráják. A vár a hatvani mező közepén kerek tojás gyanánt áll." A várat ekkor is kevesen védték, 1685-ben Hasszán aga mindössze 50 gyalogos zsoldosnak parancsolt. Az év tavaszán hajdúk foglalták el tőlük a várat, akiken pedig Murtezán hatvani aga ütött rajta, aki a kővárat csapataival elfoglalta és puskaporral felrobbantotta, hogy többé ne használhassák fel a keresztények támaszpontul. Többé nem állították helyre, falai és épületei egyre inkább megfogyatkoztak.

A véres történelmi viharokat átélt bujáki várromnak még nem történt meg a régészeti feltárása és megóvása. A helyi várbarátok azonban kiirtották a falait elborító növényzetet és elkerítették a leomlott várfalak szakadékkal szegélyezett helyeit.