Õsrégi település, melyet 1198-ban a Csák nemzetség Kisfaludy ágának megalapítója II. Ugrin gyõri püspök kapott a királytól érdemeinek elismeréseként a szomszédos Kisfaluddal együtt, amely névadója lett a Mihályi családnak. Testvére, I. Miklós 1237-ben Izsák elsõszülött fiának adta el, és ezután is e család leszármazóinak birtoka volt századokon át. Okleveleinkben elõször 1223.-ban ,,terra Mihal" alakban fordul elõ, majd 1359-ben ,, poss Mihaly" néven szerepel, amikor Szent György vértanú tiszteletére szentelt egyházat is említik.

A XV. század végén örökösödési szerzõdés útján a Vas megyei Ládonyiak szerezték meg. Egy 1470 körüli oklevél szerint a Mihályi és késõbb a Ládonyi család a mai kastély helyén állt és fából épült udvarházban élt, melyet a XVI. század elején Ládonyi Miklós téglaépületre építette át. Ennek fia, Demeter emeltette ezután azt a kastélyt, amely 1567.-ben ,,castellum"-nak neveztek.
Az 1652. évi leírás szerint a várkastély négy saroktornyos épülettömbjének keleti oldalán emeletes lakóépület állt, a földszinten boltozott kapualjjal. A földszinti épületrészben különbözõ gazdasági helyiségek, az emeleten pedig lakószobák helyezkedtek el. Ezek elõtt az udvar felõl feltehetõen fából készített kétszintes folyosó húzódott. A várkastélyt a Kis-Rába vizével feltöltött árok övezte.
A török elleni harcokban nem szereplõ várkastély 1704-ben és 1709-ben leégett. Az elhanyagolt és romos épületeket feltehetõen a XVIII. század elején a Nicky család állíttatta helyre. Ekkor a keleti oldal két saroktornyát lebontották, és a ma is látható fõhomlokzati részt alakították ki. A kastélyt 1860-ban Dõry Miklós vette meg, és alakítatta át romantikus stílusban.

A rendkívül elhanyagolt állapotban levõ kastélyt 1969-1974 között állította helyre az OMF, Koppány Tibor építész tervei szerint.