A Mecsek déli lankáin már a rómaiak idejében, az i. sz. 2. században kialakult Pannónia tartomány Sopianae nevű települése. Felvirágzását a kereskedelmi utak találkozásának köszönhette.

Szent István e jelentős településen alapította meg 1009-ben a pécsi püspökséget, amelynek négytornyú székesegyházát, valamint a püspöki és káptalani lakóházakat már kezdettől fogva erős kőfal védelmezte. A korabeli oklevelek szerint 1064-ben szörnyű tűzvész pusztította el az épületeket, de azokat a gazdag jövedelemforrásokból rövidesen még pompásabb formában újították meg. A népes városi polgárság főként távolsági kereskedelemmel és kézművesiparral foglalkozott, míg a környékbeli lakosság itt talált piacot a megtermelt élelmiszerfeleslegeinek.

Az 1241-42-es tatárjárás okozta károkról nem maradtak fenn adatok, de néhány évtizeddel később - 1284-ben - a várat a Kőszegi nemzetség serege ostromolta meg, míg a század végén Mizse nádorispán égette fel. Az Anjou uralkodók idejében ismét fejlődésnek indult várost 1387-ben Kis Károly trónkövetelő híve, Horváti János báró foglalta el, garázda katonái még a templomokat és kolostorokat sem kímélték. Öt esztendő múltán azonban ugyanitt érte a végzete: Zsigmond király elfogatta, és felesége, Mária királynő kérésére kínos halálra ítélte, mivel a nagyúr korábban megfojttatta édesanyját, Erzsébetet. Horvátit ló farkára kötve hurcolták Pécs utcáin, majd testét tüzes fogókkal csipkedték, végül négyfelé vágatva, a tagjait a város kapuira tűzték ki.

Pécs a 15. században a legnagyobb területű magyarországi városnak számított a maga 67,5 hektár területű városi erődítményével. Püspöki méltóságát oly nagy humanista gondolkodású egyházfők töltötték be, mint a költő Janus Pannonius, Csáktornyai Ernuszt Zsigmond és Szatmári György.

A mohácsi csata 1526-ban derékba törte a pécsiek életét, maga a püspök is holtan maradt a csatamezőn. A város alatt rövidesen megjelentek a könnyűlovas portyázó törökök és tatárok, akik könnyűszerrel kifosztották a települést, a kis létszámú helyőrség csak a várat tudta megvédelmezni. Kiterjedt védőművei ellenére maga a város katonai szempontból már elavultnak számított, mert a Mecsek magasabban lévő lankáiról ostromágyúkkal jól támadható volt. Így 1543-ban maradék lakossága meghódolt a felvonuló oszmán csapatoknak.

A megszállók kényelmesen berendezkedtek a falak között, számos középületet, dzsámit, mecsetet és fürdőt emeltek, maga a város pedig keskeny utcáival, nyüzsgő piacával jellegzetes mohamedán helységgé alakult át. Zrínyi Miklós, a költő és hadvezér seregével ugyan 1664-ben kifosztotta a várost, de az erős kővárral nem bírt. Pécs végleges felszabadítására 1686 októberéig kellett várni.

A település a 18. században elvesztette katonai jelentőségét, és ahol a védőművek útját állták a terjeszkedő lakosságnak, ott elbontották azokat. Az északi és nyugati oldalon azonban ma is összefüggő várfalak idézik fel a régmúlt történelmi időket.