Tots els problemes i les transformacions que van donar-se al voltant del segle III van fer força difícil el control centralitzat de tot l’Imperi. Per tal de defensar les fronteres dels atacs d’alguns pobles bàrbars, s’havia arribat a acords amb altres d’aquests pobles, els quals, a canvi de poder instal·lar-se en territori romà, es comprometien a defensar-lo militarment.
A mitjans del segle III, al si de l’exèrcit romà es van produir molts enfrontaments entre diversos bàndols, els generals dels quals aspiraven a controlar l’Imperi, intervenint cada cop amb més freqüència en la vida política.
Un d’aquests generals, Dioclesià, després de ser reconegut emperador, va intentar acabar amb aquest període d’anarquia militar i reorganitzar l’Imperi. Així, el va dividir en dues parts o prefectures, la d’Orient i la d’Occident. En cadascuna, hi governaria un emperador August, al qual es donaria un tractament diví, amb l’ajuda d’un Cèsar, que el succeiria en morir l’emperador. Aquest sistema va ser denominat tetrarquia, ja que el poder es repartia entre quatre persones. D’altra banda, Dioclesià va iniciar les persecucions més dures contra els cristians.
Tot i que a la mort de Dioclesià les guerres entre els diferents bàndols no havien acabat, Constantí va aconseguir finalment imposar-se com a únic emperador.
Constantí, conscient de la gran influència que havia assolit el cristianisme i per tal de guanyar-se el seu suport, en els primers anys del segle IV va decretar la llibertat de culte mitjançant l’Edicte de Milà (313) per a totes les religions de l’Imperi, inclòs el cristianisme que veia així finalitzar les persecucions dels segles passats. D’altra banda, va traslladar la capital de l’Imperi a Bizanci, que des d’aleshores es va dir Constantinopla.
En aquesta època, els patriarques (els bisbes més importants) de l’església cristiana de Jerusalem, Constantinopla, Alexandria i Antioquia es van reunir en el Concili de Nicea (325) per tal d’afirmar la igualtat entre ells. Tot i això, els successius patriarques de Roma es van afanyar a afirmar la seva supremacia doctrinal sobre els altres patriarques. Això provocaria forts conflictes en els segles posteriors.
Finalment, el triomf definitiu de l’Església cristiana arribaria quan l’emperador Teodosi va prohibir els cultes no cristians mitjançant l’Edicte de Tessalònica (380). Des d’aquest moment, el cristianisme va esdevenir la religió oficial de l’Imperi i es convertia en obligatòria i les jerarquies eclesiàstiques van unir els seus interessos al de l’Estat que les defensava engrandint el seu patrimoni econòmic. Teodosi va donar suport a la supremacia de Summe Pontífex (Papa) de Roma.
En el segle V, l’Església de Roma va desenvolupar la doctrina dels “dos poders”, segons la qual el poder espiritual del Papa era superior al poder temporal de l’autoritat política i militar. Per això, aquesta autoritat havia de sotmetre’s a l’Església.
Tot i això, davant el creixent poder polític de l’Església, entre els cristians va sorgir una altra forma de practicar la religió. Eren els anacoretes o ermitans, unes persones que, per tal de viure més intensament el sentiment religiós abandonaven la vida mundana i es retiraven a resar en plena natura, en absoluta pobresa i solitud.
Amb el temps, van crear-se comunitats de persones que elegien aquest tipus de vida dedicat a la religió. Eren els monjos. En aquestes comunitats religioses ha va haver l’origen del monacat, que tanta importància assoliria a l’Edat Mitjana.
Teodosi va fer obligatori per a tothom el pagament d’un impost especial destinat a sufragar les despeses de l’Església. La consolidació de la institució eclesiàstica va ser tal que, en desaparèixer l’Imperi Romà, era l’única organització que realment era present a tot l’Imperi sota una estructura jerarquitzada.
A la mort de Teodosi, l’Imperi va ser novament dividit entre els seus fills: l’Imperi d’Orient heretat pel primogènit Arcadi i l’Imperi d’Occident per a Honori.
Així, en la seva darrera etapa, l’Imperi Romà d’Occident, amb capital a Roma, comprenia la Península Itàlica, Hispània, la Gàl·lia, Britània i el nord d’Àfrica. Per la seva banda, l’Imperi Romà d’Orient, amb capital a Constantinopla, s’estenia per Grècia, Àsia Menor i el Pròxim Orient. Mentre la zona occidental entrava en un període de decadència, l’oriental coneixia una etapa d’esplendor, deguda, en part, a les seves relacions comercials amb les civilitzacions orientals.