Retornat a Castella com a presoner per la seva tasca de (des)govern a La Española, Cristòfor Colom va ser rebut pels Reis Catòlics el desembre de 1500. Segons el relat de Las Casas, els monarques van mostrar “compasión de su adversidad y trabajos, dándoles todo el consuelo que al presente pudieron dalles, certificándole que su prisión no había procedido de su voluntad”. Així, els reis van restituir les rendes de l’almirall, però van allunyar-lo definitivament de les seves tasques de govern al Nou Món, fet que confirmaria que Bobadilla va actuar seguint les seves ordres i que tot havia estat una maniobra per allunyar-lo del govern del Nou Món.

En una carta de 1500, un Colom evidentment deprimit assegurava que “Si yo robara a las Indias […] y las diera a los moros, no pudieran en España mostrarme mayor enemiga. ¡Quién creyera tal a donde siempre hubo tanta nobleza!”. A més, justificava el perquè d’una de les acusacions que l’havien posat sota sospita: l’ocultació als monarques de les perles de Veneçuela. Colom considerava que “Este viaje de Paria creí que apaciguaría algo por las perlas y la hallada del oro de La Española. Las perlas mandé yo ayuntar e pescar a la gente con quien quedó el concierto de mi vuelta por ellas y a mi comprender a medida de fanega. Si yo non lo escribí a sus altezas fue porque así quisiera haber fecho del oro antes”. El descobridor justificava la seva tasca, però ja era massa tard.

El cop definitiu dels Reis Catòlics al govern de Colom al Nou Món arribaria un any després, el setembre de 1501, quan Fray Nicolás de Ovando va ser nomenat Governador de les Illes i Terra Ferma de les Índies. Els monarques encomanaven a Ovando que “tenga por nos la gobernación e oficio de juzgado desas dichas yslas e tierra firme por todo el tiempo que vuestra merçed fuere, en los ofiçios de justicia e jurediçion çevil e criminal, alcaldías e alguasyladgos dellas”. Amb aquest nomenament, el virregnat colombí s’esvaïa definitivament per convertir-se en un càrrec honorífic.

A Colom només li restava el seu títol d’almirall i les rendes derivades de l’explotació del Nou Món. En aquest context, el descobridor va plantejar el seu quart viatge cap a les Índies, la que seria la seva darrera expedició oceànica. Els Reis Catòlics van autoritzar aquest darrer viatge amb l’objectiu de trobar un teòric pas des de l’Amèrica Central cap a la terra de les espècies, però amb la prohibició expressa que Colom desembarqués a La Española ni trafiqués amb esclaus.

Embarcat al capdavant de quatre caravel·les i uns 140 tripulants, Colom va salpar de Sevilla el maig de 1502. L’expedició va resultar un fracàs ja que no va localitzar l’estret que havia de conduir-lo cap a la terra de les espècies. Colom va recórrer Santo Domingo i el sud de Cuba, des d’on va arribar a la costa de Belice. L’almirall va arribar al golf d’Hondures on va descobrir vestigis de la cultura maia i posteriorment va recórrer les costes d’Hondures, Costa Rica i Panamà. Així, el pas cap a Àsia no va ser localitzat.

Aquesta expedició, més enllà de no assolir el seu objectiu, va resultar un calvari per a Colom. El navegant i la seva tripulació van haver de patir fortes tempestes, trencadisses (un mol·lusc va perforar la fusta dels vaixells) i malalties. Fins al punt que el propi Colom i el seu fill Hernando van estar a punt de morir durant el viatge. Segons les seves paraules: “La gente estaba ya tan molida que deseaba la muerte para salir de tantos martirios. Los navíos ya habían perdido las barcas, anclas, cuerdas y estaban abiertos, sin velas”.

La crítica situació va portar Colom a fer mitja volta i arribar-se cap a la badia de Santa Gloria, a Jamaica, des d’on un grup dels seus homes van desplaçar-se en una canoa índia fins a La Española a la recerca de socors. El governador Ovando, però, va trigar set mesos en donar la seva ajuda a l’expedició colombina. A l’espera de l’auxili d’Ovando, Colom va haver d’enfrontar-se a una revolta dels seus homes, a la fam i a la creixent hostilitat dels indígenes americans. La sort de l’almirall havia canviat definitivament. Finalment, a l’agost, Colom i els seus homes van ser rescatats i enviats a La Española.

Després d’aquest calvari, un Colom derrotat va aconseguir retornar a Castella, el novembre de 1504. Pocs dies després moria la reina Isabel. Des d’aquest moment, un almirall deprimit i abatut per la seva derrota va començar a donar símptomes de deteriorament físic i mental. Encara tindria temps d’entrevistar-se amb el rei Ferran el Catòlic per reclamar els seus drets perduts, però aquest va mostrar-se inflexible amb Colom.

La seva desgràcia va arribar al punt de no arribar a cobrar en vida els drets que li corresponien de l’explotació del Nou Món. Així, segons el testament de Colom, en el moment de la seva mort “Fasta agora no se ha sabido la renta de las dichas Yndias […] y se espera en la misericordia de Dios que haya de haber bien grande”. En aquesta situació, Cristòfor Colom va morir a Valladolid el dia 20 de maig de 1506. Però el seu misteri i llegenda no havia fet més que començar.