La saison 2004-05 fut une campagne dramatique et déchirante pour Crystal Palace. Les Eagles se sont battus mais ont finalement succombé à une 18e place décevante, synonyme de relégation de la Premier League. Andrew Johnson, l'attaquant sensationnel, menait l'attaque. Ses 21 buts en championnat, faisant de lui le meilleur buteur anglais de la division, furent un effort héroïque mais insuffisant. Malgré les efforts passionnés de l'entraîneur Iain Dowie et un match nul dramatique lors de la dernière journée contre leurs rivaux de Charlton Athletic, le club a échoué, entraînant un retour dévastateur en Championship et marquant un chapitre douloureux mais déterminant de son histoire. La saison a également vu le jeune ailier Wayne Routledge impressionner avec 10 passes décisives avant son départ immédiat. La campagne 2005-06 fut une saison d'ambition démesurée et de déception finale pour Crystal Palace. Les Eagles ont terminé 6e du Championship, s'assurant une place en play-offs pour un retour immédiat dans l'élite. Leur talisman, Andrew Johnson, resté malgré la relégation, menait l'offensive et ses 15 buts en championnat se sont avérés vitaux. Le rêve de promotion s'est éteint brusquement avec une lourde défaite en demi-finale des play-offs contre Watford, ce qui a entraîné le départ de l'entraîneur Iain Dowie et la vente émouvante de l'attaquant vedette Johnson à Everton, marquant une fin décisive à la quête de la Premier League.