La campaña 2004-05 fue una temporada de drama desgarrador para el Crystal Palace, ya que las Águilas lucharon pero finalmente sucumbieron a un aplastante 18º puesto y al descenso de la Premier League. Liderando la ofensiva estuvo el sensacional delantero Andrew Johnson, cuyos 21 goles en liga, que lo convirtieron en el inglés con más goles en la división, resultaron un esfuerzo heroico pero insuficiente. A pesar de los apasionados esfuerzos del entrenador Iain Dowie y un dramático empate en la última jornada contra su rival Charlton Athletic, el club se quedó corto, lo que resultó en un devastador regreso al Championship y marcó un capítulo doloroso pero definitorio en su historia. La temporada también vio al joven extremo Wayne Routledge impresionar con 10 asistencias antes de su inmediata partida. La campaña 2005-06 fue una temporada de ambición desmedida y, en última instancia, de desilusión para el Crystal Palace, ya que las Águilas lograron un 6º puesto en el Championship, asegurando un lugar en los play-offs para un regreso inmediato a la máxima categoría. Encabezando la ofensiva estuvo su talismán, Andrew Johnson, quien se había quedado a pesar del descenso y cuyos 15 goles en liga resultaron vitales. El sueño del ascenso murió abruptamente con una contundente derrota en la semifinal del play-off ante el Watford, lo que provocó la salida del entrenador Iain Dowie y la emotiva venta del delantero estrella Johnson al Everton, marcando un final crucial para el intento de ascenso a la Premier League.