La temporada 2003-04 fue una campaña de desgarradora decepción para el Walsall, ya que Los Saddlers, a pesar de un comienzo fulgurante que incluyó goleadas por 4-1 a sus rivales locales West Bromwich Albion y Nottingham Forest, finalmente terminaron en el puesto 22 de la Primera División y descendieron. La temporada presenció una caída dramática desde un punto álgido en el Boxing Day, donde estaban a solo cuatro puntos de los play-offs, hasta una grave crisis que resultó en el despido del entrenador Colin Lee y el dramático nombramiento del ícono Paul Merson como jugador-entrenador. Liderando el ataque estaba el delantero portugués Jorge Leitão, cuyos 7 goles fueron cruciales; sin embargo, el equipo se quedó agónicamente corto de la salvación en la última jornada, solo dos goles más habrían salvado su permanencia en la máxima categoría. Sigue siendo un capítulo doloroso y definitorio que marcó el fin de una era para el club.