La campaña 2003-04 fue ambiciosa pero, en última instancia, frustrante para el Colchester United, ya que Los U's terminaron en la undécima posición de la Segunda División. Esta posición de mitad de tabla ocultó una temporada de emocionantes hazañas en copas, ya que el equipo alcanzó la quinta ronda de la FA Cup (perdiendo por poco ante el Sheffield United) y fue eliminado de forma agónica de la Final de la Sección Sur del Football League Trophy por sus rivales, el Southend United, perdiendo por poco un viaje al Millennium Stadium. Liderando el ataque en la liga estuvo el dinámico delantero Wayne Andrews, cuyos 12 goles fueron cruciales en una temporada construida sobre el impulso inicial del nuevo entrenador Phil Parkinson, antes de que un bajón de final de temporada debido a la congestión de partidos los dejara fuera de los play-offs.