La saison 2003-04 fut ambitieuse mais finalement frustrante pour Colchester United, les U's terminant à la 11e place en Deuxième Division. Cette position en milieu de tableau masquait une saison riche en exploits en coupe, l'équipe ayant atteint le cinquième tour de la FA Cup (s'inclinant de justesse face à Sheffield United) et ayant été éliminée de manière déchirante de la finale de la section sud du Football League Trophy par son rival Southend United, manquant de peu un voyage au Millennium Stadium. L'attaque en championnat était menée par l'attaquant dynamique Wayne Andrews, dont les 12 buts furent cruciaux lors d'une saison bâtie sur l'élan initial du nouvel entraîneur Phil Parkinson, avant qu'un coup de mou en fin de saison dû à l'enchaînement des matchs ne les prive des play-offs.