La saison 2006-07 fut synonyme de déception et de la toute première relégation du FSV Mayence en Bundesliga, le Karnevalsverein terminant 16e. Mohamed Zidan, prêté au club, mena l'attaque avec 13 buts incroyables en deuxième partie de saison, un facteur déterminant dans une campagne marquée par une lutte désespérée et palpitante pour la survie sous la houlette de l'entraîneur Jürgen Klopp. Malgré la forme étincelante de Zidan, l'équipe échoua de peu lors de la dernière journée. Cependant, cette saison est aussi mémorable pour la scène emblématique des supporters célébrant l'équipe malgré la relégation, marquant ainsi un chapitre décisif dans l'histoire du club. La saison 2007-08 fut celle d'un échec cuisant pour le Karnevalsverein, le FSV Mayence ayant tout fait pour un retour immédiat dans l'élite après sa relégation. Ils terminèrent à une respectable 4e place en 2. Bundesliga, manquant de peu les places de promotion de seulement deux points, malgré la meilleure différence de buts de la ligue (+26). L'attaquant équatorien prêté, Félix Borja, mena l'attaque puissante avec 16 buts impressionnants en championnat, s'avérant essentiels. Cette saison reste un chapitre de grande qualité pour Mayence, bâtie sur un solide noyau défensif comprenant un jeune Neven Subotić, et a jeté les bases de leur promotion réussie l'année suivante.