La campaña 2006-07 trajo desilusión y el primer descenso del club de la Bundesliga para el FSV Mainz, ya que el Karnevalsverein terminó en el puesto 16. Liderando la carga estuvo el sensacional cedido Mohamed Zidan, cuyos increíbles 13 goles en la segunda mitad de la temporada fueron un factor determinante en una campaña construida sobre una desesperada y emocionante lucha por la supervivencia bajo el mando del entrenador Jürgen Klopp. A pesar de la furiosa forma de Zidan, el equipo se quedó agonizantemente corto en la última jornada, pero la temporada también es recordada por la icónica escena de los aficionados celebrando al equipo a pesar del descenso, consolidando un capítulo definitorio en la historia del club. La campaña 2007-08 fue una temporada de agonizantes casi-logros para el Karnevalsverein, ya que el FSV Mainz luchó arduamente por un regreso inmediato a la máxima categoría después del descenso. Aseguraron un respetable 4º puesto en la 2. Bundesliga, perdiendo por poco los puestos de ascenso por solo dos puntos a pesar de ostentar la mejor diferencia de goles de la liga con +26. Liderando el potente ataque estuvo el delantero ecuatoriano cedido Félix Borja, cuyos impresionantes 16 goles en liga resultaron vitales. La temporada sigue siendo un capítulo de alta calidad para el Mainz, construido sobre un fuerte núcleo defensivo que incluía a un joven Neven Subotić, y sentó las bases para su exitoso ascenso al año siguiente.