La campaña 2003-04 fue una temporada de grandes momentos y una desilusión final para el Perugia. Los Grifoni aseguraron la Copa Intertoto de la UEFA antes de que comenzara la temporada, lo que les permitió una respetable campaña hasta la tercera ronda de la Copa de la UEFA. Sin embargo, su campaña en la Serie A fue caótica y controvertida, marcada por el insólito fichaje de Al-Saadi Gaddafi por parte del polémico presidente del club, Luciano Gaucci. A pesar de los mejores esfuerzos de Zé Maria, quien anotó 7 goles para el club en la liga, el Perugia terminó en el puesto 15 y se vio forzado a disputar un play-off de descenso a todo o nada contra la Fiorentina. Perdieron la tensa eliminatoria a doble partido por un global de 2-1, lo que resultó en un devastador descenso que puso fin a su estadía de seis temporadas en la máxima categoría italiana y sigue siendo un capítulo doloroso en la historia del club.