Iscritto nel 1960 alla Federazione Giovanile Comunista, di cui è stato Segretario Provinciale a Bologna, successivamente è entrato nel PCI. In seguito ha partecipato al percorso che ha portato alla nascita del PDS e dei Democratici di Sinistra. Dopo il congresso nazionale di Firenze dei D.S. ha aderito a Sinistra Democratica dalla sua fondazione il 5 maggio 2007.
Alfiero Grandi ha ricoperto la carica di Segretario generale della CGIL dell'Emilia Romagna e successivamente della Funzione Pubblica nazionale. Č stato poi Segretario confederale della CGIL Nazionale. Dopo l'esperienza sindacale è stato dirigente nazionale dei DS, come Responsabile Nazionale dei problemi del lavoro.
Sottosegretario alla Finanze con i governi D'Alema II e Amato, ha collaborato all’epoca con il Ministro delle Finanze sulle politiche fiscali e in particolare alla preparazione e all'approvazione delle misure che nella seconda metà del 2000 e del 2001 hanno portato a riduzioni fiscali consistenti per le famiglie, a incentivi a sostegno dell'occupazione e a favore dello sviluppo delle imprese e dell'attività economica.
Eletto nel maggio del 2001 alla Camera, con il sistema maggioritario, nella circoscrizione Bologna - Borgo Panigale, è stato componente e vice presidente della VI Commissione Finanze; rivestendo la medesima carica anche nell'ambito del Comitato parlamentare permanente sui rapporti tra etica, finanza e fiscalità istituito, dalla Commissione stessa, il 31 maggio 2005. Dal 18 maggio 2006 ha ricoperto l’incarico di sottosegretario al Ministero dell’Economia e delle Finanze fino al termine della xv legislatura.