Iniziò gli studi universitari a Roma in lettere e filosofia e conseguì la laurea umanistica nel 1948. Quindi, nel 1955, decise di laurearsi anche in giurisprudenza a Napoli.
Carbone prestò servizio presso il Ministero della costituente e dal 1946 al Ministero del tesoro e nel 1957 alle dipendenze dell'Istituto dell'Enciclopedia Italiana per la redazione del Dizionario Enciclopedico.
Nel 1971, già consigliere di Stato, fu capo dell'Ufficio legislativo presso il Ministero del bilancio e della programmazione economica. Nel corso dell'aprile del 1972, Carbone iniziò a prestare la propria opera anche presso il Ministero per l'attuazione delle Regioni, dedicandosi allo studio e alla formulazione giuridica degli schemi normativi per la determinazione dei principi fondamentali nelle materie indicate dall'articolo 117 della Costituzione.
Nel giugno del 1974 divenne capo di Gabinetto del Ministero del bilancio e della programmazione economica lasciando così il Consiglio di Stato.
Nel corso del 1978 ha assunto l’incarico di capo del Servizio rapporti con il Parlamento e il Governo presso il Segretariato generale della Presidenza della Repubblica, è stato così collocato fuori ruolo presso il Consiglio di Stato. Nel gennaio del 1978 è stato nominato componente della Commissione di sovraintendenza della Biblioteca del Consiglio di Stato, e nel corso di quello stesso anno è divenuto anche membro effettivo dell’Adunanza plenaria delle sezioni giurisdizionali (Sezione IV).
Nel dicembre del 1979, con il proprio consenso, Carbone è stato collocato fuori ruolo dal Segretariato generale della presidenza della Repubblica.
Nel dicembre del 1982 è stato nominato presidente di Sezione del Consiglio di Stato. Nel 1986 fu nominato Presidente della Corte dei conti e vi rimase fino al 1998.
Sotto la sua presidenza venne portata a compimento la riforma dei controlli. Nel 2000 gli fu conferito il titolo onorifico di Presidente emerito. Estremamente varia ed estesa è la sua produzione di saggi, articoli, contributi diversi, raccolta in tre volumi intitolati Scritti e discorsi di Giuseppe Carbone. 1986-2001 raccolti nel 2002 a cura della Biblioteca della Corte dei conti.
Dal discorso d’insediamento del 22 gennaio 1987: “la Corte dei conti è organo di controllo e di giurisdizione, e perciò è organo di garanzia, garanzia di legittimità degli atti amministrativi, dell’azione amministrativa, della gestione della finanza pubblica. Uno degli organi posti a presidio e garanzia dell’unità dell’ordinamento, degli interessi generali della comunità ordinata, del rispetto delle regole entro le quali debbono e possono convivere i conflitti, gli interessi in conflitto, le parti, le parti divise e in contrasto. Un organo che tanto ha radici antiche nel passato del nostro ordinamento quanto vuole e deve avere rilievo e rinnovate prospettive nell'avvenire della Repubblica”.