Nacque a Mola di Bari il 5 aprile del 1900 da Paolo e Luisa de Camelis. Carbone si formò a Trani, presso il locale liceo classico, e a Roma ove frequentò la Facoltà di giurisprudenza dell'Università La Sapienza; conseguì la laurea a pieni voti nel corso del 1921.
Nel dicembre del 1918, quindi non ancora ventenne, Carbone fece il suo ingresso nell'Interno come vice segretario nella Pubblica Sicurezza, ricoprì tale incarico fino al maggio del 1920. Passato al Ministero delle finanze, fu poi volontario ed agente delle imposte nella I Divisione delle imposte dirette, rimanendo nell'amministrazione delle Finanze fino al luglio del 1922; vincitore del concorso, il primo per l'ingresso in magistratura bandito dopo la guerra, Carbone fu assegnato inizialmente al Tribunale di Roma e successivamente alla Pretura del sesto mandamento della città (dicembre 1922). Nel settembre del 1923 fu nominato vice pretore urbano a Bari, nell'agosto successivo passò al II mandamento di Bari.
Il 30 gennaio 1924 Carbone sposò Eloisa Quartodipalo, nobildonna barese, dalla quale ebbe quattro figli, uno dei quali morì in giovane età.
Continua fu la crescita professionale di Carbone, che nel febbraio del 1925 venne nominato giudice aggiunto e destinato in qualità di pretore al Mandamento di Genzano di Potenza; nel settembre di quello stesso anno fu destinato al Mandamento di Nardò in provincia di Lecce. All'inizio del febbraio del 1926 Carbone fu nominato sostituto avvocato erariale di seconda classe, denominazione in seguito mutata con quella di sostituto avvocato dello Stato di seconda classe.
Circa un decennio dopo, all'inizio del luglio del 1937, Carbone dovette trasferirsi a Roma presso l'Avvocatura generale dello Stato; nel giugno dell'anno seguente fu promosso sostituto avvocato dello Stato di prima classe e nel giugno del 1941 vice avvocato dello Stato. Molteplici furono gli incarichi affidatigli nel corso di questi anni: fece parte ad esempio della Commissione incaricata dello studio del testo unico delle norme in materia valutaria e fu commissario presso l'Alto commissariato per le sanzioni contro il fascismo (settembre 1944 – all'ottobre 1945).
Con decreto luogotenenziale, il 14 giugno 1945 Carbone fu nominato consigliere di Stato; nel dicembre seguente entrò a far parte della Sezione speciale del Consiglio di Stato per l'esame in appello dei provvedimenti di epurazione comminati nei confronti dei dipendenti statali. Assegnato dapprima alla Sezione V e successivamente alla Sezione IV (aprile 1946), Carbone rimase nel Consiglio di Stato fino al 1947, ovvero quando fu nominato capo Gabinetto dapprima di Campilli, ministro delle Finanze, e poi di Einaudi, ministro del Bilancio e vice presidente del Consiglio.
Il 1947 è stato considerato l'anno di svolta nella vita personale e professionale di Carbone, dal momento che ebbe luogo l'incontro e l'inizio della collaborazione con Einaudi: l'occasione fu la preparazione dello schema del disegno di legge istitutivo del Ministero del bilancio. Nell'ottobre di quello stesso anno Carbone fu nominato membro della Commissione presso il Ministero delle finanze per l'accertamento della proprietà immobiliare dello Stato. Presso questo stesso Ministero ricoprì un altro delicato incarico, quale la presidenza di una Sezione del Collegio peritale per la decisione delle controversie relative alla valutazione dei titoli azionari non quotati in borsa (novembre 1947); fu inoltre commissario per l'avocazione dei profitti di regime assieme a Nenni, nonché commissario per la liquidazione dei beni fascisti e commissario dell'Enpas.
Divenuto presidente della Repubblica nel 1948, Einaudi designò Carbone segretario generale della Presidenza della Repubblica. Come già da altri evidenziato, determinante fu l'apporto dato da Carbone per razionalizzare l'attività del segretariato e accrescerne l'efficienza; fu anche grazie al suo operato se furono ottimi i rapporti intrattenuti con la Presidenza del Consiglio e il Parlamento.
Si deve a Carbone l'istituzione di un Ufficio legislativo con il compito di esaminare i disegni di legge di iniziativa governativa la cui presentazione alle Camere, come recita la Costituzione, deve essere autorizzata dal presidente della Repubblica; altro compito di questo ufficio era quello di richiamare l'attenzione del Presidente quando fosse necessario far pervenire al Governo le proprie osservazioni o chiedere alle Camere una nuova deliberazione.
Carbone lasciò il Quirinale quando fu nominato Presidente della Corte dei conti, il 22 marzo 1954. Rimasto al vertice di questa magistratura fino al 5 aprile 1970, a fondamento del quindicennio della presidenza Carbone vi fu la ferma convinzione che l'intervento politico rispetto alla Corte fosse esclusivamente quello dell'orientamento di carattere generale, senza sovrapposizione o interferenza alcuna, e che dunque l’azione della Corte fosse esclusivamente finalizzata al soddisfacimento dell'interesse pubblico, compatibile ma non necessariamente coincidente con quello politico.
L’alta idea che Carbone aveva della funzione di controllo faceva sì che essa divenisse un elemento consustanziale alla struttura dello Stato, un momento fondamentale della vita delle istituzioni statali posto a difesa delle stesse; tale funzione, vigilando sull’operato della pubblica amministrazione, contribuiva fattualmente a mantenere ben saldo il rapporto che la Costituzione instaura fra lo Stato e il cittadino. Come egli stesso ebbe a dire nel suo discorso d’insediamento pronunciato l’8 aprile 1954, «se, infatti, la tutela giurisdizionale dei diritti e degli interessi legittimi già assicura la prima fondamentale garanzia del cittadino di fronte allo Stato [...], non v’ha dubbio che altra e, direi, più disinteressata garanzia, è fornita al cittadino dalla certezza che gran parte degli atti di Governo e tutta la gestione finanziaria dello Stato sono sottoposte al controllo di legittimità della Corte dei conti».
Come già da altri evidenziato, il quindicennio della presidenza di Carbone fu improntato su criteri di forte equilibrio sia nei rapporti interni alla Corte che nei confronti delle istituzioni statali; egli conferì infatti alla Corte una posizione di equidistanza nei rapporti con le istituzioni dello Stato basata sul rispetto reciproco di ciascuna delle proprie sfere di competenza. Nel corso della sua presidenza Carbone potenziò l'Ufficio di rendicontazione; mostrò inoltre particolare attenzione nei confronti del metodo con cui la Corte dei conti riferiva al Parlamento relativamente al rendiconto generale dello Stato e alla gestione degli enti sovvenzionati. L’obiettivo di Carbone fu quello di conseguire tempestivamente la parificazione e la relazione della Corte sul rendiconto generale dello Stato in modo da permettere alle Camere di discutere il rendiconto contestualmente alla legge di bilancio. Ben visibile inoltre fu il segno lasciato nella relazione sul rendiconto generale dello Stato, relazione che fu improntata non solamente su elementi di tipo critico ma anche di proposta: divenne dunque un’analisi sistematica e di ampio respiro, che non sollevava esclusivamente rilievi particolaristici, magari riferiti a singoli atti o azioni, ma forniva una visione complessiva e organica dell’amministrazione e formulava un giudizio sulla attività dell’amministrazione nel complesso.
Nel corso degli anni trascorsi presso la Corte dei conti Carbone mostrò inoltre particolare attenzione nei confronti dei giovani referendari; fu nel corso della sua presidenza che per la prima volta essi entrarono a far parte delle sezioni riunite in sede di parificazione del rendiconto generale dello Stato e in sede consultiva. Molti furono i referendari che crebbero e si perfezionarono sotto la guida di Carbone; sua volontà, inoltre, fu che essi esaminassero attentamente tutti gli atti sottoposti alla firma del Presidente e che, sempre sotto la sua guida, dessero il loro contributo per migliorarli sia nella forma che nella sostanza.
Trascorso un quindicennio Carbone fu posto a riposo per raggiunti limiti di età, precisamente il 5 aprile 1970. Tra gli ultimi incarichi ricoperti ricordiamo, a partire dal 1978, la partecipazione alla Commissione Lockeed e la presidenza del Collegio dei revisori dell’Enel. Carbone, inoltre, fu anche particolarmente attivo nella società civile: dal 1957 egli fu infatti presidente della Lega italiana per la lotta contro i tumori, ed ebbe modo di lavorare a fianco di eminenti personalità del mondo della medicina.
Estremamente vasta la sua produzione scritta, della quale non è possibile dar conto in maniera esaustiva in questa sede. Ricordiamo a titolo esemplificativo alcuni tra i numerosi contributi quale quello comparso nel 1940 sulla «Rivista italiana di diritto finanziario» circa le Questioni in materia di esenzione delle Amministrazioni statali dall'imposta di consumo sui materiali, quello concernente le Guarentigie dell'esecutivo comparso nel volume di Studi sulla Costituzione pubblicato nel 1958 e infine quello dal titolo La Corte dei conti nella Costituzione della Repubblica italiana, pubblicato nel 1963 sul periodico «Stato sociale». Od ancora, a proposito del suo impegno civico, il Discorso introduttivo alle Giornate di studio sulle indicazioni e i limiti del trattamento dei cancerosi in fase avanzata comparso nel 1957 sul «Bollettino di Oncologia della Lega Italiana per la lotta contro i Tumori».
Tra le onorificenze con cui Carbone fu insignito nel corso della sua carriera annoveriamo quella di cavaliere di gran croce dell'Ordine al merito della Repubblica italiana (dicembre 1952) e la medaglia di benemerito della finanza pubblica conferitagli dal presidente Cossiga nel 1985.
Morì a Roma l’11 settembre 1990.