Il passe son enfance dans le quartier du « Mercado de Abasto » où ses amis le surnomment « El Francesito » (le petit Français).
Dès l’âge de onze ans, il chante dans une chorale du collège Pie IX où il est scolarisé et commence rapidement à chanter dans les cafés pour gagner quelques sous.
Sa voix séduit immédiatement et il se fait très vite connaître dans les bars où il se produit. 

En 1911, il forme un duo chantant de chansons créoles avec José Razzano et prend le nom de Gardel.
En 1912, il enregistre 15 chansons pour lesquelles il s’accompagne à la guitare. C’est en 1917 qu’il est reconnu dans un nouveau genre, le tango canción, en interprétant la chanson « Mi noche triste ». En effet, le tango était jusqu’alors essentiellement instrumental, fruit d’un mélange entre la milonga locale et les influences importées par tous les immigrés en Argentine. Il tourne aussi cette même année son premier film, « Flor de durazno », et commence sa carrière discographique avec José Razzano.

Dans les années 1920, Carlos Gardel connaît la célébrité en France et en Espagne, popularisant ainsi le tango sur le Vieux continent. Entre 1934 et 1935, il part à la conquête de l’Amérique du Nord. Il enregistre deux disques à New-York, fait des radios, tourne dans des films à succès. Il fait un duo avec le jeune Astor Piazzola (1921-1992), cette rencontre marquera la carrière de ce dernier.

Il entame ensuite une tournée en Amérique du Sud, brutalement interrompue le 24 juin 1935 : l’avion dans lequel il voyageait s’écrase à Medellin, mettant tragiquement fin à sa carrière.

Acte de naissance de Carlos Gardel