Dès son enfance il est très attiré par le travail manuel et surtout la menuiserie. Il suit les cours d'une petite école industrielle. Il s'installe à Paris à partir de 1856 en qualité d'ébéniste-modeleur à la société "l'Alliance" spécialisée dans la construction d'appareils électriques. En 1867, il prend un brevet pour plusieurs dispositifs destinés à perfectionner les machines à courant alternatif. En 1868, il construit la première dynamo à courant continu, point de départ de l'industrie électrique moderne. En 1870 il dépose le brevet qui contient la théorie de la "machine magnéto-électrique produisant des courants continus".

En 1871 il fonde la Société des machines magnéto-électriques Gramme avec son ami Hyppolite Fontaine.Son premier modèle est alors présenté à la séance de l'Académie des sciences. Un certain nombre de machines seront fabriqués dans les ateliers de la maison Bréguet.

A l'exposition de la lumière électrique en 1881 à Paris la machine de Gramme sera la reine.

En 1888, il obtient à l'académie des sciences le prix Volta de 50 000 francs institué par Louis-Napoléon que Ruhmkorff et Graham Bell avaient eu avant lui et il est fait officier de la légion d'honneur.