Né dans une famille de musiciens, Jehan Alain était l'aîné de quatre enfants. Le père, Albert Alain, organiste, compositeur et facteur d'orgue amateur, avait construit un orgue domestique, et c'est sur cet instrument que Jehan débuta dès l'âge de 11 ans. Deux ans plus tard, il pouvait suppléer son père, nouvellement nommé titulaire du grand orgue de l'église Saint-Germain, dans sa ville natale.

Admis ensuite au Conservatoire national supérieur de Paris, il fut l'élève, entre autres, de Paul Dukas, Jean Roger-Ducasse, André Bloch, Georges Caussade et de l'organiste Marcel Dupré. Lors des cours d'improvisation avec ce dernier, les autres élèves préféraient jouer avant Jehan Alain pour ne pas trop souffrir de la comparaison. Lors de l'une de ces séances d'improvisation, il termina l'une d'elles dans une tonalité étrangère à celle de départ (ce qui n'est pas loin d'être « considéré comme un crime » !). Il dit alors : « Je me suis trompé ! ». Marcel Dupré lui répondit : « Eh bien, il faudrait vous tromper plus souvent ! ». Ses études au conservatoire se soldèrent par les premiers prix d'harmonie, de contrepoint et fugue, d'orgue et improvisation.
Sa Suite pour orgue fut couronnée d'un premier prix de composition au concours des Amis de l'Orgue en 1936. La même année, il fut nommé organiste-titulaire à l'église Saint-Nicolas de Maisons-Laffitte. À Paris, il fut organiste de la synagogue de Nazareth. Après sa mort, Marie-Louise Girod lui succédera, au lendemain de la Seconde Guerre mondiale.

Marié en 1935, père de trois enfants, il est mobilisé au début de la Seconde Guerre mondiale. Cité pour actes de bravoure, il incorpore le premier Groupe Franc de Cavalerie du capitaine de Neuchèze et participe à la bataille des Cadets de Saumur en juin 1940. Il résiste seul à un peloton d'assaut allemand et meurt au champ d'honneur à 29 ans.

Tout au long de sa vie, il ne cessa de composer pour le piano, l'orgue, la musique de chambre, les voix (solistes et chœurs) et l'orchestre. Son catalogue comporte plus de 140 œuvres. Ses Litanies sont au répertoire des organistes du monde entier.
Sur à peu près dix années, il composa essentiellement des pièces d'orgue dont les plus célèbres restent les Litanies (1937) et les Trois Danses, ces dernières initialement prévues pour orchestre et transcrites secondairement pour orgue peu avant sa mort (1940). Selon Marie-Claire Alain, la sœur du compositeur, celui-ci aurait composé quelques pièces pour orchestre. Malheureusement, il prit les partitions avec lui lorsqu'il partit à la guerre et elles ne furent jamais retrouvées après sa mort au champ d'honneur.