Le poème en prose est un tard-venu, et il est longtemps apparu comme une sorte de contradiction dans les termes, la poésie ayant dès l'Antiquité été considérée comme essentiellement définie comme l'écriture en vers. Il est apparu au XIXème siècle, et s'est particulièrement épanoui au XXème.
Le poème en prose a d'abord prouvé son existence en existant, dépourvu de tout accompagnement théorique.
Si depuis toujours ou presque la prose a tenté de rivaliser avec la poésie, par des recherches stylistiques; des cadences... (que l'on songe à Rousseau, Chateaubriand...), et si de premiers poèmes en proses sont apparus au début du 19ème siècle avec des traductions (ou pseudo-traductions) en prose d'originaux en vers (Nodier ou Mérimée), le genre du "poème en prose" apparaît réellement avec Aloysius Bertrand et Baudelaire.
Gaspard de la Nuit, fantaisies à la manière de Rembrandt ou de Callot, paru en 1842, soit plus d'un an après la mort de son auteur, constitue un commencement absolu. Il s'agit de courts textes d'inspiration fantastique, de brefs récits discontinus, qui débutent et s'achèvent abruptement. S'inspirant de la ballade, Bertrand découpe son texte en "couplets" séparés par de larges blancs, comme des strophes ; la discontinuité du récit permet d'élaborer de véritables jeux de combinatoire, comme par exemple dans "un rêve", où se superposent trois lieux, trois notations auditives, et trois scènes simultanées.
Si le livre d'Aloysius Bertrand passa quasiment inaperçu lors de sa publication, par la suite il suscita l'admiration de Baudelaire et de Mallarmé.
Ces deux récits en prose d'une dizaine de pages chacun ont été considérés comme deux des plus beaux poèmes en prose de langue française ; mais par leur longueur, ils sont restés uniques, aussi bien dans l'œuvre de Guérin que dans la littérature.
Charles Baudelaire avait eu l'intention de publier un recueil de poèmes en proses contenant autant de textes que les Fleurs du Mal, dont il aurait été le pendant ; de fait, il publia dans de nombreuses revues des poèmes en prose, dont certains sont la réécriture en prose d'un texte en vers. Il n'eut pas le temps de mener complètement à bien ce projet ; le livre sera publié après sa mort, sous le titre de Petits poèmes en prose.
Mallarmé écrivit 14 poèmes en prose, dont 8 durant l'année 1864 – c'est-à-dire exactement contemporains du Spleen de Paris.
Quatre autres seront écrits entre 1885 et 1895.
Verlaine pratiqua peu le poème en prose ; on notera seulement 7 textes parus dans des revues entre 1867 et 1870, puis quelques autres de 1882 à 1887 ; le tout sera publié en 1886 dans Les Mémoires d'un veuf (petite vengeance à l'égard de Mathilde, toujours vivante...
La dernière section de son recueil Le Coffret de santal (1873) est constituée de poèmes en prose ; dans ces textes, il s'éloigne de Baudelaire et de Mallarmé pour donner la primauté à la "vision", anticipant ainsi sur les Illuminations de Rimbaud.
Selon son ami Ernest Delehaye, Rimbaud se serait essayé au poème en prose dès le printemps 1871, dans des textes qui n'ont pas été conservés. Et en 1873, il travaille à ce qui va devenir la Saison en enfer. L'on a pu discuter de l'appartenance réelle de la Saison au genre du poème en prose (il s'agit du récit suivi d'une expérience intérieure, relevant donc plutôt de l'autobiographie...)
Les Illuminations, elles, n'ont jamais été publiées à l'initiative de leur auteur ; elles ne le seront qu'en 1886, alors que Rimbaud avait renoncé à toute entreprise littéraire. Elles correspondent davantage, par leur fragmentation, et par leur esthétique de l'inachèvement, aux caractéristiques du genre.
Cette période voit le triomphe de l'impressionnisme en peinture ; les revues se mettent à publier nombre de textes courts, descriptifs, qui s'apparentent au poème en prose : Banville, Germain Nouveau ou encore J-K Huysmans s'y essaient. Ce dernier, dans À Rebours, décrit le poème en prose, genre préféré de son héros Des Esseintes, comme la quintessence du roman !
De leur côté, Jules Laforgue et Gustave Kahn introduisent, parmi leurs pièces en vers libres, quelques poèmes en prose.
En 1895, Pierre Louÿs fait paraître ses Chansons de Bilitis, présentés comme la traduction d'élégies d'une poétesse grecque imaginaire du VIème siècle avant J-C.
Les deux poètes majeurs ayant développé ce genre au début du 20ème siècle sont Pierre Reverdy et Max Jacob.