Les affleurements de la Montagne des Grottes permettent d'observer le travertin de Sézanne (calcaire léger et caverneux) et latéralement des sables à galets.

L'observation macroscopique du travertin permet d'identifier aisément des moulages de feuilles, de tiges et même de fleurs. Ces éléments végétaux sont entourés de lamines millimétriques grises dont l'observation au microscope révèle un enchevètrement de filaments dans de la calcite.
Ce type d'encroûtement correspond à des constructions dues à des algues qui facilitent la précipitation de carbonate de calcium sur des éléments végétaux.
Outre les fossiles de végétaux, le travertin contient également des fossiles d'animaux (entre autres Paludina sp., Helix sp., Physa sp., Pupa sp.), équivalent à ceux du calcaire de Rilly, ce qui permet de rattacher ce travertin au Thanétien supérieur (Paléocène).

Latéralement, le travertin passe à des accumulations de sables calcaires mal triés contenant des galets arrondis centimétriques de craie durcie, et parfois de silex. Au niveau de certains affleurements, ces sables montrent une stratification oblique.