Im Steinbruch wurde feinkörniger Schilfsandstein abgebaut, der sich gut zum Bauen eignete. Die Herkunft des Schilfsandsteins wird von Geologen mit einem großen Fluss-System erklärt, welches vor mehr als 200 Millionen Jahren Europa durchfloss und zu einem Urmeer in der heutigen Alpenregion floss. Einer der Flussarme floss am Schönbuchrand entlang wo heute Pfaffen- und Heuberg liegen.
Orientierung: Der Pfaffenberg befindet sich sechs Kilometer nordöstlich von Rottenburg. Am einfachsten erreichen Sie den bewaldeten Berg vom Parkplatz an der Wendelsheimer Grundschule aus.
