Als Erbauer gilt Bligger V., ein Enkel des Minnesängers. Die sehr kleine und enge Burganlage wird domiert von einer fast drei Meter dicken Schildmauer, die mit ihrer Spitze gegen die Bergseite, die einzig mögliche Angrifsseite, gerichtet ist.
Sie ersetzt hier den in den anderen Burgen vorhandenen Bergfried. Über der Schildmauer ist noch ein gedeckter Wehrgang mit zwei kleineren Wachtürmen erhalten. Der Zugang zu diesen Wehrtürmen erfolgte nur über die einzige Öffnung in halber Höhe der Schildmauer mit Hilfe von (Strick-) Leitern.
Über dieser Öffnung ist noch die steinerne Pechnase erhalten, durch die im Falle einer Verteidigung dann die Belagerten die Angreifer mit flüssigem Pech begießen konnten.
Ein früher vorhandener Serpentinenweg direkt vom Neckar hinauf zur Burg wurde im 19. Jahrhundert durch den darunter liegenden Steinbruch zerstört.
Das Schwalbennest ist das Wahrzeichen von Neckarsteinach und wird in den Sommermonaten voll angestahlt. Die Ruine ist heute im Besitz des Landes Hessen und wurde vor einiger Zeit mit großem Aufwand restauriert.
Diese Ruine kann jederzeit und kostenlos besichtigt und die Schildmauer bestiegen werden.
