Ruïne van de abdij van Rijnsburg, Hermanus Numan, 1754 - 1820