Durch den Siebenjährigen Krieg (1756-1763), der französische Besatzung, hohe Kriegssteuern und Inflation mit sich brachte, spitzte sich die Lage des "Harzhaushaltes" weiter zu. Die Zahl der auf den Silbergruben beschäftigten Bergleute sank von 480 (1730) auf weniger als 200 (1762). Um die Menschen nicht verhungern zu lassen, förderte die Bergbehörde auf Kosten der öffentlichen Kassen durchgeführte "Arbeitsbeschaffungsmaßnahmen", um nach neuen Erzmitteln zu suchen; was auf dem "Inwendigen Zug" schließlich auch gelang. Nach der 1814 endenden krisengeplagten napoleonischen Zeit setzte nochmals ein kurzer steiler Aufschwung ein. Nachdem um 1820 die letzten Gruben am Beerberg ("Auswendiger Zug") eingestellt worden waren, konzentrierte sich die Erzgewinnung nur noch auf wenige Gruben im Inwendigen Zug, nämlich Samson, Catharina Neufang, Gnade Gottes, Bergmannstrost, Abendröthe und St. Andreaskreuz.

In den Jahren 1822-24 erreichte die Sankt Andreasberger Silberproduktion mit etwa 3 t jährlich ihr absolutes Maximum. Danach gingen die Erträge unaufhaltsam zurück. Verschiedene technische Neuerungen, wie Fahrkunst (1837 im Samson eingebaut), Drahtseil (nach 1834) und bessere Sprengmittel oder die Zusammenlegung mehrerer kleiner Gruben zu größeren Betriebseinheiten brachten nur kurzfristig kleine Aufschwünge und änderten nichts am generellen Produktionsrückgang. Erst um 1850 wurde die Erzgewinnung vom Strossenbau auf den Firstenbau umgestellt, hierdurch steigerte sich die Abbauleistung auf 70-80 kg Roherz pro Mann und Schicht (in Clausthal bei allerdings ganz anderen Gangverhältnissen betrug diese Leistung damals bereits das Doppelte!). Zwar konnten nun größere Mengen der noch anstehenden silberarmen Bleierze mit Vorteil gewonnen werden, doch zur Auffindung der sehr absetzigen Silberreicherzfälle erwies sich die Vorrichtung mit Feldörtern und Absinken als zu grobes Raster! Einem zunehmend verfallenden Silberpreis hatten die extrem tiefen Bergwerke nichts entgegen zu setzen. Die Gewinnungskosten blieben unverändert hoch, so dass das Bergwerk immer stärker in die roten Zahlen geriet.

Nach der 1866 erfolgten Annektion Hannovers durch Preußen fielen die letzten Sankt Andreasberger Gruben an den preußischen Fiskus. Damit vollzog sich 1867 eine völlige Neuorganisation des Bergbaus. Als Staatsbetrieb unterstand das als "Vereinigte Gruben Samson" zusammengeschlossen Bergwerk nun einer Berginspektion. Der Staat behielt damit lediglich den "Inwendigen Zug" als ein fiskalisches Grubenfeld mit den Schächten Samson, Catharina Neufang, Gnade Gottes und Bergmannstrost. Es erfolgte zunächst eine "Gesundschrumpfung", wobei die Beschäftigtenzahl von 800 um 1860 unter hannoverscher Hoheit auf 290 (1870) sanken. Der östlich daran angrenzende bereits eingestellte "Auswendige Zug" wurde unter dem Namen "Andreasberger Hoffnung" von einer Privatgesellschaft neu gemutet und in Betrieb genommen. Allerdings blieb dort der Abbau im Bereich des Neuen Glückaufer und Claus Friedricher Ganges (Beerberger Stollen) bedeutungslos und wurde 1897 wieder eingestellt.

Fallende Silberpreise, schlechte Aufschlüsse und Jahre großen Wassermangels bedrohten ständig die Existenz der Grube. Anlass zu neuen Hoffnungen gaben bald einige größere Reicherzfälle, die 1888 erschlossen wurden. Gleichzeitig versuchte man durch Einführung des maschinellen Bohrens (1889) und dem Bau einer neuen Zentralen Erzwäsche (Aufbereitung) in unmittelbarer Nähe des Samsons nun auch die vorhandenen Armerze kostengünstig gewinnen und verarbeiten zu können. Trotz dieser erheblichen Investitionen ließ sich der Niedergang nicht aufhalten. Seit 1877 mußten zur Kapazitätsausnutzung der Silberhütte immer mehr Importerze eingesetzt werden.

Am 31. März 1910 wurde schließlich die letzte Schicht auf der Grube Samson verfahren, die Belegschaft war zuletzt nur noch 80 Mann stark. Zwei Jahre später mußte auch die ebenfalls unrentable Silberhütte stillgelegt werden. Damit endete der Andreasberger Silberbergbau nach 420 Betriebsjahren.

Abgesehen von den meist zugewachsenen oder überbauten Halden erinnert über Tage heute kaum etwas daran, dass es in diesem, mit einer Fläche von etwa 2,5 km² relativ kleinen Revier einst an die 300 Silberzechen gegeben hat. Unter der Bergstadt erstreckt sich eine labyrinthartige Unterwelt, die "Dank des festen Gesteins" auch nach vielen hundert Jahren weitgehend offensteht. Dies zumindest oberhalb der Sieberstollensohle, denn alle darunter liegenden Baue stehen seit Abschalten der Pumpen, vermutlich bis in alle Ewigkeit unter Wasser! Die Strecken des "alten Mannes" weisen zusammengerechnet eine Gesamtlänge Länge von 70-80 km auf. Der tiefste Abbaupunkt im Revier auf dem Samsoner Gang befand sich 810 m unter Tage.