Das Verwaltungsgericht hiess die Beschwerde teilweise gut.
Aus den Erwägungen:
b) Nachdem vorliegend die Rückerstattungsverfügung vom 25. März 1992 innerhalb der Verwirkungsfrist von 5 Jahren erging, ist noch zu prüfen, ob die Ausgleichskasse die zu Unrecht seit 1. Mai 1987 bezogenen Rentenbetreffnisse rechtzeitig innerhalb der einjährigen Verwirkungsfrist geltend machte.
Anlässlich einer amtlich durchgeführten Revision erhielt die Invalidenversicherung anfangs November 1989 erstmals Kenntnis von der Wiederaufnahme der Erwerbstätigkeit des Beschwerdeführers im Jahre 1987. Der Bericht des Hausarztes Dr. A über die Arbeitsfähigkeit bzw. -unfähigkeit des Beschwerdeführers stammt vom 26. Dezember 1989. Knapp drei Monate später, d. h. am 22. März 1990, ersuchte die Invalidenversicherung das Steueramt Z um Zustellung der Steuerakten für die Jahre 1985/86,1987/88 sowie 1989/90. Am 28. März 1990 stellte das Gemeindesteueramt Z die Steuerakten 1985/86 der Invalidenversicherung zu und wies darauf hin, dass sich die Steuerakten 1987/88 bei der eidgenössischen Steuerverwaltung befänden. Am 16. Juli 1990 teilte das Steueramt der Invalidenversicherung auf Mahnung hin mit, dass die Steuerakten 1987/88 noch längere Zeit nicht bei ihnen seien. Am 3. Dezember 1990 stellte die Veranlagungsbehörde dem Beschwerdeführer die Einschätzungsanzeige im Zwischenveranlagungsverfahren zu. Danach wurde das Geschäftseinkommen ab 10. Januar 1987 bis 31. Dezember 1988 auf Fr. 110 810.- bzw. auf Fr. 56 185.- jährlich festgelegt. Am 11. April 1991 befragte ein Beamter der Invalidenversicherung den Beschwerdeführer telefonisch zu seinem Geschäftseinkommen seit 1987. Die Auskünfte waren vage. Der Beschwerdeführer verwies auf die Steuerakten, er habe keine Unterlagen mehr. Nach einer Anfrage vom 22. April 1991 bei der kantonalen Steuerverwaltung konnte die Invalidenversicherung in Erfahrung bringen, dass das an die Ausgleichskasse X, Beitragsabteilung, gemeldete Einkommen im Betrage von Fr. 56 185.- für das Jahr 1987 auf der Selbstdeklaration des Beschwerdeführers beruhe. Am 25. September 1991 verlangte die Invalidenversicherung vom Beschwerdeführer die Jahresabschlüsse der Jahre 1981 bis 1984, 1989 und 1990. Sein Treuhänder teilte der Invalidenversicherung mit Schreiben vom 8. Oktober 1991 mit, vom August 1983 bis Januar 1987 sei der Beschwerdeführer nicht erwerbstätig gewesen. Die Erfolgsrechnungen der Jahre 1989 und 1990 seien noch nicht erstellt. Das Ergebnis dieser beiden Jahre werde sich wiederum im Rahmen der beiden Vorjahre bewegen. Mit Verfügung vom 25. März 1992 ist schliesslich über die hier zur Diskussion stehende Rückforderung entschieden worden.
Wie aus dem geschilderten Sachverhalt hervorgeht, hat die Ausgleichskasse erst nach mehr als vier Monaten, nachdem sie über die Erwerbstätigkeit des Beschwerdeführers Bescheid erhalten hatte, beim Steueramt Z um Herausgabe der Steuerakten ersucht. Da sich die sachdienlichen Akten nicht beim Steueramt Z befanden, wartete die Invalidenversicherung wieder zu und fragte am 13. Juli 1990 beim Steueramt Z nochmals nach. Die Invalidenversicherung kann sich bei Abklärung ihres Rückforderungsanspruchs nicht mit Warten auf die Steuerakten begnügen. Zu einem erforderlichen und zumutbaren Einsatz gehört das Einholen der notwendigen Akten innert nützlicher Frist. Auch einer stark belasteten Verwaltung ist es zumutbar, vor Ablauf von vier Monaten bei der Steuerbehörde um Einsicht in die Steuerakten zu ersuchen. Sie hat sich bei einem Bescheid, die verlangten Akten seien seit mehr als einem Jahr bei einem andern Amt, unverzüglich um eine anderweitige Beschaffung der Entscheidungsgrundlagen zu bemühen. So wäre es ihr zum Beispiel möglich gewesen, bei der eidgenössischen Steuerverwaltung zu versuchen, die notwendigen Angaben aus den Steuerakten 1987/88 des Beschwerdeführers zu erhalten. Zudem hätte dieser zur Einreichung der notwendigen Jahresabschlüsse aufgefordert werden müssen, was am 25. September 1991 schliesslich auch geschah. Bei einer allfälligen Weigerung des Beschwerdeführers, die Unterlagen innert nützlicher Frist einzureichen, wäre er auf seine Mitwirkungspflicht bei der Abklärung seiner Ansprüche hinzuweisen gewesen (Art. 71 Abs. 1 IVV). Die Invalidenversicherung erteilte auch den Auftrag für eine medizinische Abklärung der möglichen und zumutbaren Arbeitsfähigkeit des Beschwerdeführers in den Jahren 1987 bis 1991 erst am 3. Juli 1991. Auch hier ist nicht einsichtig, wieso dieser Auftrag nicht im Anschluss an den Arztbericht von Hausarzt Dr. A vom 26. Dezember 1989 erfolgte.
Die Invalidenversicherung hat nicht die erforderlichen Anstrengungen unternommen, um über ihre noch ungenügend bestimmte Forderung innert absehbarer Zeit ein klares Bild zu erhalten. Die Verwaltung hätte unter Beachtung der ihr zumutbaren Aufmerksamkeit die sich aufdrängenden Erhebungen zur Erwerbssituation des Beschwerdeführers und zu seinem Gesundheitszustand innerhalb eines Jahres, d. h. im Verlauf von 1990, vornehmen und den Rückforderungsanspruch in masslicher Hinsicht festlegen können. Aus den IV-Akten ergibt sich, dass die Verwaltung im Jahre 1990 ausser drei Gesuchen beim Steueramt Z um Einsicht in die Steuerakten untätig geblieben ist. Der Anspruch auf Rückforderung verjährt mit Ablauf eines Jahres, nachdem die Verwaltung hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen. Diese Voraussetzungen wären im hier zu beurteilenden Fall bei Beachtung zumutbarer Anstrengung und Aufmerksamkeit im Verlaufe von 1990 feststellbar gewesen. Die Säumnisse der Invalidenversicherung in diesem Jahr darf sich nicht zuungunsten des Beschwerdeführers auswirken. Die Rückforderung hätte im Verlaufe von 1991 verfügt werden müssen. Der genaue Zeitpunkt braucht nicht festgelegt zu werden. Mit der angefochtenen Verfügung vom 25. März 1992 erfolgte die teilweise Rückforderung der Rentenleistungen (Mai 1987 bis 31. März 1991) also mehr als ein Jahr, nachdem die Verwaltung bei Beachtung des erforderlichen und zumutbaren Einsatzes von der rentenherabsetzenden Veränderung des Invaliditätsgrades des Beschwerdeführers hätte Kenntnis nehmen, den Rückforderungsanspruch in masslicher Hinsicht berechnen und die künftige Rente herabsetzen können. Auch die letzte ganze Rentenleistung für den Monat März 1991 liegt verglichen mit der Verfügung vom 25. März 1992 mehr als ein Jahr zurück. Massgebend bei der Berechnung der Frist ist das Datum der Rückforderungsverfügung und andererseits das Datum, an welchem die Leistung effektiv erbracht wurde (Rz 1384 RWL). Die Renten werden monatlich zum voraus bezahlt und zwar bis zum 20. des Monats (Art. 47 Abs. 3 IVG und Art. 82 IVV in Verbindung mit Art. 44 Abs. 1 AHVG). Der Rückerstattungsanspruch der Ausgleichskasse im Betrag von Fr. 35 322.- ist daher als verwirkt zu betrachten.