Sachverhalt:
A.- A ist Eigentümer des Grundstücks Nr. X, in der Gemeinde Z. Am 10. Dezember 1997 ersuchte er den Gemeinderat Z im Hinblick auf ein eigenes Bauvorhaben um Aufhebung der Bauhöhenbeschränkung, die u.a. als Personaldienstbarkeit zu Gunsten der Gemeinde Z auf seiner Parzelle lastete. Ende 1997 stimmte der Gemeinderat der Löschung unter besonderen Auflagen zu. Am 30. April 1998 reichten B als Bauherrin und Grundeigentümer A beim Gemeinderat ein Baugesuch für den Aufbau des bestehenden Wohnhauses und den Neubau einer Garage ein. Dagegen liessen Nachbarn Einsprache erheben und in der Hauptsache geltend machen, die vorgesehene Aufstockung des Gebäudes überschreite die Bauhöhenbeschränkung. Wohl sei diese Dienstbarkeit zwischenzeitlich im Grundbuch gelöscht worden. Indessen habe die Gemeinde ihre Zustimmung zur Löschung gegeben, ohne betroffene Eigentümer der hinterliegenden Grundstücke darüber zu informieren. Mit dieser Vorgehensweise habe die Gemeinde einen einzelnen Eigentümer bevorzugt, gegen öffentliche Interessen verstossen und sich gegenüber anderen treuwidrig verhalten. Mit Entscheid vom 20. Juli 1998 verwies der Gemeinderat die Einsprecher an den Zivilrichter und erteilte die Baubewilligung. Die dagegen eingereichte Beschwerde wies das Verwaltungsgericht ab. Dabei zog das Gericht in Erwägung, dass die gelöschte Personaldienstbarkeit mit Baubeschränkung "privatrechtlicher Natur" sei. Daher habe der Gemeinderat die von den Einsprechern im Baubewilligungsverfahren erhobenen Einwände gegen deren Löschung mit Recht an den Zivilrichter verwiesen (auszugsweise publiziert in: LGVE 1999 II Nr. 23).
B.- In der Folge reichten weitere Grundeigentümer im fraglichen Gebiet beim Gemeinderat Gesuche um Aufhebung entsprechender Bauhöhenbeschränkungen auf ihren Parzellen ein, darunter C, Eigentümer der Parzellen Nr. V, sowie D, Eigentümer der Parzelle Nr. W. Dagegen opponierten verschiedene Nachbarn. Diese forderten die Behörden auf, im fraglichen Gebiet keine weiteren Löschungen von Bauhöhenbeschränkungen zu veranlassen. Am 29. November 2001 fasste der Gemeinderat unter dem Titel "Entscheid" folgenden Beschluss: "Die von den Grundeigentümern geforderte bedingungslose Aufhebung der im Grundbuch als Personaldienstbarkeit eingetragenen Bauhöhenbeschränkungen wird im Sinne der Erwägungen abgelehnt". Als Rechtsmittel dagegen gab er die Verwaltungsgerichtsbeschwerde an. Gegen diesen Beschluss reichten C und D Verwaltungsgerichtsbeschwerden ein, jeweils sinngemäss mit den Hauptanträgen, der angefochtene Beschluss des Stadtrates sei aufzuheben.
Das Verwaltungsgericht ist auf die Beschwerde nicht eingetreten. Aus den Erwägungen:
1.- a) Beide Verwaltungsgerichtsbeschwerden betreffen den gleichen Anfechtungsgegenstand und die gleiche Thematik, weshalb die beiden Verfahren zu vereinigen und in einem einzigen Urteil zu erledigen sind (§ 42 des Gesetzes über die Verwaltungsrechtspflege [VRG]).
2.- a) Der angefochtene Beschluss des Gemeinderates tangiert bau- und planungsrechtliche Belange, weshalb er gemäss § 148 lit. d VRG in Verbindung mit § 206 des Planungs- und Baugesetzes (PBG) an sich unmittelbar der Anfechtung durch Verwaltungsgerichtsbeschwerde unterliegt. Die Verwaltungsgerichtsbeschwerde erlaubt indessen lediglich die Überprüfung öffentlich-rechtlicher Streitigkeiten, was ein entsprechendes Anfechtungsobjekt voraussetzt (Merker, Rechtsmittel, Klage und Normenkontrollverfahren nach dem aargauischen Gesetz über die Verwaltungsrechtspflege, Diss. Zürich 1998, N 33 zu § 45). In diesem Sinne gilt der "Entscheid" oder die "Verfügung" als Ausgangspunkt jedes Beschwerdeverfahrens (Jaag, Kantonale Rechtspflege im Wandel, in: ZBl 1998 S. 508/509; zum Verfügungsbegriff grundlegend: ZBl 2002 S. 98 Erw. 2c mit zahlreichen weiteren Hinweisen). Vorab ist daher im Rahmen der Sachurteilsvoraussetzungen zu prüfen, ob dem angefochtenen Beschluss im Rechtssinne Entscheidcharakter zukommt. Dies beurteilt sich ohne Rücksicht auf die formelle Benennung nach materiellen Gesichtspunkten (LGVE 2000 II Nr. 2 Erw. 2a).
b) Verfügungen sind Anordnungen einer Behörde im Einzelfall, welche die Begründung, Änderung oder Aufhebung von Rechten oder Pflichten zum Gegenstand haben oder das Bestehen, Nichtbestehen oder den Umfang von Rechten oder Pflichten feststellen (vgl. Art. 5 des Bundesgesetzes über das Verwaltungsverfahren [VwVG] und § 4 VRG; dazu: LGVE 2000 II Nr. 2 Erw. 2a mit weiteren Verweisen). Als Verfügungen gelten also nur "individuell-konkrete Anordnungen". Sie erfassen mithin einmalige, auf bestimmte Sachverhalte bezogene Rechtsverhältnisse (Kölz/Bosshart/Röhl, Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, 2. Aufl., Zürich 1999, N 16 zu den Vorbem. zu §§ 4 - 31). Die Verfügung ist, wie erwähnt, Anfechtungsobjekt und damit zentrale Sachurteilsvoraussetzung für die verwaltungsgerichtliche Überprüfung. Fehlt sie, bedeutet dies gleichzeitig den Ausschluss der in den Verwaltungsrechtspflegegesetzen gewährleisteten Beteiligungsrechte (Häner, Die Beteiligten im Verwaltungsverfahren und Verwaltungsprozess, Zürich 2000, Rz. 81, S. 105). Die Verfügung bestimmt zugleich den Rahmen und die Begrenzung des Streitgegenstandes (Rhinow/Koller/Kiss, Öffentliches Prozessrecht und Justizverfassungsrecht des Bundes, Basel und Frankfurt 1996, Rz. 966, S. 186; ferner: Merker, a.a.O., N 3 zu § 38; Merkli/Aeschlimann/Herzog, Kommentar zum VRG des Kantons Bern, Bern 1997, N 2 zu Art. 49).
3.- a) Dem Streit liegen Personaldienstbarkeiten unter anderem zu Gunsten der Gemeinde ("Bauhöhenbeschränkungen") zu Grunde. Anlass für das Begehren um Löschung derartiger Baubeschränkungen gab der Umstand, dass die Gemeinde im streitbetroffenen Gebiet im Zusammenhang mit einem konkreten Bauprojekt bereits einmal der Löschung einer analogen Dienstbarkeit zugestimmt hatte. Es kann, um Wiederholungen zu vermeiden, auf das im Sachverhalt Gesagte hingewiesen werden. Im Urteil P. vom 16. Februar 1999 zog das Verwaltungsgericht in Erwägung, das Bau- und Zonenreglement der Gemeinde regle zusammen mit den übergeordneten Vorschriften des PBG die öffentlich-rechtlichen Belange über die zulässige Bauhöhe abschliessend. Ferner hielt es fest, dass die als Gemeindeservitut ausgestalteten Bauhöhenbeschränkungen im fraglichen Gebiet nicht Bestandteil der öffentlich-rechtlichen Bauordnung sei. Weiter erinnerte das Gericht insbesondere daran, dass die sogenannte "Gemeindedienstbarkeit" im Sinne von Art. 781 Abs. 1 ZGB privatrechtlich sei und sich das Gemeinwesen damit auf den Boden des Privatrechts stelle (statt vieler: Schmid, Sachenrecht, Zürich 1997, Rz. 1426 ff.).
b) Für das Verwaltungsgericht besteht keine Veranlassung, die wiedergegebene Rechtsauffassung in Frage zu stellen. Beizufügen ist, dass auch ein Rechtsgutachten hier keine abweichenden Schlüsse zieht. Mit andern Worten ist davon auszugehen, dass sich die Behörden in Bezug auf Bauhöhenbeschränkungen im fraglichen Gebiet auf dem Boden des Privatrechts bewegen. Damit ist gleichermassen klarzustellen, dass der Vorinstanz jegliche Befugnis zum Erlass eines Entscheides über die Löschung einer entsprechenden privatrechtlichen Bauhöhenbeschränkung abgeht. Denn diesbezüglich gab es für den Gemeinderat nichts zu verfügen, und es ist auch nicht ersichtlich, auf welche Norm sich eine solche "Verfügung" zu stützen hätte; insbesondere ist nicht zu ersehen, welches individuell-konkrete Verwaltungsrechtsverhältnis in Anwendung des öffentlichen Rechts in verbindlicher Weise geregelt werden sollte (vgl. LGVE 1982 II Nr. 32 Erw. 2a; neuer: LGVE 2000 II Nr. 2 Erw. 2a; Kölz/Bosshart/Röhl, a.a.O., N 14 zu Vorbem. zu §§ 4-31). Der Verzicht auf eine Dienstbarkeit und die daraus fliessende Begünstigung hat konsequenterweise vielmehr in den Formen des Privatrechts zu geschehen. Der Gehalt des angefochtenen Beschlusses geht über eine blosse Absichtserklärung nicht hinaus, womit er keine Rechtswirkungen zu entfalten vermag. Dies zeigt ebenfalls, dass nicht von einer Verfügung im Rechtssinne gesprochen werden kann (vgl. dazu: LGVE 1999 II Nr. 49 Erw. 6e). Auch ein Feststellungsentscheid kann diesbezüglich nicht getroffen werden (Kölz/Bosshart/Röhl, a.a.O., N 63 zu § 19). Abgesehen davon läge hier selbst die Aktualität des Feststellungsinteresses nicht ohne weiteres auf der Hand.
c) Die vorstehenden Erwägungen zeigen, dass sich der Gemeinderat hinsichtlich der Frage der Löschung der Bauhöhenbeschränkungen auf dem Boden des Privatrechts bewegt. Zudem ist davon auszugehen, dass sich die öffentlich-rechtlichen Belange hinsichtlich der zulässigen Bauhöhe abschliessend im Bau- und Zonenreglement und in den übergeordneten Vorschriften des PBG geregelt finden. Damit ist weiter klargestellt, dass das Verwaltungsgericht nicht darüber zu entscheiden hat, ob eine entsprechende privatrechtliche Dienstbarkeit aufgehoben werden soll oder nicht, denn nach dem Gesagten qualifiziert sich der Zweck der in Frage stehenden Bauhöhenbeschränkung als privatrechtlich (dazu: Urteil der I. öffentlich-rechtlichen Abteilung des Bundesgerichts i.S. X vom 4.7.2002, Erw. 3.4, im Internet abrufbar unter: www.bger.ch [Urteile ab 2000 / Prozessnummer 1P.152/2002]). Im Lichte dieser Überlegungen wird deutlich, dass es sich beim Anfechtungsgegenstand nicht um eine auf öffentlichem Recht basierende "Verfügung" im Rechtssinne handelt. Fehlt aber ein als "Verfügung" zu qualifizierender Anfechtungsgegenstand, kann auf die Verwaltungsgerichtsbeschwerde nicht eingetreten werden (vgl. Kölz/Bosshart/Röhl, a.a.O., Rz. 8 zu Vorbem. zu §§ 4-31; Merkli/Aeschlimann/Herzog, a.a.O., N 2 zu Art. 49; ferner ZBl 2002 S. 99). Damit erübrigen sich Ausführungen zu den weiteren Vorbringen der Beschwerdeführer.
4.- a) Grundsätzlich hat die Partei, welche im Rechtsmittelverfahren unterliegt oder auf deren Rechtsmittel nicht eingetreten wurde, die Kosten des Verfahrens zu tragen (§ 198 Abs. 1 lit. c VRG). Im vorliegenden Verfahren gilt es allerdings zu beachten, dass die Vorinstanz den Beschwerdeführern mit der Rechtsmittelbelehrung in unzutreffender Weise signalisierte, dass gegen den "Entscheid" betreffend die Ablehnung des Gesuches um Löschung der privatrechtlichen Bauhöhenbeschränkungen Verwaltungsgerichtsbeschwerde geführt werden könne. Dieser Hinweis auf den öffentlich-rechtlichen Rechtsmittelweg ist, wie dargelegt wurde, unzutreffend. Bei dieser Sachlage stellt sich die Frage, ob sich die irregeleiteten Beschwerdeführer auf den Vertrauensgrundsatz berufen können. Der Vertrauensschutz bedarf einer Vertrauensgrundlage, die beim Betroffenen eine bestimmte Erwartung auslöst (Häfelin/Haller, Grundriss des allgemeinen Verwaltungsrechts, Randziffer 532; Rhinow/Krähenmann, Schweizerische Verwaltungsrechtsprechung, Ergänzungsband, Nr. 74 B XI a). Es ist allgemein anerkannt, dass einer Partei aus einer falschen Rechtsmittelbelehrung kein Rechtsnachteil erwachsen darf (§ 114 VRG; BGE 115 Ia 19; LGVE 1993 II Nr. 46). Indes geniesst nur derjenige Vertrauensschutz, der die Unrichtigkeit einer entsprechenden Rechtsmittelbelehrung bzw. Mitteilung tatsächlich nicht gekannt hat bzw. für den sie nicht ohne weiteres klar erkennbar war. Nach der neueren Rechtsprechung des Bundesgerichts bedeutet dies praktisch, dass sich der Private dann nicht auf das durch eine Rechtsmittelbelehrung erweckte Vertrauen berufen kann, wenn er oder sein Anwalt deren Unrichtigkeit bei zumutbarer Sorgfalt hätte erkennen können. Nicht verlangt wird hingegen, dass neben dem Gesetzestext auch noch die einschlägige Literatur oder die Rechtsprechung hätte nachgeschlagen werden müssen (BGE 121 II 72 Erw. 2a; Urteil der I. öffentlich-rechtlichen Abteilung des Bundesgerichts i.S. R. vom 13.2.1998, in: ZBl 1999 S. 81/82 mit weiteren Hinweisen). Wer sich durch einen Anwalt vertreten lässt, muss sich dessen Vorkehren anrechnen lassen (Merkli/Aeschlimann/Herzog, a.a.O., N 10 zu Art. 43). Den Beschwerdeführern kann nicht vorgeworfen werden, sie hätten die Unmöglichkeit des öffentlich-rechtlichen Rechtsschutzes hier selbst erkennen müssen. Es rechtfertigt sich daher, auf die Erhebung von amtlichen Kosten in diesem Rechtsmittelverfahren zu verzichten (vgl. § 200 Abs. 1 VRG).
b) Zu prüfen bleibt die Frage der Parteientschädigungen. Zunächst ist festzuhalten, dass sich die Beschwerdeführer 2 vor Verwaltungsgericht nicht vertreten liessen. Damit sind die Voraussetzungen für eine Parteientschädigung an die Beschwerdeführer 2 nicht gegeben (vgl. § 193 Abs. 3 in Verbindung mit § 201 Abs. 2 VRG). Demgegenüber sind die Voraussetzungen für eine Parteientschädigung an den Beschwerdeführer 1 erfüllt. Dieser liess sich für die Replik durch einen Rechtsanwalt vertreten. Unter Berücksichtigung des Grundsatzes von Treu und Glauben rechtfertigt es sich daher, die Gemeinde zu verpflichten, dem Beschwerdeführer 1 hiefür eine angemessene Parteientschädigung auszurichten.