Erwägungen
I.
Die eingangs erwähnten Personen nahmen die frühere Tätigkeit von Rechtsanwalt K mit Anzeige vom 9. März 2005 zum Anlass für eine Eingabe an die Anwaltskammer mit dem Ersuchen um Prüfung der Frage, inwiefern dessen heutige anwaltliche Tätigkeit für die beiden Gemeinden mit der Vertrauenswürdigkeit anwaltlicher Tätigkeit vereinbar sei, sowie mit dem Ersuchen, allenfalls geeignete Massnahmen zu treffen (Verfahren AW.2005.7-AWP, act. 1 und 1a).
Nach Einholen einer Stellungnahme von Rechtsanwalt K (AW.2005.7-AWP, act. 6) entschied der Präsident der Anwaltskammer am 7. April 2005, kein Disziplinarverfahren zu eröffnen. Kosten wurden keine erhoben (AW.2005.7-AWP, act. 7).
Am 20. April 2005 entschied das Präsidium der Anwaltskammer in unveränderter Besetzung, auf das Wiedererwägungsgesuch nicht einzutreten. Kosten wurden keine erhoben. Hinsichtlich des Ausstandsbegehrens wird im Entscheid ausgeführt, der gewählte Rechtsbehelf stehe diesem entgegen, weil die verfügende Behörde nicht über den eigenen Ausstand zu entscheiden habe.
II.
Das Bundesgesetz über die Freizügigkeit der Rechtsanwälte (BGFA; SR 935.61) definiert in seinem 3. Abschnitt die für Rechtsanwälte geltenden Berufsregeln (Art. 12 f.) und verlangt von den Kantonen für die Überwachung der Einhaltung dieser Vorschriften die Bestellung einer Aufsichtsbehörde, welche die gesetzlich vorgesehenen Disziplinarmassnahmen anordnen kann (Art. 14 und 17). Das entsprechende Verfahren ist grundsätzlich Sache der Kantone (Art. 34 BGFA). Aufsichtsbehörde im Kanton St. Gallen ist gemäss Art. 5 Abs. 1 des Anwaltsgesetzes (AnwG; sGS 963.70) die Anwaltskammer. Gegen Verfügungen der Anwaltskammer ist die Beschwerde an die III. Zivilkammer des Kantonsgerichts gegeben (Art. 6 Abs. 2 AnwG; Art. 15 lit. d der Gerichtsordnung [GO; sGS 941.21]). Soweit das AnwG nichts anderes bestimmt, richtet sich das Verfahren vor beiden Instanzen nach Art. 41 AnwG sachgemäss nach den Bestimmungen des Gesetzes über die Verwaltungsrechtspflege (VRP; sGS 951.1). Auf eine Beschwerde kann demnach eingetreten werden, wenn die von Amtes wegen vorzunehmende Prüfung der Prozessvoraussetzungen unter anderem ergibt, dass die Zuständigkeit besteht, eine Verfügung als Anfechtungsobjekt vorliegt und die Beschwerdelegitimation gegeben ist (U.P. CAVELTI/TH. VÖGELI, Verwaltungsgerichtsbarkeit im Kanton St. Gallen - dargestellt an den Verfahren vor dem Verwaltungsgericht, 2. A., Rz. 385, 469 und 534 mit Hinweisen; Art. 64 i.V.m. Art. 45 Abs. 1 VRP). Da letztinstanzliche kantonale Disziplinarentscheide der Verwaltungsgerichtsbeschwerde an das Bundesgericht unterliegen (BGE 129 II 299; BGE 130 II 273), ist weiter zu beachten, dass der kantonale Rechtsschutz hinsichtlich Anfechtungsobjekt, Legitimation und Kognition im kantonalen Verfahren mindestens im gleichen Umfang gegeben sein muss wie vor Bundesgericht (KÖLZ/BOSSHART/RÖHL, Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, N 1 zu § 41 mit Verweis auf Art. 98a Abs. 2 und 3 OG). Eine Verfügung liegt vor bei einer hoheitlichen Anordnung im Einzelfall, die sich auf öffentliches Recht stützt und ein Rechtsverhältnis in verbindlicher Weise regelt (CAVELTI/VÖGELI, a.a.O., Rz. 536 mit Hinweisen). Zur Beschwerde ist nach Art. 103 lit. a OG legitimiert, wer durch die angefochtene Verfügung berührt ist und ein schutzwürdiges Interesse an deren Aufhebung oder Änderung hat. Verneint eine Behörde das Vorliegen der Rechtsmittellegitimation, so liegt darin unabhängig vom Rechtsschutzinteresse in der Sache selber ein ausreichendes Interesse zur Anfechtung des fraglichen Nichteintretensentscheids (KÖLZ/HÄNER, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2. A., Rz. 412; CAVELTI/VÖGELI, a.a.O., Rz. 385).
a) Das AnwG sieht Beschwerden nur gegen Entscheide der Anwaltskammer vor. Da Art. 5 Abs. 2 AnwG die Kompetenzübertragung an den Präsidenten der Anwaltskammer für bestimmte Angelegenheiten einräumt, ist auch in solchen Fällen grundsätzlich die Beschwerde an das Kantonsgericht gegeben.
b) Rechtsmittel gegen Nichteintretensentscheide über Wiedererwägungsgesuche können nur beurteilt werden, soweit geltend gemacht wird, dass gegenüber dem ersten Verwaltungsakt eine erhebliche Änderung der Sach- oder Rechtslage eingetreten ist oder der Gesuchsteller für eine Neubeurteilung der Verhältnisse erhebliche Tatsachen oder Beweismittel anruft, die zur Zeit der ersten Entscheidung nicht bekannt waren oder nicht geltend gemacht werden konnten. In diesen Fällen besteht Anspruch auf nochmalige materielle Prüfung durch die verfügende Behörde (CAVELTI/VÖGELI, a.a.O., Rz. 574 f. mit Hinweisen). Das ist hier nicht der Fall und wird auch nicht vorgebracht. Obwohl die Beschwerdeführer von einem Wiedererwägungsgesuch sprechen - worauf sie der Beschwerdegegner behaften will - geht es ihnen in der Sache aber nicht darum. Wie sie selber in ihrer Eingabe an die Anwaltskammer ausführten, stellten sie sich auf den Standpunkt, der Entscheid des Präsidenten der Anwaltskammer vom 7. April 2005 stelle lediglich eine formlose Mitteilung dar, und verlangten eine zweite Behandlung der Angelegenheit durch die Anwaltskammer selber als gesetzlich zuständige Behörde
(vi-act. 1, 4; vgl. auch B/1, 3). Es ist daher - nach entsprechender Auslegung des Rechtsbegehrens - in allgemeiner, nicht auf den Rechtsbehelf der Wiedererwägung beschränkter Form zu prüfen, ob auf die Beschwerde gegen den zweiten Entscheid des Präsidenten der Anwaltskammer einzutreten und gegebenenfalls in der Sache zu entscheiden sei.
c) aa) Die Rechtsstellung des Anzeigers im anwaltsrechtlichen Verfahren ist nicht geregelt. Nach der Praxis wird auf Beschwerden gegen Entscheide der Anwaltskammer, einer Anzeige keine Folge zu leisten, mit der Begründung nicht eingetreten, dass es sich dabei analog zu entsprechenden Entscheiden auf Anzeigen im Rahmen der allgemeinen verwaltungsrechtlichen Aufsichtsbeschwerde nicht um eine Verfügung handelt (GVP 1995 Nr. 69 mit Verweis auf BGE 102 Ib 84). Das Vorliegen einer Verfügung ist in solchen Fällen zu verneinen, weil damit kein Rechtsverhältnis für die Verwaltung und die Betroffenen verbindlich geordnet wird (BGE 102 Ib 85; BGE 121 I 90). Hinzu kommt, dass dem Anzeiger keine Parteistellung zukommt und er bundesrechtlich keinen Anspruch auf Behandlung der Angelegenheit hat (BGE 123 II 406). Kantonalrechtlich wird bei der Aufsichtsbeschwerde gegenüber Verwaltungsbehörden die Auffassung vertreten, dass der Anzeiger nicht Partei sei. Sodann wird lediglich ein Anspruch auf Kenntnisnahme sowie auf Auskunft über die Behandlung der Anzeige, nicht aber auf materielle Prüfung oder Zustellung eines begründeten Entscheids bejaht (CAVELTI/VÖGELI, a.a.O., Rz. 1222; zur fehlenden Parteistellung vgl. auch VerwGer GVP 2002 Nr. 73, S. 211). Das entspricht auch der Regelung des eng mit der Aufsichtsbeschwerde zusammenhängenden Petitionsrechts (so Kölz/BOSSHART/RÖHL, a.a.O., N 29 Vorbem. § 19-28 VRG; W.E. HAGMANN, Die st. gallische Verwaltungsrechtspflege und das Rechtsmittelverfahren vor dem Regierungsrat, 111 f.) in Art. 3 Abs. 1 lit. d KV, wonach das Recht besteht, innert angemessener Frist eine Antwort zu erhalten. Bundesrechtlich besteht nach Art. 33 Abs. 2 BV lediglich Anspruch auf Kenntnisnahme einer Petition.
Da dem Anzeiger nach dem Gesagten weder nach bundesrechtlichen Vorgaben noch nach st. gallischem Recht Parteistellung oder Anspruch auf materielle Behandlung der Anzeige eingeräumt wird, wäre auf eine entsprechende Beschwerde gegenüber einer Mitteilung der Anwaltskammer, einer Anzeige nicht Folge zu leisten, nicht einzutreten. Dasselbe müsste ungeachtet der konkreten Bezeichnung zum Vorneherein für ein Gesuch um erneute Beurteilung gelten.
bb) Fraglich ist einzig, ob sich hier eine andere Beurteilung aufdrängt, weil die Beschwerdeführer nach dem ersten Präsidialentscheid nochmals an die Anwaltskammer gelangten und mit dem als Wiedererwägungsgesuch bezeichneten Begehren ausdrücklich die Behandlung durch die Anwaltskammer selber verlangten (vi-act. 1, 4), entgegen diesem Ansinnen aber trotzdem nochmals lediglich der Präsident der Anwaltskammer tätig wurde (B/1, 3).
Wie erwähnt hat der Anzeiger nach allgemeinen Regeln und mangels anderweitiger Vorschriften im Anwaltsrecht keinen Anspruch auf materielle Behandlung oder einen Entscheid durch die Anwaltskammer. Mangels Anspruchs auf eine Verfügung kann er sich folglich zum Vorneherein nicht mit Beschwerde dagegen zur Wehr setzen, wenn die Anwaltskammer untätig bleibt (so ausdrücklich T. TANQUEREL, Les tiers dans les procédures disciplinaires, in: TANQUEREL/BELLANGER (Hrsg.), Les tiers dans la procédures administrative, 118) oder wie vorliegend den Entscheid über die Ablehnung der Verfahrenseröffnung aufgrund einer Weisung an ihren Präsidenten delegiert. Es kann sich von daher auch beim Nichteintretensentscheid des Präsidenten der Anwaltskammer nicht um eine beschwerdefähige Verfügung handeln. Eine andere Beurteilung könnte sich nach dem Gesagten im Übrigen höchstens dann ergeben, wenn die von den Beschwerdeführern als richtig erachtete Vorgehensweise - formlose Mitteilung durch den Präsidenten als erster Schritt, Entscheid durch die Anwaltskammer selber bei Festhalten an der Anzeige - gesetzlich verankert wäre (zu einem solchen Beispiel vgl. TANQUEREL, a.a.O., 118). Nachdem das im st. gallischen Recht nicht der Fall ist, erübrigt sich aber eine weitere Diskussion darüber.
Aus dem allgemeinen aufsichtsrechtlichen Anspruch gegenüber der zuständigen Behörde auf Kenntnisnahme und Mitteilung über die Behandlung der Anzeige und dem Zusammenhang mit dem Petitionsrecht ergibt sich nichts anderes. Dies gilt selbst dann, wenn man sich auf den Standpunkt stellt, Kenntnisnahme und Mitteilung müssten konkret von der Kollegialbehörde selber ausgehen. Das würde nichts daran ändern, dass es angesichts der fehlenden Parteistellung im kantonalen Verfahrensrecht nicht um die Festlegung von Rechten und Pflichten gegenüber dem Anzeiger, sondern lediglich um einen nach pflichtgemässem Ermessen der Behörde zu treffenden Entscheid darüber handelt, ob das Treffen von Massnahmen angezeigt ist (vgl. CAVELTI/VÖGELI, a.a.O., Rz. 1227). Auch auf der Ebene des Bundes wird im Übrigen nach dem Gesagten aus dem Anspruch auf Kenntnisnahme des Petitionsrechts für die Aufsichtsbeschwerde kein entsprechender Schluss gezogen. Insofern handelt es sich auch bei der sinngemässen Weigerung des Präsidenten der Anwaltskammer, die Angelegenheit dem Kollegium vorzulegen, nicht um eine nach Art. 6 und 41 AnwG beschwerdefähige Verfügung.
d) Auf die Beschwerde kann damit mangels eines Anfechtungsobjekts nicht eingetreten werden.