Erwägungen
I.
In der Folge machten die beiden nunmehr anwaltlich vertretenen Klägerinnen geltend, die am Vermittlungsvorstand abgegebene Anerkennung sei mit einem Willensmangel behaftet.
" 1. Es sei die Vereinbarung zwischen den Klägerinnen und den beiden Beklagten vom 20. Mai 2003 über die Anerkennung der Klage von H. S. vom 4. März 2003 aufzuheben.
Das Vermittleramt X. sei anzuweisen, die entsprechende Klage von H. S. vom 4. März 2003 anhandzunehmen.
Unter Kosten- und Entschädigungsfolgen zu Lasten der Beklagten."
Innert der zweimonatigen Frist ab Ausstellung des Leitscheins gemäss Art. 150 Abs. 2 ZPO unterliessen sie es, ihre Klage einzureichen.
Mit Schreiben vom 11. Oktober und 19. November 2004 nahmen die Klägerinnen dazu Stellung und beantragten, die Entschädigung sei auf Fr. 1'500.-- zuzüglich MwSt festzulegen. Mit Entscheid vom 29. Dezember 2004 legte die Vermittlerin die Parteikosten auf Fr. 2'000.-- zuzüglich MwSt fest. Die Entscheidgebühr von Fr. 200.-- wurde den Klägerinnen auferlegt.
II.
Gerügt werden können auch formelle Rechtsverweigerungen. Solche betreffen Rechtsverletzungen, die sich aus dem Verfahren ergeben und nicht die materielle Richtigkeit des angefochtenen Entscheides betreffen (LEUENBERGER/UFFER-TOBLER, Kommentar zur Zivilprozessordnung des Kantons St. Gallen, Bern 1999, N 3a zu Art. 254 ZPO). Der Anspruch auf rechtliches Gehör ist formeller Natur. Seine Verletzung führt unabhängig davon, ob der angefochtene Entscheid im Ergebnis haltbar ist, zu dessen Aufhebung (BGE 126 V 132; BGE 117 Ia 7; HÄFELIN/MÜLLER, Allgemeines Verwaltungsrecht, Zürich 2002, N 1709; KNEUBÜHLER, Gehörsverletzung und Heilung, ZBl 1998, 101). Das Kantonsgericht hat mit freier Kognition zu prüfen, ob der vorinstanzliche Entscheid den Anspruch auf rechtliches Gehör respektiert (LEUENBERGER/UFFER-TOBLER, Kommentar zur Zivilprozessordnung des Kantons St. Gallen, Bern 1999, N 3d zu Art. 254 ZPO). Die Gehörsverweigerung kann nach der Rechtsprechung geheilt werden, jedoch nur wenn es sich nicht um eine schwer wiegende Verletzung handelt und wenn der Rechtsmittelinstanz die gleiche Kognition zusteht wie der Vorinstanz (BGE 126 I 68, 72; 116 Ia, 94, 95; 112 Ib 170, 175; HÄFELIN/MÜLLER, a.a.O., N 1710 f.).
Die Klägerinnen liessen sich mit zwei Eingaben vernehmen. Am 11. Oktober 2004 - noch ohne Kenntnis der Akten - machten sie geltend, der Streitwert umfasse nicht den ganzen Bruttonachlass, sondern höchstens die jeweiligen Pflichtteile (je ein Achtel des Nettonachlasses), der geltend gemachte Aufwand stehe zudem in keinem Verhältnis zum Aufwand, was auch bestätigt werde durch die Honorarvereinbarung, die am ersten Vorstand getroffen worden sei, wo die ausseramtliche Entschädigung auf Fr. 5'000.-- beziffert worden sei. In der zweiten Stellungnahme vom 19. November 2004 - nun in Kenntnis der Akten - wird einzig noch auf die frühere Vereinbarung betreffend eine Parteientschädigung von Fr. 5'000.-- verwiesen. An dieser früheren Vereinbarung habe man sich zu orientieren und entsprechend den Betrag - da der Aufwand nun noch bedeutend geringer war - zu reduzieren. Die Beklagten hätten das Protokoll der seinerzeitigen Einigung vom 20. Mai 2003 nur unvollständig eingereicht, um zu verschleiern, dass man seinerzeit die Parteientschädigung auf Fr. 5'000.-- beschränkt habe. Entsprechend würden sie, die Klägerinnen, nun das vollständige Protokoll nachreichen. Beide Stellungnahmen wurden der Beklagten 1 nicht zugestellt.
Die Klägerinnen beschränkten sich in ihren Stellungnahmen somit nicht auf einen blossen Abweisungs- (beziehungsweise Teilabweisungs-)Antrag. Vielmehr behaupteten sie insbesondere mit dem Hinweis auf die frühere Entschädigungsvereinbarung über Fr. 5'000.-- einen (neuen) Sachverhalt, was ausserhalb dessen lag, wie die Beklagte 1 ihren Honoraranspruch begründet hatte. Sie hätten somit Anlass für eine nachträgliche Eingabe der Beklagten 1 sein können. Indem die Vermittlerin ihr die beiden Stellungnahmen nicht zustellte, verletzte sie ihren Anspruch auf rechtliches Gehör.
a) Vorerst ist festzustellen, dass sich die Parteientschädigung für die Vermittlung vom 22. Juni 2004 nicht an der am Vermittlungsvorstand vom 20. Mai 2003 abgeschlossenen Vereinbarung, wo man sich auf eine ausseramtliche Entschädigung von Fr. 5'000.-- beschränkte, zu orientieren hatte. Einerseits ist es oft so, dass sich eine Partei für den Fall, dass eine Einigung zustande kommt, mit einer reduzierten Parteientschädigung begnügt. Anderseits wurde der klägerische Rechtsvertreter mit Schreiben des Rechtsvertreters der Beklagten 2 vom 17. Mai 2004 unmissverständlich darauf aufmerksam gemacht, dass er im Fall einer Anfechtung des Vergleichs ein erhebliches Kostenrisiko eingehe, sei doch von einem Streitwert von Fr. 10 Mio. auszugehen. Die Klägerinnen mussten sich somit des Kostenrisikos bewusst sein und hatten keine Veranlassung anzunehmen, der Beklagte würde sich mit Fr. 2'000.-- begnügen.
b) Die Klägerinnen hatten in ihrer Stellungnahme vom 19. November 2004 den geltend gemachten Streitwert von 10 Mio. nicht bestritten. In ihrer Eingabe vom 11. Oktober 2004 hatten sie jedoch geltend gemacht, der Streitwert umfasse nicht den ganzen Bruttonachlass, sondern höchstens die jeweiligen Pflichtteile (je ein Achtel des Nettonachlasses). Darauf berufen sie sich auch im Beschwerdeverfahren (B/12, S. 3). Die Vermittlerin ging im Kostenentscheid grundsätzlich von einem Streitwert von 10 Mio. aus, da sie annahm, dieser sei unbestritten geblieben. Diese Annahme ist demnach aktenwidrig.
Die Beklagte 1 nimmt an, das Streitbetreffnis sei der Bruttowert des Gesamtnachlasses, der ja nach den Rechtsbegehren festzustellen und zu teilen sei. Dies sei auch der Streitwert in der hier relevaten Anfechtung, da es wiederum darum gehe, dass der Gesamtnachlass gerichtlich geteilt werde (Gesuch vom 03.09.2004, S. 3f.). Jedoch ist nach Lehre und Rechtsprechung zu differenzieren. Der Gesamtwert des zu teilenden Vermögens - und zwar der Nettowert, nicht die Bruttoaktiven - gilt nach der bundesgerichtlichen Rechtsprechung und der vorherrschenden Lehre nur dann als massgeblicher Streitwert, wenn streitig ist, ob eine Teilung überhaupt zulässig ist. Ist die Teilung als solche aber nicht streitig, gilt der mit der Klage geltend gemachte Erbteil (zufolge Ungültigkeit einer letztwilligen Verfügung oder Herabsetzung) als Streitwert (BGE 86 II 451; LEUENBERGER/UFFER, Kommentar zur Zivilprozessordnung des Kantons St. Gallen, Bern 1999, N 4a zu Art. 75 m.w.N.; FRANK/STRÄULI/MESSMER, Kommentar zur zürcherischen Zivilprozessordnung, Zürich 1997, N 10 ZU § 18; PETER C.SCHAUFELBERGER, Basler Kommentar, 2. Aufl., Basel 2003, N 26 zu Art. 604 ZGB). Soweit ersichtlich einzig POUDRET/SANDOZ-MONOD (Commentaire de la loi fédérale d’organisation judiciaire, Bern 1990, N 9.4 zu Art. 36 OG) vertreten die Auffassung, auch bei unstreitiger Teilung sei vom gesamten Nettonachlass auszugehen, denn es gehe immer darum, den ganzen Nachlass zu teilen und die Anteile aller Erben zu bestimmen.
Hier gibt es keine Anhaltspunkte, dass die Teilung selber strittig war. Vielmehr ging es offenbar im Kern darum, dass gestützt auf eine handschriftliche letztwillige Verfügung vom 22. Dezember 1987 geteilt werden sollte, wobei diese Verfügung bis zum Pflichtteil des Beklagten 2 und damaligen Klägers hätte herabgesetzt werden sollen. Letztlich kann die Frage, was der Streitwert in der ursprünglichen Teilungs-, Ungültigkeits- und Herabsetzungsklage gewesen wäre, jedoch offen gelassen werden. Gegenstand des zweiten Vermittlungsvorstands vom 22. Juni 2004 war nämlich nicht Teilung, Ungültigkeit und Herabsetzung, sondern die Anfechtung der am ersten Vermittlungsvorstand vom 20. Mai 2003 ausgesprochenen Anerkennung der Teilungs-, Ungültigkeits- und Herabsetzungklage des Beklagten 2 durch die Klägerinnen gestützt auf einen Willensmangel. Darauf weist die Beklagte 1 in ihrer Rechtsverweigerungsbeschwerde zu Recht selber hin (B/1, S. 9). Die Klägerinnen hatten offenbar die Frist für eine eigene Ungültigkeits- und Herabsetzungsklage verpasst und auch keine Einredemöglichkeit (Art. 521 Abs. 3 und 533 Abs. 3 ZGB), was bewirkte, dass sie als Erbinnen ausschieden und ihre Pflichtteile der Beklagten 1 als durch die letztwillige Verfügung begünstigten überlebenden Ehefrau zugute kamen. Es ging somit in der Vermittlung vom 22. Juni 2004 darum, ihre Anerkennung jener Klagen aufzuheben, womit die ursprünglich eingeleitete Vermittlung mit den Rechtsbegehren auf Teilung, Ungültigkeit und Herabsetzung wieder hängig werden sollte und sie damit die Möglichkeit erhalten sollten, ihre Pflichtteilsansprüche einredeweise im Rahmen jener Teilungsklage (BGE 120 II 417 ff; 103 II 88) durchzusetzen. Der Streitwert entspricht somit dem, was sie durch die Anfechtung zu erhalten hofften, also den beiden Pflichtteilsansprüchen der Klägerinnen (und ursprünglichen Beklagten).
Gemäss Nachlassinventar betrugen die Nachlassaktiven Fr. 7'856'396.--. Dass die tatsächlichen Marktwerte der Liegenschaften höher sind, wurde nicht bestritten. Der von der Beklagten 1 errechnete Wert der Aktiven von insgesamt Fr. 10'923'600.-- wurde als solcher nicht bestritten. Davon ist somit auszugehen. Unter Berücksichtigung der Nachlasspassiven bleibt ein Reinvermögen per Todestag von rund Fr. 9‘559'002.--. Hiervon abzuziehen sind noch die güterrechtlichen Ansprüche des überlebenden Ehegatten. Aufgrund des von den Parteien eingereichten Nachlassinventars ist davon auszugehen, dass die Hälfte des Reinvermögens zufolge Errungenschaftsbeteiligung der überlebenden Ehefrau zufällt. Als Nachlassvermögen verbleibt somit ein Betrag von rund Fr. 4,78 Mio. Der Streitwert entspricht zweimal einem Achtel hiervon, nämlich rund Fr. 1'195’000.--.
c) Bei diesem Streitwert beträgt das mittlere Honorar Fr. 43'082.-- (Art. 14 lit. g HonO). Im Vermittlungsverfahren kann hiervon bis zum einem Fünftel verlangt werden (Art. 27 lit. a HonO), also maximal Fr. 8'616.--, zuzüglich Barauslagen von 4% des Honorars (Art.29 bis HonO) und MwSt. In mittleren (durchschnittlichen) Fällen soll das Honorar bei 10% liegen (Vermittlerhandbuch, Rz 218). Ob ein mittlerer, ein unterdurchschnittlicher oder ein überdurchschnittlicher Fall vorliegt, beurteilt sich aufgrund des Vorbereitungsaufwands im Hinblick auf die Vermittlung, aufgrund des Aufwands für die Vermittlung selber, schliesslich aber auch - entgegen der Auffassung der Klägerinnen (B/12 S. 4) - aufgrund des Aufwands nach dem Vermittlungsvorstand bis zum Ablauf der Einschreibungsfrist (zum Beispiel im Hinblick auf eine doch noch mögliche Vermeidung des Prozesses, gleichsam als Verlängerung der Bemühungen am Vermittlungsvorstand). Es sind daher nicht nur die mit einem Vermittlungsvorstand unmittelbar zusammenhängenden Kosten zu erstatten (vgl. auch GVP 1962 Nr. 24).
Die von der Vermittlerin festgelegte Entschädigung von pauschal Fr. 2'000.-- (inklusive Barauslagen) entspricht lediglich knapp 4,5% des mittleren Honorars. Das wäre somit dann nicht willkürlich, wenn von einem unterdurchschnittlichen Fall ausgegangen werden könnte. Ob dies der Fall ist, beurteilt sich aufgrund der Akten und Unterlagen, über welche die Vermittlerin bei ihrem Entscheid verfügte. Bei der Rechtsverweigerungsbeschwerde gilt das Novenverbot (LEUENBERGER/UFFER-TOBLER, N 3 zu Art. 255 ZPO). Im Gesuch an die Vermittlerin vom 3. September 2004 (S. 3) begründete die Beklagte 1 ihren Anspruch mit der umfangreichen Instruktion und den zur Beurteilung der Frage, ob allenfalls Vergleichsbedarf bestehen würde rechtlichen und tatsächlichen Abklärungen (S. 5/6). Die nun mit der Beschwerde als Novum eingereichten Stundenaufschriebe lagen der Vermittlerin nicht vor. Der Gegenstand dieser Vermittlung war indessen ein anderer (Anfechtung wegen Willensmängeln) als derjenige der Vermittlung vom 21. Mai 2003. Die Vermittlerin war sich offenbar der unterschiedlichen und komplexen Rechtslage nicht wirklich bewusst, wenn sie schreibt, es sei lediglich darum gegangen, "die Akten aus dem ersten Verfahren kurz zu studieren sowie die Mandaten und allenfalls den Vertreter des jeweils Mitangeklagten zu konsultieren". Einerseits musste nämlich abgeklärt werden, wie die erbrechtliche Situation der Klägerinnen wäre, wenn die Anfechtung erfolgreich wäre und anderseits, inwiefern aufgrund des Verhaltens aller Beteiligten, insbesondere auch des Vertreters der Beklagten 1 an der ersten Vermittlung vom 20. Mai 2003 die Klägerinnen einem Willensmangel unterlegen sein konnten (Täuschung, Nicht-Aufdecken eines erkannten Irrtums) und wie sich ein solcher (allfälliger) Willensmangel prozessual auswirken könnte. Insofern ist auch entgegen der Auffassung der Klägerinnen (B/12, S. 2 unten, die davon ausgehen, dies betreffe nur mögliche Haftpflichtansprüche gegen die Gegenanwälte und daher gesonderte Angelegenheiten) nicht einfach ohne Bedeutung, dass die Klägerinnen den Vertretern der Gegenparteien offensichtlich täuschendes Verhalten vorwarfen. Neben der nicht alltäglichen rechtlichen Ausgangslage war hier sodann zu berücksichtigen, dass zwei Beklagte (mit unterschiedlichen Interessenlagen) eingeklagt worden waren, die ihr Vorgehen koordinieren mussten. Mehrere Parteien lassen einen Fall in der Regel eher als überdurchschnittlich erscheinen. Insgesamt ergibt sich, dass von einem überdurchschnittlichen Fall hätte ausgegangen werden müssen. Eine Parteientschädigung in der oberen Hälfte der Bandbreite, dass heisst eine Entschädigung zwischen 10% und 20%, wäre somit noch im Rahmen des Ermessens gelegen. Indem die Vermittlerin lediglich knapp 4,5% zusprach, überschritt sie ihr Ermessen indessen klar und handelte willkürlich. Liegt ein Prozess mit Streitwert vor, ist grundsätzlich vom entsprechenden Tarif auszugehen. Es liegt in der Natur der Sache, dass bei hohen Streitwerten hohe Honorare resultieren können. Zwar kann nach Art. 3 HonO vom Honorar gemäss Honorarordnung abgewichen werden. Auf diese Ausnahmebestimmung kann aber nicht einfach bei jedem Fall mit hohem Streitwert ausgewichen werden, weil sonst die vom Gesetzgeber auch für das Vermittlungsverfahren gewollte streitwertabhängige Entschädigung unterlaufen würde. Welcher Betrag letztlich angemessen ist, kann hier offen gelassen werden. Es ist nicht Sache der Beschwerdeinstanz, ihr Ermessen an die Stelle desjenigen der Vorinstanz zu stellen. Es ist an der Vermittlungsbehörde, diese Entschädigung in neuer Würdigung der Umstände konkret zu bestimmen (vgl. auch BGE vom 26.11.1996, ZBl 1998, 34 ff.a.E.).
Demzufolge ist Ziffer 1 des Kostenentscheids aufzuheben.