Erwägungen
1. Die A. AG (Klägerin) ist eine in der Immobilienbranche tätige Aktiengesellschaft mit Sitz in B. (Kanton Thurgau); Mitglied des Verwaltungsrats mit Einzelunterschrift ist C. (kläg.act. 5). Die A. AG firmierte ehemals als D. AG in E. Gemäss den Angaben der Klägerin hatte die Umfirmierung stattgefunden, damit die Firma der D. AG für eine entsprechend neu gegründete Aktiengesellschaft frei wurde. Die F. AG (Beklagte) hat ihren Sitz in G. (Kanton Zürich) und bezweckt insbesondere den Handel mit Immobilien und Grundstücken; Mitglied des Verwaltungsrats mit Einzelunterschrift ist H. (kläg.act. 6). Zwischen der Klägerin bzw. C., der Beklagten bzw. H. und der I. AG in B. (Litisdenunziatin) bzw. J. bestand eine jahrelange Zusammenarbeit, insbesondere auch als Aktionäre der K. AG in E. (vgl. kläg.act. 4 Ziff. 1; bekl.act. 3).
Am 4. April 2003 schlossen die Parteien sowie die I. AG eine "Grundsatzvereinbarung über die Zusammenarbeit" im Bereich Kauf, Verkauf, Sanierung und Verwaltung von Grundstücken ab (nachfolgend Grundsatzvereinbarung; kläg.act. 4). Mit dem "Vertrag über die Aufhebung der Grundsatzvereinbarung über die Zusammenarbeit" vom 9. März 2006 vereinbarten die Parteien der Grundsatzvereinbarung, diese im Verhältnis zwischen der Beklagten (F. AG) und der I. AG einerseits und der Klägerin (D. AG bzw. A. AG) andererseits per 31. Dezember 2005 vorzeitig aufzulösen (nachfolgend Aufhebungsvertrag; kläg. act. 3), und sie regelten unter anderem die Abwicklung der noch pendenten, gemeinsamen Geschäfte bis zum 15. Juli 2006 (kläg.act. 3 Ziff. II.1. und Ziff. II.2.). Gemäss Ziff. II.2.1. sollte die Klägerin (A. AG) bis zum 15. Juli 2006 weiterhin Generalunternehmer-Dienstleistungen bieten. Als Entschädigung sollte die Klägerin bzw. C. zum Zeitpunkt der Vertragsunterzeichnung (09.03.2006) Fr. 100'000.-- und am 15. Juli 2006 einen weiteren Betrag von Fr. 100'000.-- erhalten (kläg.act. 3 Ziff. II.2.2.).
2. Mit der vorliegenden Klage vom 20. November 2008 verlangt die Klägerin gestützt auf Ziff. II.2.2. Abs. 2 des Aufhebungsvertrages die Bezahlung der unbestrittenermassen ausgebliebenen zweiten Zahlung über Fr. 100'000.--.
Die Klägerin hatte eine identische Klage beim Handelsgericht des Kantons Zürich eingereicht. Dieses trat mit Beschluss vom 8. September 2008 auf die Klage (und auf die Widerklage) nicht ein (kläg.act. 2). Die Klägerin hatte dabei insbesondere geltend gemacht, der in Ziff. II.4.6. des Aufhebungsvertrages vereinbarten Gerichtsstandsklausel sei die Anwendung zu versagen, da die Beklagte ihren Sitz, der offensichtlich Anknüpfungspunkt für die Vereinbarung der ordentlichen Gerichte von E. (Kanton St. Gallen) gewesen sei, mittlerweile nach G. (Kanton Zürich) verlegt habe, so dass kein genügender örtlicher Bezug zur Streitsache gegeben sei. Sie hatte deshalb am Sitz der Beklagten geklagt. Das Handelsgericht Zürich hatte die Frage offen gelassen, welche Bedeutung und inhaltliche Tragweite der Ziff. II.4.6. des Aufhebungsvertrags zukommt. Bei Anwendbarkeit von Ziff. II.4.6. des Aufhebungsvertrages wäre nicht das Handelsgericht Zürich, sondern es wären die ordentlichen Gerichte von E. (Kanton St. Gallen) zuständig. Bei Nichtanwendbarkeit dieser Gerichtsstandsklausel wäre gestützt auf die Verweisklausel in Ziff. I.2. des Aufhebungsvertrags die Schiedsklausel gemäss Ziff. 11.2. der Grundsatzvereinbarung anwendbar, womit der Streitgegenstand der Zuständigkeit der staatlichen Gerichte entzogen sei. Im einen wie im andern Fall sei das angerufene Handelsgericht Zürich nicht zuständig (kläg.act. 2 S. 11 E.2.3.4.). Der Entscheid ist rechtskräftig.
3. Mit Klageantwort vom 9. Februar 2009 erhob die Beklagte die Einrede der Unzuständigkeit und beantragte Nichteintreten auf die Klage. Sie machte insbesondere geltend, die Gerichtsstandsvereinbarung in Ziff. II.4.6. des Aufhebungsvertrags (kläg.act. 3) sei vorliegend für die Frage der sachlichen Zuständigkeit nicht massgebend. Damit gelange Ziff. I.2. des Aufhebungsvertrags zur Anwendung, wonach die Bestimmungen der Grundsatzvereinbarung (kläg.act. 4) weiterhin gelten, soweit sich der Aufhebungsvertrag zu Sachgegenständen nicht äussert, welche in der Grundsatzvereinbarung geregelt sind. In Ziff. 11.2. der Grundsatzvereinbarung hätten die Parteien unter dem Titel "Anwendbares Recht/Schiedsklausel" ausdrücklich vereinbart, dass allfällige Streitigkeiten aus der Grundsatzvereinbarung von einem Einzelschiedsrichter beurteilt werden.
Mit Vorfragereplik vom 23. März 2009 beantragte die Klägerin, es sei auf die Klage einzutreten. Sie brachte vor, entgegen den Ausführungen der Beklagten habe sie der Gerichtsstandsklausel gemäss Ziff. II.4.6. des Aufhebungsvertrags sowohl im vorliegenden Verfahren als auch im Verfahren vor Handelsgericht Zürich eine umfassende Tragweite zugeschrieben. Mit der Regelung hätten die Parteien in Bezug auf die Zuständigkeit für Streitigkeiten aus dem Aufhebungsvertrag eine autonome, von der Grundsatzvereinbarung unabhängige Gerichtsstandsordnung schaffen wollen. Einerseits sei gemäss Aufhebungsvertrag für Bewertungsfragen einer unabhängigen Drittperson ein Vorschlagsrecht eingeräumt worden. Anderseits seien für allfällige Streitigkeiten aus dem Aufhebungsvertrag die ordentlichen Gerichte am Gerichtsstand in E. (Kanton St. Gallen) prorogiert worden. Die örtliche Zuständigkeit sei somit in E. (Kanton St. Gallen) gegeben.
Die Beklagte hielt in der Vorfrageduplik vom 25. Mai 2009 an ihrer Auffassung fest, wonach auf die vorliegende Streitigkeit die Schiedsklausel gemäss Ziff. 11.2. der Grundsatzvereinbarung anzuwenden sei. Die Parteien haben auf eine mündliche Verhandlung vor dem Handelsgericht verzichtet.
4. Die Klägerin stützt den eingeklagten Anspruch auf den Aufhebungsvertrag (kläg.act. 3) und die Grundsatzvereinbarung (kläg.act. 4), insbesondere auf Ziff. II.2.2. Abs. 2 des Aufhebungsvertrags, wonach die Klägerin bzw. C. am 15. Juli 2006 einen weiteren Betrag von Fr. 100'000.-- erhält. In Bezug auf die Zuständigkeit des Handelsgerichts St. Gallen beruft sich die Klägerin auf die Gerichtsstandsklausel in Ziff. II.4.6. des Aufhebungsvertrags. Diese hat folgenden Wortlaut:
"4.6. Gerichtsstand
Der unabhängigen Drittperson im Sinne von Ziff. 11.3. der Grundsatzvereinbarung steht für alle Bewertungsfragen ein Vorschlagsrecht zu. Der Vorschlag der unabhängigen Drittperson ist für die Parteien nicht verbindlich. Können sich die Parteien nicht einigen, so sind die ordentlichen Gerichte zuständig. Gerichtsstand ist E. (Kanton St. Gallen)."
Beide Parteien gehen davon aus, dass die Gerichtsstandsklausel von Ziff. II.4.6. gültig vereinbart worden ist (Art. 9 Abs. 1 und 2 GestG).
a) Gemäss Art. 9 Abs. 1 Satz 2 GestG ist das prorogierte Gericht ausschliesslich zuständig, soweit aus der Gerichtsstandsvereinbarung nichts anderes hervorgeht. Steht das Zustandekommen einer Gerichtsstandsvereinbarung fest, ist diese im Zweifel nicht restriktiv auszulegen, sondern sie ist als Ausdruck des Parteiwillens zu verstehen, dem erwählten Gericht eine umfassende Zuständigkeit zu verschaffen (Wirth, Kommentar Gerichtsstandsgesetz, Zürich 2001, N 66 zu Art. 9 GestG; BGE 121 III 500 E.5c [Schiedsgerichtsklausel IPRG]). Eine in einem Vertrag enthaltene Gerichtsstandsklausel erfasst in der Regel alle Rechtsstreitigkeiten über Ansprüche, die sich aus dem Vertragsverhältnis oder in einem engen tatsächlichen Zusammenhang mit diesem ergeben, und dies auch dann, wenn das Vertragsverhältnis inzwischen beendigt wurde (Wirth, N 67f. zu Art. 9 GestG). Die in Art. 9 Abs. 1 Satz 2 GestG enthaltene gesetzliche Vermutung der ausschliesslichen Zuständigkeit des vereinbarten Gerichtes bedeutet, dass, sofern aus der Prorogationsvereinbarung nichts anderes hervorgeht, die Klage nur am vereinbarten Gerichtsstand erhoben werden kann (Wirth, N 77 zu Art. 9 GestG). Den Parteien bleibt aber die Möglichkeit offen, statt eines ausschliesslichen insbesondere lediglich einen alternativen oder konkurrierenden Gerichtsstand oder sonstige Einschränkungen betreffend die Anwendbarkeit des vereinbarten Gerichtsstands zu vereinbaren, wobei die inhaltliche Tragweite einer solchen Gerichtsstandsvereinbarung durch Auslegung zu ermitteln ist. Massgebend ist grundsätzlich der gemeinsame Wille der Parteien bei Abschluss der Vereinbarung (Wirth, N 80, 82 zu Art. 9 GestG). Bei der Auslegung ist somit zunächst nach dem von den Parteien erzielten Konsens zu forschen (natürlicher Konsens; vgl. BSK OR I-Wiegand, Art. 18 N 8, 42 m.w.H.). Sofern ein Konsens entgegen dem Wortlaut der Vereinbarung nicht nachgewiesen ist, ist eine schriftlich abgeschlossene Vereinbarung nach dem Vertrauensprinzip auszulegen (normativer Konsens; vgl. BSK OR I-Wiegand, Art. 18 N 13, 19 ff., 35 m.w.H.).
b) Zwischen den Parteien ist die inhaltliche Tragweite der Gerichtsstandsklausel bzw. die Frage, ob sich diese einzig auf Streitsachen im Zusammenhang mit Bewertungsfragen bezieht, umstritten. Gemäss der Klägerin wollten die Parteien mit der Regelung in Ziff. II.4.6. des Aufhebungsvertrags in Bezug auf die Zuständigkeit für Streitigkeiten aus dieser eine autonome, von der Grundsatzvereinbarung unabhängige Gerichtsstandsordnung schaffen; der Gerichtsstandsklausel komme mithin eine umfassende Tragweite zu (vgl. Klage S. 3 f.). Die Beklagten führten aus, eine sachgerechte Auslegung des Aufhebungsvertrags und der Grundsatzvereinbarung führe zum Schluss, dass angesichts der eingeschränkten Bedeutung von Ziff. II.4.6. des Aufhebungsvertrags in dieser eine Aussage zur Streiterledigung fehle, womit die entsprechenden Bestimmungen der Grundsatzvereinbarung anwendbar seien (kläg.act. 3 Ziff. I.2.).
Die Parteien bringen nicht vor, dass neben den schriftlichen Verträgen etwas Abweichendes vereinbart worden sei oder dass das in den schriftlichen Verträgen Festgehaltene nicht dem übereinstimmenden Willen der Parteien entspreche. Auf die in diesem Zusammenhang beantragten Zeugeneinvernahmen kann deshalb verzichtet werden.
c) Die beiden Vereinbarungen sind somit insbesondere nach dem Wortlaut, der systematischen Stellung und nach dem Vertrauensprinzip auszulegen.
aa) Zwischen den Parteien ist, wie im Beschluss des Handelsgerichts Zürich vom 8. September 2008 (S. 6 E.2.3.2.) festgehalten wurde, unbestritten, dass vorliegend nicht Bewertungsfragen im Sinne von Ziff. 11.3. der Grundsatzvereinbarung Gegenstand der Klage sind (vgl. Duplik S. 4 Rz. 8). In Ziff. 11 der Grundsatzvereinbarung wird unter dem Titel "Anwendbares Recht/Schiedsklausel" Folgendes festgehalten:
"11.2. Die Parteien vereinbaren ausdrücklich, dass allfällige Streitigkeiten aus dieser Vereinbarung von einem Einzelschiedsrichter am Sitz einer der Gesellschaften erledigt werden. In die Zuständigkeit des Einzelschiedsrichters fallen auch Streitigkeiten über die Gültigkeit dieser Vereinbarung sowie Auseinandersetzungen mit ausgetretenen Parteien und deren Rechtsnachfolgern.
11.3. Bei Streitigkeiten im Zusammenhang mit der Ermittlung bzw. Konsolidierung und Verteilung des Gesamtergebnisses gemäss Ziff. 6 und 7 vorstehend amtet als Einzelschiedsrichter die unabhängige Drittperson.
11.4. Bei allen übrigen Streitigkeiten wird der Einzelschiedsrichter im Einzelfall durch die betroffenen Parteien bestimmt. Können sich die Parteien nicht auf einen Schiedsrichter einigen, wird dieser durch den Präsidenten des kantonalen Obergerichts bestimmt."
Zwischen den Parteien ist, wie im Beschluss des Handelsgerichts Zürich vom 8. September 2006 (S. 8 E.2.3.3.) festgehalten wurde, unbestritten, dass die Schiedsklausel der Grundsatzvereinbarung entsprechend den Anforderungen des Konkordats über die Schiedsgerichtsbarkeit (KSG; sGS 961.71) gültig vereinbart wurde. Die Schiedsklausel in Ziff. 11.2. der Grundsatzvereinbarung ist grundsätzlich umfassend formuliert, indem sie sämtliche Streitigkeiten aus der Grundsatzvereinbarung umfasst, ferner auch Streitigkeiten über die Gültigkeit der Grundsatzvereinbarung sowie Auseinandersetzungen mit Parteien, die die Zusammenarbeit nach Massgabe der Grundsatzvereinbarung beendet haben, mithin ausgetreten sind. Gegenstand der Grundsatzvereinbarung ist die Zusammenarbeit der Parteien und der I. AG (kläg.act. 4 Ziff. 3 und 5); Streitigkeiten in diesem Zusammenhang werden unbestrittenermassen von der Schiedsklausel gemäss Ziff. 11.2. der Grundsatzvereinbarung erfasst. In Bezug auf diese Streitigkeiten hält Ziff. 11.4. der Grundsatzvereinbarung fest, dass der Einzelschiedsrichter durch die Parteien bzw. bei fehlender Einigung durch den Präsidenten des kantonalen Obergerichts bestimmt wird.
Für die "Ermittlung des Gesamtergebnisses" (Ziff. 6 der Grundsatzvereinbarung) und die "Aufteilung des Gesamtergebnisses" (Ziff. 7 der Grundsatzvereinbarung) haben die Parteien in Ziff. 11.3. der Grundsatzvereinbarung eine spezielle Regelung in Bezug auf die Ernennung des Einzelschiedsrichters getroffen. Ziff. 6 der Grundsatzvereinbarung enthält eine detaillierte Regelung zur Berechnung des Gesamtergebnisses, wobei die Einzelergebnisse der einzelnen Gesellschaften konsolidiert werden. Die Konsolidierung wird durch die "unabhängige Drittperson" durchgeführt oder überprüft (Ziff. 6.2.1. Grundsatzvereinbarung). Ergibt sich in Bezug auf die Ermittlung des Gesamtergebnisses keine Einigung, hat die "unabhängige Drittperson" darüber zu entscheiden, welche Komponenten mit in die Berechnung einzubeziehen sind (Ziff. 6.2.5. Grundsatzvereinbarung). In Ziff. 7 der Grundsatzvereinbarung wird festgehalten, wie hoch die Quoten der Parteien sind und welchen anteiligen Anspruch sie am Gesamtergebnis haben. In Bezug auf die soeben erwähnte Ermittlung und Verteilung des Gesamtergebnisses hält Ziff. 11.3. fest, dass von den Parteien nicht von Fall zu Fall ein Einzelschiedsrichter bestimmt wird, sondern dass die "unabhängige Drittperson" (vgl. Ziff. 6.2.1. und Ziff. 6.2.5. Grundsatzvereinbarung) als Einzelschiedsrichter amtet. Unbestrittenermassen sind Fragen der Ermittlung und Verteilung des Gesamtergebnisses gemäss Ziff. 6, 7 und 11.3. der Grundsatzvereinbarung nicht Gegenstand der vorliegenden Klage (vgl. Beschluss des Handelsgerichts Zürich S. 6 Ziff. 2.3.2.).
Ziff. 4.6. des Aufhebungsvertrags nimmt ausdrücklich auf Ziff. 11.3. der Grundsatzvereinbarung Bezug, indem festgehalten wird, dass der "unabhängigen Drittperson im Sinne von Ziff. 11.3. der Grundsatzvereinbarung" für alle Bewertungsfragen ein Vorschlagsrecht zusteht. Ziff. 11.3. der Grundsatzvereinbarung wird aber in dem Sinne abgeändert, dass die "unabhängige Drittperson" nicht als Einzelschiedsrichter amtet, sondern dass sich ihre Kompetenz auf ein Vorschlagsrecht beschränkt, welches für die Parteien nicht verbindlich ist. Für den Fall, dass sich die Parteien nicht einigen können, haben sie in Ziff. 4.6. des Aufhebungsvertrags nicht die Einsetzung eines Schiedsrichters vereinbart, sondern sehen die Beurteilung durch die ordentlichen Gerichte vor, wobei der Gerichtsstand in E. (Kanton St. Gallen) ist. Aufgrund des Verweises von Ziff. 4.6. des Aufhebungsvertrags auf Ziff. 11.3. der Grundsatzvereinbarung, in welcher es ausschliesslich um Streitigkeiten über die Ermittlung und Verteilung des Gesamtergebnisses gemäss Ziff. 6 und 7 der Grundsatzvereinbarung geht, ist zu schliessen, dass sich die Gerichtsstandsklausel ausschliesslich auf diese Streitigkeiten bezieht. Nachdem es bei der vorliegenden Klage nicht um Bewertungsfragen gemäss Ziff. 6, 7 und 11.3. der Grundsatzvereinbarung geht, ist Ziff. 4.6. des Aufhebungsvertrags vorliegend nicht anwendbar.
bb) In Bezug auf das Verhältnis zwischen dem Aufhebungsvertrag und der Grundsatzvereinbarung haben die Parteien in Ziff. I.2. des Aufhebungsvertrags (kläg.act. 3) Folgendes vereinbart:
"2. Verhältnis Aufhebungsvertrag / Grundsatzvereinbarung
Soweit sich dieser Aufhebungsvertrag zum selben Sachgegenstand äussert, wie die Grundsatzvereinbarung, gehen die Bestimmungen des Aufhebungsvertrages denjenigen der Grundsatzvereinbarung vor. Soweit sich der Aufhebungsvertrag zu Sachgegenständen nicht äussert, welche in der Grundsatzvereinbarung geregelt sind, gelten die Bestimmungen der Grundsatzvereinbarung weiterhin."
Wie erwähnt, haben die Parteien im Aufhebungsvertrag eine Gerichtsstandsklausel vereinbart, welche ausschliesslich Bewertungsfragen im Sinne von Ziff. 6, 7 und 11.3. der Grundsatzvereinbarung umfasst, nicht dagegen den mit der vorliegenden Klage geltend gemachten Anspruch. Nachdem aber der Aufhebungsvertrag keine Regelung über den Gerichtsstand für alle übrigen Streitigkeiten aus dem Aufhebungsvertrag enthält, gelten gemäss Ziff. I.2. Satz 2 des Aufhebungsvertrags die Bestimmungen der Grundsatzvereinbarung weiterhin. Wie erwähnt, haben die Parteien für diese übrigen Streitigkeiten in Ziff. 11.2. und 11.4. eine Schiedsklausel vereinbart und damit diese Streitigkeiten der Zuständigkeit der staatlichen Gerichte entzogen. In Übereinstimmung mit dem Entscheid des Handelsgerichts Zürich (S. 11 E.2.3.4.) ist somit davon auszugehen, dass gestützt auf die Verweisklausel in Ziff. I.2. des Aufhebungsvertrags die Schiedsklausel der Grundsatzvereinbarung zum Tragen kommt, deren Anwendungsbereich sich dem Wortlaut zufolge insbesondere auch auf Streitigkeiten mit ausgetretenen Parteien und damit auf den Gegenstand der vorliegenden Klage erstreckt.
Die Klägerin hat im vorliegenden Verfahren keine Einwendungen mehr gegen die Anwendbarkeit der Verweisklausel in Ziff. I.2. des Aufhebungsvertrags erhoben. Das Handelsgericht Zürich hielt im Beschluss vom 8. September 2008 (S. 9f. E.2.3.3.) zu Recht fest, dass sich die Schiedsklausel in Ziff. 11.2. und 11.4. der Grundsatzvereinbarung nicht ausschliesslich auf Streitigkeiten aus der Grundsatzvereinbarung selber bezieht, sondern es sei aufgrund der Verweisklausel in Ziff. I.2. des Aufhebungsvertrags davon auszugehen, dass die Parteien zum Ausdruck gebracht hätten, nicht sämtliche in der Grundsatzvereinbarung getroffenen Abreden auch im Rahmen des Aufhebungsvertrags wiederholen zu wollen. Eine Schiedsabrede sei auch dann gültig, wenn sie auf eine anderweitig fixierte Schiedsabrede – wie hier in Ziff. I.2. des Aufhebungsvertrags – Bezug nehme. Das Handelsgericht Zürich verwarf in seinem Entscheid (S. 10 E.2.3.3.) auch den Einwand der Klägerin, die Schiedsklausel sei nicht hinreichend bestimmt und verletze Art. 4 Abs. 3 KSG, mit dem Hinweis, dass die Schiedsklausel gemäss Ziff. 11.2. der Grundsatzvereinbarung nach deren klarem Wortlaut insbesondere auch auf Auseinandersetzungen mit ausgetretenen Parteien anwendbar sei. Schliesslich verwarf das Handelsgericht Zürich (Beschluss S. 10f. E.2.3.3.) auch den Einwand der Klägerin, dass sich Ziff. I.2. des Aufhebungsvertrags nur auf materielle, nicht jedoch auf prozessuale Fragen beziehe. Eine solche Einschränkung finde im Wortlaut der Verweisklausel von Ziff. I.2. des Aufhebungsvertrags keine Stütze und sei von der Klägerin nicht weiter begründet worden.
d) Zusammenfassend ist festzuhalten, dass Ziff. II.4.6. des Aufhebungsvertrags auf die vorliegende Streitigkeit nicht anwendbar ist, womit gestützt auf die Verweisklausel in Ziff. I.2. des Aufhebungsvertrags gemäss Ziff. 11.2. und 11.4. der Grundsatzvereinbarung der Einzelschiedsrichter am Sitz einer der Gesellschaften zur Beurteilung der vorliegenden Klage zuständig ist. Die von der Beklagten erhobene Einrede der Unzuständigkeit des angerufenen Handelsgerichts ist zu schützen und auf die Klage nicht einzutreten.