Erwägungen:
1. Die A. Holding AG (Klägerin) bezweckt u.a. die Verwaltung von Beteiligungen an anderen Unternehmen und ist gemäss eigenen Angaben Muttergesellschaft der deutschen operativen B. Verwertungscenter GmbH. Sie hatte ihren Sitz in C. im Kanton St. Gallen. Im November 2009 verlegte sie ihren Sitz nach D. im Kanton Zug. Die Sitzverlegung wurde am 23. November 2009 im Handelsregister des Kantons Zug eingetragen (kläg.act. 1). Die E. Holding GmbH (Beklagte) ist eine GmbH nach deutschem Recht mit Sitz in F., Deutschland (kläg.act. 2). Sie gehört zur deutschen G.-Gruppe (vgl. kläg.act. 14).
Die Klägerin wies Ende 2007 einen Kapitalverlust im Sinne von Art. 725 Abs. 1 OR aus und suchte anfangs 2008 angesichts der kritischen Liquiditätssituation nach Investoren, um zumindest die Überbrückungsfinanzierung sicher zu stellen (vgl. kläg.act. 6, 10). Die Beklagte erklärte sich in der Folge bereit, sich zum Zwecke einer strategischen Investition kurzfristig mit 25 % + einer Aktie an der Klägerin zu beteiligen; mittelfristig sollte die Beteiligung gegebenenfalls auf 40 % aufgestockt werden (vgl. kläg.act. 3 lit. A.). Sie verpflichtete sich, der Klägerin ein Darlehen zu gewähren, um in der Zwischenzeit eine angemessene Due Diligence durchführen zu können (vgl. kläg.act. 3 lit. B.). Am 28. März 2008 unterzeichneten die Parteien eine Darlehens- und Rangrücktrittsvereinbarung (kläg.act. 3), gemäss welcher die Beklagte der Klägerin ein ungesichertes Darlehen in der Höhe von EUR 370'000.-- bis zum 30. April 2008, welches zweckgebunden verwendet werden sollte, gewährte (kläg.act. 3 Ziff. 1). Der gesamte Darlehensvertrag wurde vollumfänglich gegenüber allen bestehenden und zukünftigen Forderungen gegen die Klägerin einem unwiderruflichen Rangrücktritt im Sinne von Art. 725 Abs. 1 OR unterstellt (kläg.act. 3 Ziff. 4). In Ziff. 10 der Darlehens- und Rangrücktrittsvereinbarung vereinbarten die Parteien unter "Anwendbares Recht und Gerichtsstand" was folgt:
"Die Vereinbarung untersteht schweizerischem Recht. Gerichtsstand für alle sich aus der Vereinbarung ergebenden Streitigkeiten ist am Sitz der Gesellschaft."
Die Beklagte überwies am 28. März 2008 per Blitzüberweisung den Darlehensbetrag von EUR 370'000.-- an die Klägerin (kläg.act. 11). Mit Schreiben vom 28. April 2008 teilte die Beklagte der Klägerin mit, dass sie nach eingehender Due Diligence von einer Investition in die Klägerin absehe. Sie stellte gemäss Ziff. 3 Abs. 1 Satz 1 der Darlehens- und Rangrücktrittsvereinbarung (kläg.act. 3) das Darlehen zum 30. April 2008 fällig (kläg.act. 14).
2. Am 8. Juli 2009 stellte die Beklagte beim Betreibungsamt C. (Kanton St. Gallen) ein Betreibungsbegehren. Die Klägerin erhob in der Betreibung Nr. 93'246 des Betreibungsamtes C. (Kanton St. Gallen) Rechtsvorschlag, worauf das Kreisgerichtspräsidium H. (Kanton St. Gallen) der Beklagten mit Entscheid vom 16. September 2009 provisorische Rechtsöffnung für Fr. 561'264.-- nebst 8.5 % Zins seit 1. Juli 2008 erteilte (Verfahren SS.2009.471-GS1ZE-YHI). Die Klägerin verlangte am 26. Oktober 2009 einen Vermittlungsvorstand beim Vermittleramt I. (Kanton St. Gallen), wobei sie das eingangs wiedergegebene Rechtsbegehren stellte. Der Vermittlungsvorstand fand am 19. November 2009 statt (kläg.act. 4), worauf die Klägerin am 18. Januar 2010 die vorliegende Klage einreichte. Sie stellte u.a. den prozessualen Antrag, es sei vor der materiellen Beurteilung über die Frage der örtlichen Zuständigkeit zu entscheiden. Sie brachte vor, sie habe im Zeitpunkt der Klageanhebung ihren Sitz in C. (Kanton St. Gallen) gehabt und deshalb das Begehren um Durchführung des Vermittlungsvorstandes beim Vermittleramt I. (Kanton St. Gallen) gestellt. Kurz nach dem am 19. November 2009 durchgeführten Vermittlungsvorstand habe die Klägerin ihren Sitz nach D. (Kanton Zug) verlegt. Sie vertrat die Ansicht, dass das Gericht desselben Ortes, mithin das Handelsgericht des Kantons St. Gallen, zuständig sei, an welchem bereits der provisorische Rechtsöffnungsentscheid gefällt worden sei. Die Beklagte teilte mit Schreiben vom 16. Februar 2010 mit, dass sie keine Einwendungen gegen die Vorbringen der Klägerin zur örtlichen Zuständigkeit erhebe.
3. Die Klägerin ist in der Schweiz domiziliert, und die Beklagte hat ihren Sitz in Deutschland. Es liegt ein internationaler Sachverhalt vor, weshalb gemäss Art. 30a SchKG die völkerrechtlichen Verträge und die Bestimmungen des IPRG zur Anwendung gelangen. Da Deutschland und die Schweiz Vertragsstaaten sind, gelangt das Lugano-Übereinkommen (LugÜ) zur Anwendung (Art. 1 Abs. 2 IPRG; Schnyder/Grolimund, Basler Kommentar [BSK], N 34ff. zu Art. 1 IPRG; Dasser/Oberhammer [Hrsg.], Dasser, Kommentar zum Lugano-Übereinkommen, Bern 2008, Art. 1 LugÜ N 4 und N 25 ff. [zur Auslegung "Zivil- und Handelssachen"]; BGE 130 III 285 E. 3.1 S. 288; vgl. 132 III 778 E. 2.1 S. 782). Der angerufene Richter prüft die Prozessvoraussetzung der örtlichen Zuständigkeit von Amtes wegen (Art. 20 LugÜ; vgl. Art. 79 lit. b ZPO).
a) Die Klägerin beruft sich auf die Gerichtsstandsklausel gemäss Ziff. 10 der Darlehens- und Rangrücktrittsvereinbarung (kläg.act. 3), gemäss welcher der Gerichtsstand für alle sich aus der Vereinbarung ergebenden Streitigkeiten am Sitz der Gesellschaft, d.h. der Klägerin, ist. Diese schriftlich abgeschlossene Gerichtsstandsvereinbarung ist nach Art. 17 Abs. 1 (und insbes. Abs. 1 lit. a) LugÜ zu beurteilen, da beide Parteien – wie erwähnt – ihren Sitz in einem Vertragsstaat haben und gemäss Gerichtsstandsvereinbarung die Zuständigkeit eines Vertragsstaates vereinbart ist (vgl. Dasser/Oberhammer - Killias, Art. 17 LugÜ N 5, 12 ff., 18, 40 ff. und 90). Nach dem klaren Wortlaut von Art. 17 LugÜ kann mit einer Gerichtsstandsvereinbarung ausschliesslich die internationale Zuständigkeit – und nicht das örtlich zuständige Gericht – bestimmt werden, wobei mit der Vereinbarung eines bestimmten Gerichts nicht nur die örtliche, sondern gleichzeitig auch die internationale Zuständigkeit festgelegt wird. Wenn ein Anknüpfungspunkt in die Schweiz weist, sind die Zuständigkeitsregeln des IPRG analog anzuwenden (Dasser/Oberhammer - Killias, Art. 17 LugÜ N 45 und N 51). Vorliegend verweist die Gerichtsstandsvereinbarung auf den Sitz der Gesellschaft, d.h. der Aberkennungsklägerin. Dieser ist in der Schweiz.
Gilt im Verhältnis zum betroffenen ausländischen Staat das LugÜ, so bestimmt sich der Begriff der Klageanhebung nicht allein nach Art. 9 Abs. 2 IPRG, sondern unter Berücksichtigung von Art. 21 LugÜ (BSK IPRG-Berti, Art. 9 N 6). Nach Art. 9 Abs. 2 IPRG tritt die Rechtshängigkeit mit der Klageanhebung, also bereit mit dem Gesuch um Durchführung einer Vermittlung, ein (konstante Rechtsprechung seit BGE 74 II 18; BSK Berti-IPRG, Art. 9 N 11 m.w.H.). Im Bereich der Anwendbarkeit von Art 21 LugÜ genügt gemäss Rechtsprechung ein Sühnverfahren ohne Fortführungslast nicht. Diese Norm verlangt eine definitive Klageanhebung mit einer gewissen Bindung des Klägers an den angehobenen Prozess (BGE 123 III 414 E. 6 S. 423 ff.; BGE 4C.207/2000 vom 25.1.2001 E. 7; Dasser/Oberhammer - Dasser, Art. 21 LugÜ N 42 ff.; BSK Berti-IPRG, Art. 9 N 6). Vorliegend besteht eine Fortführungslast, nachdem die Klägerin ein Vermittlungsbegehren betreffend eine Aberkennungsklage im Sinne von Art. 83 Abs. 2 SchKG eingereicht hat. Entsprechend der Gerichtsstandsvereinbarung hatte sie keine andere Wahl, als die Klage an ihrem damals noch bestehenden, ehemaligen Sitz in C. (Kanton St. Gallen) anzuheben, es sei denn, sie hätte die Klage unter Verzicht der Vermittlung direkt beim Gericht eingereicht. Der massgebende Zeitpunkt ist nach dem LugÜ zu bestimmen. Vorliegend ist die Einleitung des Vermittlungsverfahrens der massgebende Zeitpunkt für das Vorhandensein des Sitzes nach Gerichtsstandsvereinbarung. Das Vermittlungsgesuch stellte aber auch eine gültige Klageanhebung im Sinne des LugÜ dar, da die Vermittlung bei einer Aberkennungsklage, bei der die Klagefrist von 20 Tagen eingehalten werden musste, Bindungswirkung hat. Nachdem die Klägerin die Vermittlung gemäss Gerichtsstandsvereinbarung an ihrem ehemaligen Sitz im Kanton St. Gallen einzuleiten hatte, ist das Handelsgericht des Kantons St. Gallen örtlich für die Beurteilung der Aberkennungsklage zuständig.
b) Im Übrigen wären die Gerichte des Kantons St. Gallen auch zuständig, wenn entsprechend den Vorbringen der Klägerin davon ausgegangen würde, der Gerichtsstand sei bereits mit der Rechtsöffnung am Sitz der Gesellschaft gemäss Gerichtsstandsvereinbarung auch für die Aberkennungsklage festgelegt worden. Die provisorische Rechtsöffnung kann gegenüber einem Schuldner, der in einem der Vertragsstaaten des Lugano-Übereinkommens domiziliert ist, nur am Betreibungsort erteilt werden, wenn er gleichzeitig ein Gerichtsstand des Abkommens ist (BSK SchKG-Staehelin D., Art. 84 N 24 f.). Wie erwähnt, hatten die Parteien eine gemäss Art. 17 LugÜ gültige Gerichtsstandsvereinbarung abgeschlossen, womit die provisorische Rechtsöffnung am Sitz der Klägerin, welcher einen Gerichtsstand des LugÜ darstellt, erteilt werden konnte. In gleicher Weise wie das Begehren um provisorische Rechtsöffnung ist die Aberkennungsklage eine Klage, die den allgemeinen Gerichtsstandsbestimmungen des LugÜ unterliegt. Sie kann nur am Betreibungsort eingereicht werden, wenn dieser Ort ein Gerichtsstand des LugÜ ist (BSK SchKG-Staehelin D., Art. 83 N 38; Hunkeler/Vock, Kurzkommentar SchKG [KUKO], Basel 2009, Art. 83 N 7; BGE 130 III 285 E.3.2 S. 288f.; ZR 2003 Nr. 1; SchKG-Staehelin M., Art. 30a N 23). Gemäss herrschender Lehre und Rechtsprechung ist, wenn eine Aberkennungsklage in den Anwendungsbereich des LugÜ fällt, der Ort, an dem die provisorische Rechtsöffnung erteilt wurde, auch ein Gerichtsstand für die Aberkennungsklage (Jaeger/Walder/Kull/Kottmann, Bundesgesetz über Schuldbetreibung und Konkurs, 4. A., Zürich 1997, N 16 zu Art. 83 SchKG; BSK SchKG-Staehelin D., Art. 83 N 38; BSK SchKG-Staehelin M., Art. 30a N 23; KUKO SchKG-Vock, Art. 83 N 7; ZR 2003 Nr. 1 E. 3). Nach der bundesgerichtlichen Rechtsprechung verstösst es nicht gegen Art. 2 Abs. 1 LugÜ anzunehmen, dass die Aberkennungsklage vom betriebenen Schuldner am Betreibungsort in der Schweiz erhoben werden kann, wenn der Gläubiger mit Wohnsitz oder Sitz in einem Mitgliedstaat des LugÜ nicht eine Forderungsklage erhebt, sondern den Weg der Schuldbetreibung am schweizerischen Wohnsitz des Schuldners wählt (BGE 130 III 285 E.5.3.2 S. 292f.; vgl. Jaeger/Walder/Kull/Kottmann, N 16 zu Art. 83 SchKG; BSK SchKG-Staehelin D., Ergänzungsband, Art. 83 ad N 38).
4. In zweiter Linie ist auch der Gerichtsstand der Einlassung gemäss Art. 18 LugÜ anwendbar, da die Beklagte ihren Sitz in einem Vertragsstaat hat und die Klageerhebung in einem Vertragsstaat erfolgt ist (Dasser/Oberhammer - Killias, Art. 18 LugÜ N 4 ff.). Nach Lehre und Rechtsprechung ist aufgrund einer Einlassung nach Art. 18 LugÜ der Ort, an dem provisorische Rechtsöffnung erteilt wurde, der Gerichtsstand für die Aberkennungsklage, selbst wenn eine Gerichtsstandsvereinbarung für einen anderen Ort vorliegt (ZR 2003 Nr. 1 E. 3; BSK IPRG-Schnyder, Art. 6 N 19; Dasser/Oberhammer - Killias, Art. 18 LugÜ N 13; je m.w.H.). Vorliegend ist eine Einlassung zu bejahen, da sich die Aberkennungsbeklagte mit den Ausführungen der Aberkennungsklägerin zur örtlichen Zuständigkeit einverstanden erklärt und sie damit anerkannt hat. Damit bleibt auch aus diesem Grund die Zuständigkeit im Kanton St. Gallen bestehen, obwohl die Beklagte in der Zwischenzeit ihren Sitz in den Kanton Zug verlegt hat.
5. Aufgrund dieser Überlegungen ist festzustellen, dass das Handelsgericht des Kantons St. Gallen zur Beurteilung der vorliegenden Aberkennungsklage örtlich zuständig ist.