Aus den Erwägungen:
4.a/aa) Der Vorrichter bejahte seine umfassende und damit auch die Kompetenz zur Regelung der Kinderbelange beinhaltende örtliche Zuständigkeit – sinngemäss – unter Hinweis auf Art. 23 Abs. 1 und Art. 271 (lit. a) ZPO i.V.m. Art. 175 sowie Art. 176 Abs. 1 und Abs. 3 ZGB. Danach ist ein Ehegatte berechtigt, den gemeinsamen Haushalt für so lange aufzuheben, als seine Persönlichkeit, seine wirtschaftliche Sicherheit oder das Wohl der Familie durch das Zusammenleben ernstlich gefährdet ist (Art. 175 ZGB); dem Gericht obliegt alsdann, auf Begehren eines Ehegatten die Unterhaltsbeiträge an die Kinder und (den anderen) Ehegatten festzulegen, die Benützung der Wohnung und des Hausrates zu regeln und, wenn es die Umstände rechtfertigen, die Gütertrennung anzuordnen (Art. 176 Abs. 1 ZGB) sowie, wenn die Ehegatten minderjährige Kinder haben, nach den Bestimmungen über die Wirkungen des Kindesverhältnisses die nötigen Massnahmen zu treffen (Art. 176 Abs. 3 ZGB). Zwingend zuständig für die Behandlung eherechtlicher Gesuche und Klagen sowie für Gesuche um Anordnung vorsorglicher Massnahmen ist dabei das Gericht am Wohnsitz einer Partei (Art. 23 Abs. 1 ZPO), wobei es die Massnahmen nach den Art. 172-179 ZGB im summarischen Verfahren beurteilt (Art. 271 lit. a ZPO).
bb) Der Ehemann, der noch in der Gesuchsantwort vom 25. Mai 2018 "die Zuständigkeit des angefochtenen Gerichtes […] nicht in Abrede gestellt" und die Frage der Zuständigkeit auch in der Folge nie thematisiert hatte, stellte sich – ohne Anpassung seiner Berufungsbegehren, die Kinder seien in Abänderung des angefochtenen Entscheids mit Wohnsitz in E. unter seine Obhut zu stellen – erstmals in der Stellungnahme vom 3. Februar 2020 zur Noveneingabe der Ehefrau vom 20. Januar 2020 auf den Standpunkt, die st. gallischen Gerichte seien für die Beurteilung der Kinderbelange gar nicht zuständig. Zusammengefasst begründet er diesen Standpunkt unter Hinweis auf ein von ihm bei Prof. R. eingeholtes Rechtsgutachten vom 28. Januar 2020 mit Ergänzung vom 27. Februar 2020 damit, dass das Eheschutzgericht nicht umfassend zuständig sei; das hier – mangels väterlicher Zustimmung zum unbefristeten Wohnsitzwechsel gemäss Art. 301a Abs. 2 lit. b ZGB – gegebene eigenmächtige Verbleiben der Mutter mit den Kindern am neuen Wohnsitz begründe jedenfalls keine Zuständigkeit der Gerichte am neuen Wohnort. Zuständig bleibe vielmehr das Gericht bzw. die Behörde am bisherigen Wohn- resp. Aufenthaltsort, und zwar auch in Bezug auf die Beantwortung der Frage, ob nachträglich die erforderliche Bewilligung erteilt werden könne.
b/aa) Der Umstand, dass der Ehemann erst im Berufungsverfahren und auch darin erst in einer Stellungnahme zu einer Noveneingabe der Ehefrau den Einwand der teilweise fehlenden Zuständigkeit der st. gallischen Gerichte in Bezug auf die Regelung der Kinderbelange erhob, schadet ihm insofern nicht, als es sich bei der Zuständigkeit um eine Prozessvoraussetzung handelt, die von Amtes wegen zu prüfen ist (Art. 60 ZPO) und, weil sie grundsätzlich auch im Zeitpunkt der Fällung des Sachurteils gegeben sein muss (Zürcher, in: Sutter-Somm/Hasenböhler/Leuenberger, ZPO Komm., 3. Aufl., Art. 50 N 10), jederzeit in Frage gestellt werden kann (vgl. BGer 4A_229/2017 E. 3.2). Fragen könnte man sich immerhin, ob dieser Grundsatz, der damit begründet wird, dass die Untersuchungsmaxime gebiete, dass der Richter bei Anhaltspunkten für die fehlende Zuständigkeit gehalten sei, vertiefte Abklärungen zu treffen (BGer 4A_229/2017 E. 3.4.2 m.w.H.; BGer 5D_181/2017 E.2.4.2), auch im vorliegenden Fall gilt, in dem der schon damals anwaltlich vertretene Ehemann zwar schon im erstinstanzlichen Verfahren geltend gemacht hatte, er sei mit einem vorübergehenden Aufenthalt seiner Frau in der Ostschweiz, nicht aber mit einem definitiven Umzug einverstanden gewesen, die im Gesuch vom 4. April 2018 unter Hinweis auf Art. 23 ZPO behauptete Zuständigkeit aber ausdrücklich "nicht in Abrede" gestellt und damit zum Ausdruck gebracht hatte, dass auch er die Angelegenheit als eherechtliches Verfahren betrachte, in dem das angerufene (Eheschutz-)Gericht befugt sei, auch über die Kinderbelange zu befinden. Diese Frage kann indessen aus folgenden Überlegungen offenbleiben:
bb) Üben die Eltern die elterliche Sorge gemeinsam aus und will ein Elternteil den Aufenthaltsort des Kindes wechseln, so bedarf dies der Zustimmung des andern Elternteils oder der Entscheidung des Gerichtes oder der Kindesschutzbehörde, wenn der Wechsel des Aufenthaltsortes erhebliche Auswirkungen auf die Ausübung der elterlichen Sorge und den persönlichen Verkehr durch den andern Elternteil hat (Art. 301a Abs. 2 lit. b ZGB). Soweit ersichtlich äusserte sich die (bundesgerichtliche) Rechtsprechung bislang noch nie zu den prozessualen Folgen, d.h. zu den Auswirkungen des eigenmächtigen Umzugs eines verheirateten Elternteils mit den Kindern auf die Zuständigkeit des Eheschutzgerichtes. Bemerkenswert ist immerhin, dass das Bundesgericht im Urteil vom 6. November 2014 (BGE 144 III 10) die grundsätzliche zivilrechtliche Sanktionslosigkeit des eigenmächtigen Wechsels des Aufenthaltsortes betonte (E. 5) und im Urteil vom 21. November 2017 (BGer 5A_568/2017) – wohl mangels entsprechender Vorbringen – die Zuständigkeitsproblematik nicht ansprach, obwohl sich diese bei Annahme der Nichtigkeit des Sachentscheides wegen fehlender Prozessvoraussetzung (BGer 4A_229/2017 E. 3.2) hätte stellen können. In der Lehre werden unterschiedliche Auffassungen vertreten. So sprechen sich etwa – mehr oder weniger eindeutig – Gloor/Schweighauser (Die Reform des Rechts der elterlichen Sorge – eine Würdigung aus praktischer Sicht, in: FamPra.ch 2014, S. 1 ff., S. 17), Büchler/Maranta (Das neue Recht der elterlichen Sorge, in: Jusletter 11. August 2014, Ziff. 90) und Cantieni/Vetterli (KuKo ZGB, 2. Aufl., Art. 301a N 14) für die Zuständigkeit der Behörden bzw. Gerichte am bisherigen Aufenthaltsort aus, während Schwenzer/Cottier (BSK ZGB I, 6. Aufl., Art. 301a N 29), Affolter/Vogel (BK, 2016, Art. 301a ZGB N 43) und Bärtschi/Maranta ("Wir ziehen um?!" – wenn Eltern über den Aufenthaltsort des Kindes streiten, in: FamPra.ch 2017, S. 649 ff., S. 672 FN 105) das Gericht bzw. Behörde am neuen Wohnort als zuständig betrachten. Letztere Auffassung verdient ungeachtet dessen, dass nicht feststeht, dass die Ehefrau tatsächlich i.S.v. Art. 301a Abs. 2 lit. b ZGB ihren Wohnsitz ohne Zustimmung des Ehemannes in die Ostschweiz wechselte, den Vorzug: Art. 176 ZGB gibt dem Eheschutzrichter umfassende Kompetenzen zur Regelung des Getrenntlebens, namentlich auch in Bezug auf die Kinderbelange (Abs. 1 Ziff. 1 hinsichtlich des Kindesunterhalts und Abs. 3 hinsichtlich der übrigen Kinderbelange, einschliesslich der Kindesschutzmassnahmen), und bringt damit zum Ausdruck, dass im Falle der Trennung ein einheitlicher Entscheid ergehen soll. Diesem Grundsatz und dem damit verbundenen Zweck liefe eine nach Kinder- und übrigen Belangen geteilte Zuständigkeit im Falle des eigenmächtigen Umzugs eines Elternteils mit den Kindern zuwider. Daran ändert auch nichts, dass Art. 23 Abs. 1 ZPO einen (zwingenden) Wahlgerichtsstand vorsieht, dem gesuchstellenden Ehegatten bzw. Elternteil mit andern Worten erlauben würde, das Eheschutzbegehren am Wohnsitz des andern Ehegatten/Elternteils und damit mutmasslich am bisherigen Wohn- und Aufenthaltsort der gemeinsamen Kinder einzureichen. Abgesehen davon, dass Letzteres bei einem gleichzeitigen Umzug beider Elternteile nicht der Fall ist, enthält Art. 23 Abs. 1 ZPO keinen stillschweigenden, geschweige denn einen ausdrücklichen Vorbehalt zu Gunsten der (zwingenden) Zuständigkeit am bisherigen Wohnsitz der Kinder, wenn diese ohne Zustimmung des andern Elternteils umzogen (vgl. in diesem Zusammenhang auch BSK ZGB I-Breitschmid, 5. Aufl., Art. 315-315b, der darauf hinweist, dass [im Gegensatz zu negativen Kompetenzkonflikten zwischen KESB; N 18] bei sachlicher Zuständigkeit der Gerichte die prozessrechtlichen Regeln über die örtliche Zuständigkeit gälten [N 16]). Ein solcher (stillschweigender) Vorbehalt bzw. eine prozessuale Sanktionierung eigenmächtigen Verhaltens ist umso mehr zu verneinen, als dieses Verhalten auch zivil-, d.h. materiell-rechtlich grundsätzlich ohne Sanktionen bleibt. Im Unterschied zum internationalen Verhältnis, in dem gemäss Übereinkommen über die zivilrechtlichen Aspekte internationaler Kindesentführung vom 25. Oktober 1980 (HKÜ) durch die Rückführung des (entführten) Kindes die Zuständigkeit des Gerichtes am bisherigen Aufenthaltsort bzw. deren Aufrechterhaltung und damit die Voraussetzung für die Beurteilung der Kinderbelange nach dem entsprechenden materiellen Recht (vgl. Art. 82 Abs. 1 IPRG und Art. 15 ff. Haager Übereinkommen vom 19. Oktober 1996 über die Zuständigkeit, das anzuwendende Recht, die Anerkennung, Vollstreckung und Zusammenarbeit auf dem Gebiet der elterlichen Verantwortung und der Massnahmen zum Schutz von Kindern [HKsÜ; SR 0.211.231.011] sowie ZK-Siehr/Markus, 3. Aufl., Art. 82 IPRG N 9 ff.) erst geschaffen wird, fehlt es mit andern Worten im innerstaatlichen Verhältnis an einer entsprechenden Norm, aber auch an der Notwendigkeit hierfür, eine Schlussfolgerung, die umso mehr gerechtfertigt erscheint, als es im innerstaatlichen Verhältnis dabei bleibt, dass ein schweizerisches Gericht materielles schweizerisches Recht anwendet. Beizufügen bleibt in diesem Zusammenhang, dass zumindest im vorliegenden Fall nicht einmal eine analoge Anwendung des internationalen Rechts zur Nichtzuständigkeit der Gerichte im Kanton St. Gallen führen würde, leben die Kinder doch seit Ende Januar 2018 in A. und war damit im Zeitpunkt der erstmaligen Erhebung der Einrede der Unzuständigkeit in der Eingabe vom 3. Februar 2020 mehr als ein Jahr verstrichen, selbst wenn man dem Ehemann trotz der Einleitung des Eheschutzverfahrens im April 2018 zugestehen wollte, er sei mit dem Aufenthalt in der Ostschweiz im Sinne eines Provisoriums nur während ca. acht bis neun Monaten (also bis ca. Ende Oktober 2018) einverstanden gewesen (zur Jahresfrist vgl. Art. 7 Abs. 1 HKsÜ). Vorbehalten bleibt immerhin der Fall des Rechtsmissbrauchs. Von einem solchen kann indessen hier nicht ausgegangen werden, zumal unbestritten ist, dass der Ehemann zumindest die Zustimmung zu einem vorübergehenden Wohnsitzwechsel gab und keine Anhaltspunkte dafür bestehen, dass die Ehefrau diese Zustimmung treuwidrig im Sinne des offenbaren Missbrauchs dazu genutzt hätte, sich auf die Zuständigkeit der st. gallischen Gerichte zu berufen. Der Einwand des Ehemannes, die st. gallischen Gerichte seien für die Regelung der Kinderbelange gar nicht zuständig, erweist sich damit – zusammengefasst – als nicht stichhaltig, und zwar ungeachtet dessen, dass er in einem gewissen Widerspruch zum unveränderten Hauptantrag auf Zuweisung der Obhut an ihn, den Vater, steht und dass ihn der Ehemann erst im Verlaufe des Berufungsverfahrens erhob, nachdem er die Zuständigkeit erstinstanzlich noch nicht in Abrede gestellt hatte.
c) Nicht stichhaltig ist der Einwand im Übrigen auch noch unter einem anderen Aspekt: Nach der Theorie der doppelrelevanten Tatsache ist eine Frage, die sich sowohl in Bezug auf die Zuständigkeit als auch in materieller Hinsicht stellt, vom Gericht grundsätzlich nur in letzterem Zusammenhang zu beantworten (Leuenberger/Uffer-Tobler, Schweizerisches Zivilprozessrecht, 2. Aufl., N 11.65b; BGE 141 III 294 E. 5). Hier angewendet bedeutet diese Theorie, dass genügte, dass die Ehefrau die Zuständigkeit der st. gallischen Gerichte gemäss Art. 23 Abs. 1 ZPO gehörig behauptete, und über den materiell-rechtlichen, auf Art. 301a Abs. 2 lit. b ZGB gestützten Einwand des Ehemannes, er sei mit dem Umzug der Ehefrau samt Kindern nicht einverstanden gewesen, nicht bei der Prüfung der Voraussetzung der Zuständigkeit, sondern, wie dies der Vorrichter denn auch tat, im Zusammenhang mit der Prüfung der Frage der Bedeutung des behaupteten eigenmächtigen Vorgehens der Ehefrau für die Obhutszuteilung zu befinden war bzw. ist. Dieses Vorgehen war hier umso mehr angezeigt, als der Ehemann die Zuständigkeit gar nicht bestritten und insofern zum Ausdruck gebracht hatte, das Verhalten der Ehefrau nicht als derart (schwerwiegend) zu qualifizieren, dass er sich deswegen nicht darauf einlasse, dass die Kinderbelange von den st. gallischen Gerichten entschieden würden. Auch unter diesem Aspekt bejahte der Vorrichter seine Zuständigkeit zur Regelung der Kinderbelange mithin zu Recht.
(Anmerkung: Der Ehemann hat gegen den Entscheid beim Bundesgericht [umfassend] Beschwerde erhoben und dabei auch ein Gesuch um Erteilung der aufschiebenden Wirkung gestellt. Dieses Gesuch hat der Präsident der II. Abteilung des Bundesgerichtes mit der Begründung abgewiesen, dass vor dem Hintergrund des einschlägigen Zuständigkeitsregimes von Art. 23 Abs. 1 ZPO und des Umstandes, dass entgegen den Ausführungen des Vaters davon auch die Kinderbelange erfasst seien und unabhängig davon eine, was indessen bestritten sei, ohne väterliche Zustimmung erfolgte Verlegung des Aufenthaltsortes der Kinder ohnehin rechtlich sanktionslos bliebe, nicht zu sehen sei, inwiefern das Kantonsgericht bei der Bejahung der Zuständigkeit der St. Galler Gerichte verfassungsmässige Rechte des Vaters verletzt haben könnte.)