Aus den Erwägungen:
[…]
II.
1. Die örtliche und sachliche Zuständigkeit des Präsidenten des Handelsgerichts St. Gallen ist offensichtlich gegeben und wird auch nicht bestritten. Das gilt grundsätzlich auch für die übrigen Prozessvoraussetzungen. Einzig umstritten ist, ob ein klarer Fall vorliegt, über den im Summarverfahren entschieden werden kann, d.h. der Sachverhalt unbestritten oder sofort beweisbar ist und die Rechtslage ebenfalls klar ist (Art. 257 Abs. 1 ZPO).
2. R geht davon aus, dass der Rückzug der negativen Feststellungklage einer Abweisung gleichzusetzen sei. Damit sei e contrario der Bestand der Forderung rechtskräftig festgestellt. Ein Prozess über den Bestand der Forderung sei nicht mehr möglich, da eine res iudicata vorliege.
Soweit R auf mehr oder weniger einschlägige Rechtsprechung zur Fortsetzungslast und materiellen wie auch formellen Rechtskraft von Entscheidungen verweist, behandeln diese nicht genau die vorliegende Sachlage.
Die S AG verweist ihrerseits auf Lehrmeinungen, welche die Rechtsauffassung bzw. Rechtsauslegung von R zumindest in Frage stellen.
3. Das Bundesgericht hat sich ansatzweise bereits mit der hier vorliegenden Problematik befasst. In einem Fall, in dem das Erstgericht eine negative Feststellungsklage geschützt hatte, führte das Bundesgericht zu einer Beschwerde gegen den Nichteintretensentscheid des Zweitgerichts aus, es sei davon auszugehen, dass das Erstgericht mit der Gutheissung einer negativen Feststellungsklage der Beklagten materiell erkannt habe, dass die in Betreibung gesetzte Forderung der Klägerin nicht bestehe. Da unbestritten sei, dass sich der massgebende Lebenssachverhalt nicht verändert habe, sei der neue prozessuale Anspruch trotz abweichender Umschreibung vom beurteilten inhaltlich nicht verschieden, sofern die Klägerin im Verfahren vor dem Zweitrichter diejenigen Forderungen gegen die Beklagte erhebe, deren Nichtbestand das Erstgericht festgestellt habe (BGE 142 III 210, E. 3). Der Entscheid bezieht sich jedoch auf den Fall, in dem eine negative Feststellungsklage gerichtlich tatsächlich geprüft und geschützt wird. Soweit ersichtlich, besteht zum umgekehrten Fall, in dem eine negative Feststellungsklage abgewiesen wurde, bloss ein Entscheid zur ähnlich gelagerten Aberkennungsklage (Art. 83 Abs. 2 SchKG), in welcher der Schuldner ebenfalls den Bestand der Forderung in der Klägerrolle bestreiten muss. Der Entscheid über die Aberkennungsklage entfaltet formelle und materielle Rechtskraft und wirkt für die Parteien über die Zwecke der Betreibung hinaus (Vock in KUKO-SchKG, 2. Aufl., Art. 83 N 14 m.H. auf BGE 128 III 44, E. 3c; 124 III 207, E. 3a). Eine abgewiesene Aberkennungsklage kann somit gemäss höchstgerichtlicher Rechtsprechung Grundlage für eine definitive Rechtsöffnung sein, wobei in der Sachverhaltsschilderung des beurteilten Falls ausdrücklich erwähnt wurde, aus dem Urteil des mit der Aberkennungsklage befassten Gerichts sei ersichtlich, dass dieses den Bestand der Forderung bejaht habe (BGE 134 III 656). Es ist davon auszugehen, dass sich diese Feststellung auf die Urteilsbegründung stützte und nicht bloss in der Abweisung der Aberkennungsklage begründet war.
4. Zwischen dem Gegenstand einer negativen Feststellungsklage und einer Leistungsklage kann schon deshalb keine vollständige Identität bestehen, weil nur mit letzterer der Schuldner vollstreckbar zu einer Leistung verpflichtet wird. Feststellungsklagen, d.h. auch negative Feststellungsklage, sind einer Vollstreckung nicht zugänglich (BSK-Weber, Art. 88 OR, N 1). Aus den Ausführungen des Bundesgerichts kann jedoch geschlossen werden, dass zumindest dann eine res iudicata vorliegt, wenn die Klägerin im Verfahren vor dem Zweitrichter diejenigen Forderungen gegen die Beklagte geltend macht, deren Nichtbestand das Erstgericht durch Gutheissung einer negativen Feststellungsklage festgestellt hat. Diesfalls ist das Zweitgericht an die Feststellung des Erstgerichts gebunden, dass die Forderung nicht besteht, was eine Leistungsverpflichtung ausschliesst. Regelmässig stellt sich jedoch für das Zweitgericht die Frage, ob tatsächlich Forderungsidentität vorliegt (BGE 142 III 210; Schwaibold, Bundesgerichtliche Nägel zum Sarg der negativen Feststellungsklage, SZZP, 4/2017, S. 379 ff.). Die Problematik wird im vorliegend nicht untypischen Fall noch dadurch verschärft, dass die negative Feststellungsklage eine Reaktion auf eine Betreibung darstellte, welche die klagende Partei für nicht gerechtfertigt hielt. In einer solchen Konstellation erhält die klagende Partei vom Grund der Forderung, gegen die sie sich wehren will, erst nach Eingang der Klageantwort genauere Kenntnis. In diesem Punkt unterscheidet sich die negative Feststellungklage wesentlich von der positiven Leistungsklage. In der Leistungsklage hat die klagende Partei nämlich den Sachverhalt, aus dem sie die Forderung ableitet, substantiiert darzulegen und zum Beweis zuerstellen. Zieht sie die Klage vor dem zuständigen Erstgericht zurück, so kann sie ihre diesbezügliche Forderung nicht mehr in einem Zweitprozess geltend machen, wenn der Gegenseite die Klage zugestellt wurde (Art. 65 ZPO). Aber auch im Fall einer Forderungsklage dürfte gelten, dass der Zweitrichter nur dann einen Nichteintretensentscheid fällen kann, wenn im Zweitverfahren die gleiche Forderung geltend gemacht wird. Bleibt unklar, was die klagende Partei mit ihrer ersten Klage überhaupt verlangt hat, so schadet ihr der Rückzug folglich nicht.
5. Was die von der S AG behauptete Forderung gegen R von Fr. 10‘000.00 für die Verweigerung der Herausgabe des Preisbuches betrifft, so hat die S AG in ihrer Erstklage diese Forderung klar umschrieben. Die Klage wurde R zugestellt. Damit dürfte eine erneute Klage in diesem Punkt wohl an Art. 65 ZPO scheitern und die S AG ihre behauptete Forderung verloren haben (Art. 241 ZPO; vgl. auch BSK-Gschwend/Steck, Art. 241 N 35 m.w.H.). Darüber gilt es vorliegend zwar nicht zu befinden. Ebenso wenig ist hier darüber zu befinden, ob mit dem Klagerückzug wirklich die Forderung definitiv untergeht. Während der Wortlaut von Art. 65 ZPO eher nahe legen würde, dass bloss die Klageberechtigung verloren geht, liesse sich mit dem Wortlaut von Art. 241 Abs. 2 ZPO durchaus auch ein Forderungsverlust begründen. Davon scheint die wohl herrschende Lehre auch auszugehen, wenn sie ausführt, der Klagerückzug habe die Wirkung einer Klageabweisung und nach Eintritt der Fortsetzungslast gehe der Kläger seines Rechtes verlustig, wenn er die Klage zurückziehe (anstelle vieler: BSK-Gschwend/Steck, Art. 241 OR, N 35 m.w.H.).
6. In der Klageschrift zur negativen Feststellungsklage im Verfahren gegen R vom 25. Oktober 2016 (HG.2016.158-HGK) führte die S AG aus, der Rechtsvertreter von R habe mit Schreiben vom 19. August 2016 wegen der Kündigung des Agenturvertrages eine Zahlung von 1.1 Mio. Franken gefordert. Warum die Summe geschuldet sei und wie sie sich zusammensetze, sei nicht begründet worden. R habe die S AG grundlos auf Fr. 1‘100‘000.00 betrieben.
Die negative Feststellungsklage wurde R zwar zugestellt. Die S AG zog die Klage aber noch vor Erstattung einer Klageantwort zurück. Die Forderung, gegen die sich die S AG wehrte, ist im Wesentlichen durch die rudimentäre Bezeichnung im Betreibungsverfahren „Kündigung des Agenturvertrages“ bestimmt. Diese rudimentäre Bezeichnung der Forderung lässt Zweifel darüber aufkommen, dass dem Klagerückzug die Wirkung einer abgeurteilten Streitigkeit (res iudicata) in dem Sinne zukommen kann, dass gerichtlich darüber entschieden sei, die S AG schulde R aus der Kündigung des Agenturvertrages Fr. 1‘100‘000.00. Zum einen ist fraglich, ob die Forderung im Verfahren der negativen Feststellungklage (HG.2016.158-HGK) genügend konkretisiert ist, um davon ausgehen zu können, es habe in Bezug auf die positive Umschreibung der Forderung materielle Rechtskraft eintreten können. Letztlich bleibt doch unklar, welche Forderung oder gar welche Forderungen Gegenstand jenes Verfahrens waren. Zum anderen ist durchaus umstritten, ob und unter welchen Voraussetzungen aus der Abweisung oder gar dem Rückzug einer negativen Feststellungsklage darauf geschlossen werden darf, dass die Forderung auch tatsächlich bestehe (vgl. dazu hinten, Erwägung II./7c). Die Rechts- und die Sachverhaltslage sind zu wenig klar, um im Verfahren des Rechtschutzes in klaren Fällen entscheiden zu können.
7. In der Klageschrift zur negativen Feststellungsklage im Verfahren gegen R vom 22. Dezember 2016 (HG.2016.211-HGK) werden die Forderungen, deren Nichtbestehen von der S AG behauptet wurden, sehr genau umschrieben (vgl. vorne E. 2). Die von R vorprozessual der S AG mitgeteilten Forderungsgründe und die Zusammensetzung der von R vorprozessual behaupteten Gesamtforderung ergibt sich bereits aus den Schilderungen der S AG. Die Forderung erscheint damit von der S AG genügend umschrieben, damit grundsätzlich beurteilt werden könnte, ob Forderungsidentität vorliegt oder nicht. Dies ändert aber nichts daran, dass der Erstprozess beendet war, bevor R eine Klageantwort einreichen konnte. Das Bestehen der Forderungen konnte damit im Erstprozess noch gar nicht positiv behauptet werden, ändern doch die Parteirollen nichts daran, dass die Behauptungs- und Beweislast auch bei einer negativen Feststellungsklage beim Gläubiger liegen (Bessenich/Popp, Kommentar zur ZPO, 3. Aufl., Art. 88 N 9 mit zahlreichen weiteren Hinweisen; zu Art. 85a SchKG: BSK-Bodmer/Bangert, 2. Aufl., Art. 85a SchKG N 4 mit Hinweis auf BGE 120 II 22 m.w.H.). In der Regel wird denn auch der Forderungsgegenstand in einer negativen Feststellungsklage erst mit der Klageantwort auch in positiver Hinsicht so genau umschrieben, dass mit einem Urteil positiv und mit materieller Rechtskraft festgestellt werden kann, dass die umstrittene Forderung tatsächlich besteht (Schwaibold, Bundesgerichtliche Nägel zum Sarg der negativen Feststellungsklage, SZZP, 4/2017, S. 379 ff., S. 384, 2. Absatz erster Satz). Es erscheint damit zumindest fraglich, ob eine Forderung, deren Bestand im Zivilprozess gar nie behauptet wurde, allein aufgrund einer zurückgezogenen negativen Feststellungsklage und eines e contrario Schlusses als bestehend beurteilt geltend kann.
a) In diesem Punkt unterscheidet sich eine positive Leistungsklage wesentlich von einer negativen Feststellungsklage. Im ersten Fall behauptet der Kläger eine Forderung und verliert die Klageberechtigung und wohl auch das geltend gemachte Recht, wenn er den Prozess nicht fortsetzt (vgl. vorne Erwägung II./5.). Im Fall der negativen Feststellungsklage behauptet der Kläger jedoch keine Forderung, sondern wehrt sich gegen eine Forderung, welche die Gegenseite zuerst noch behaupten und beweisen muss. Es erscheint deshalb fraglich, ob der Schuldner nach dem Rückzug einer negativen Feststellungsklage den Bestand der Forderung tatsächlich nicht mehr bestreiten kann.
b) Letzteres liesse sich allenfalls aus dem Sinn und Zweck von Art. 65 ZPO i.V.m. Art. 241 ZPO ableiten. Der Wortlaut ist jedoch nicht klar. Aus dem Wortlaut von Art. 65 ZPO ergibt sich nur, dass die S AG über die erwähnten Forderungen keine negative Feststellungsklage mehr gegen R führen kann. Vorliegend klagt jedoch nicht die S AG gegen R, sondern R führt einen Prozess gegen die S AG.
c) Allenfalls könnte aus Art. 241 Abs. 2 ZPO, wonach dem Klagerückzug die Wirkung eines rechtskräftigen Entscheides zukommt, abgeleitet werden, dass die Forderung als in dem Sinne materiell rechtskräftig beurteilt gilt, dass sie tatsächlich besteht und über den Bestand der Forderung kein Verfahren mehr geführt werden kann. In den Kommentierungen zur negativen Feststellungsklage nach Art. 85a SchKG geht die Lehre mit Hinweisen auf bundesgerichtliche Urteile wohl einhellig davon aus, dass dem so sei, wenn die Klage durch das Gericht abgewiesen wird (BSK-Bodmer/Bangert, 2. Aufl, Art. 85a SchKG N 31 mit Hinweis auf 4A_106/2008, E. 3.2 und 5P.337/2006, E. 4).
Im Falle der negativen Feststellungklage nach Art. 88 ZPO sind die Meinungen hingegen selbst für den Falle geteilt, dass die Klage durch ein Gericht abgewiesen wird (kritisch etwa BSK-Weber, Art. 88 OR N 28 m.w.H.). Wird eine negative Feststellungsklage nicht abgewiesen, sondern nach einem Klagerückzug durch Abschreibungsbeschluss erledigt, spricht sich sogar ein namhafter Teil der Lehre dafür aus, dass damit nicht das Gegenteil der mit der Klage aufgestellten Rechtsfolgebehauptung inhaltlich verbindlich im Sinne einer rechtskräftigen Abweisung gelten würde (Leumann Liebster, Kommentar zur ZPO, 3. Aufl, Art. 241 N 18, mit zahlreichen weiteren Hinweisen). Zudem lässt auch der Wortlaut von Art. 241 Abs. 2 ZPO Spielraum für Auslegungen. Der Klagrückzug hat zwar die Wirkung eines rechtskräftigen Entscheides (Art. 241 ZPO) und die Klägerin gilt als unterliegend (Art. 106 Abs. 1 ZPO). Im Gegensatz zur Klageanerkennung, die schon begrifflich eine Anerkennung der gegnerischen Rechtsposition nahelegt, impliziert der Begriff des Klagerückzugs nicht zwingend eine Klageabweisung oder einen definitiven Rechtsverlust. Es ist denn auch bezeichnend, dass die Folgen des Klagerückzugs sich nicht ausschliesslich aus Art. 241 Abs. 2 ZPO ergeben, sondern in Art. 65 ZPO konkretisiert werden. Aber selbst an jener Stelle spricht das Gesetz nicht ausdrücklich von einem Rechtsverlust, sondern bloss davon, dass gegen die gleiche Partei über den gleichen Streitgegenstand kein zweiter Prozess mehr geführt werden könne (vgl. vorne Erwägung II./5.). Zudem ist weder der Begriff der Rechtskraft eindeutig, noch ist selbsterklärend, worauf sich die Rechtskraft bezieht. Zum einen gilt es nämlich die formelle Rechtskraft von der materiellen zu unterscheiden. Zum andern erschliesst sich der Umfang der materiellen Rechtskraft einer Entscheidung oft erst aus den Erwägungen. An Urteilserwägungen, die den Klagegegenstand näher umschreiben, fehlt es im Falle eines Klagerückzugs regelmässig. Vorliegend wird die Bestimmung des Prozess- bzw. Urteilsgegenstandes noch zusätzlich erschwert, weil R seine Forderung nicht in einer Klageantwort behaupten und substantiieren konnte. Es bedarf deshalb der genaueren Abklärung, ob es der S AG tatsächlich schadet, dass sie die von R vorprozessual behaupteten Forderung von Fr. 113‘000.00 in ihrer zurückgezogenen negativen Feststellungsklage recht genau schilderte. Auch in Bezug auf diese Forderung ist somit die Rechtslage zu wenig klar, um im Summarverfahren des Rechtschutzes in klaren Fällen entscheiden zu können.
(Das Bundesgericht hat eine Beschwerde gegen den Entscheid abgewiesen [BGer 4A_24/2018])