Erwägungen:
I.
1.1. Die Klägerin, eine Treuhandgesellschaft mit Sitz in X., war im Zeitraum zwischen 23. August 2005 und 17. Februar 2009 Revisionsstelle der Beklagten (kläg. act. 1 u. 2).
1.2. Die Beklagte mit Sitz in X. befasst sich gemäss Handelsregisterauszug u. a. mit dem Erwerb und der Verwaltung von Vermögenswerten aller Art für eigene oder fremde Rechnung und mit der Durchführung aller Geschäfte einer Treuhandgesellschaft (kläg. act. 2).
1.3. Nach Angaben der Klägerin bezog die Beklagte seit 2005 Treuhanddienstleistungen bei der Klägerin. Die eingeklagte Forderung erfasse gemäss ihrem Kontoauszug (kläg. act. 4) folgende Rechnungen, die noch offen seien:
Rechnung Nr. 2618 vom 12. Januar 2006 (Teilbetrag) Fr. 2'055.05 (kläg. act. 5)
Rechnung Nr. 33 vom 10. Juli 2006 Fr. 3'190.35 (kläg. act. 6)
Rechnung Nr. 76 vom 21. November 2006 Fr. 11'970.50 (kläg. act. 7)
Rechnung Nr. 191 vom 15. Juni 2007 Fr. 6'956.35 (kläg. act. 8)
Rechnung Nr. 213 vom 21. August 2007 Fr. 10'695.45 (kläg. act. 9)
Rechnung Nr. 310 vom 18. April 2008 Fr. 4'583.75 (kläg. act. 10)
Total: Fr. 39'451.45 (kläg. act. 4)
1.4. Die Beklagte wirft der Klägerin vor, sie vermische Forderungen ihr gegenüber mit Forderungen gegenüber anderen Firmen ihrer Gruppe (vgl. kläg. act. 11), welche z. T. zwischenzeitlich Konkurs gegangen seien (konkursite S. AG). Im Übrigen stellt sich die Beklagte auf den Standpunkt, die Klägerin habe mit Schreiben vom 2. März 2007 das Vertragsverhältnis zur Beklagten gekündigt, woraufhin sich die Beklagte für den Bezug dieser erwünschten Treuhandleistungen an einen anderen Treuhänder gewendet habe. Bei den Zahlungen der Beklagten an die Klägerin vom 31. Juli 2007, 30. September 2007 und 29. Februar 2008 von je Fr. 5'000.-- habe es sich um nicht rechnungsbezogene Abschlagszahlungen für die hier im Streit stehenden Leistungen der Klägerin vor dem 2. März 2007 gehandelt (bekl. act. 1 - 3). Sämtliche Rechnungen, welche sich auf einen Zeitpunkt nach dem 2. März 2007 bezögen - also angeblich nach der Kündigung des Vertragsverhältnisses durch die Klägerin ausgeführt worden seien - würden vollumfänglich bestritten, da ab diesem Zeitpunkt kein weiterer Auftrag an die Klägerin erteilt worden sei.
1.5. Die Klägerin bestreitet sowohl die Kündigung des Auftragsverhältnisses am 2. März 2007 wie auch die Vermischung der offenen Rechnungen gegenüber den verschiedenen Gruppengesellschaften (kläg. act. 11). Die Rechnungsnummern der Beklagten seien Nr. 2618 (Teilbetrag), Nr. 33, 76, 191, 213, 310. Die Rechnungsnummern, welche die S. AG betreffen würden (Nr. 2506, 2555, 2616, 10001 und 36), gingen aus kläg. act. 11 hervor. Damit sei erstellt, dass keine Forderungen zwischen verschiedenen Firmen vermischt worden seien, sondern vielmehr die geltend gemachten Forderungen zu Recht bestünden.
1.6. Am 19. März 2009 war zwischen den Parteien vor dem Vermittleramt Y. eine Vermittlung anberaumt, welche infolge Nichterscheinen der Beklagten unvermittelt endete (kläg. act. 3).
1.7. Nachdem die Klägerin diese Klage mit Klageschrift vom 20. März 2009 (verf. act. 1) anhängig gemacht hatte, wurde der Schriftenwechsel mit Klageantwort vom 28. Mai 2009 (verf. act. 7), Replik vom 11. Juni 2009 (verf. act. 9), Duplik vom 5. August 2009 (verf. act. 19) und Eingabe der Klägerin zur Duplik vom 19. August 2009 (verf. act. 22) abgeschlossen
1.8. Nach Abschluss des Schriftenwechsels mandatierte die Beklagte die eingangs genannten Rechtsvertreter (verf. act. 28 und 30b).
1.9. Die Hauptverhandlung fand am 7. Dezember 2009 statt. Die Klägerin wurde an Schranken durch ihren Verwaltungsratspräsidenten, Herrn J.-C. D., vertreten.
Anlässlich dieser Hauptverhandlung anerkannte die Beklagte die Forderung der Beklagten im folgenden Umfang:
Rechnung Nr. 2618 vom 12. Januar 2006 (Teilbetrag) Fr. 2'055.05 (kläg. act. 5)
Rechnung Nr. 33 vom 10. Juli 2006 Fr. 3'190.35 (kläg. act. 6)
Rechnung Nr. 76 vom 21. November 2006 Fr. 11'970.50 (kläg. act. 7)
anerkannt Fr. 17'215.90
Gleichzeitig hielt sie an den von ihr geleisteten drei Abschlagszahlungen à je Fr. 5'000.-- fest und stellte deshalb an der Hauptverhandlung vom 7. Dezember 2009 das abgeänderte, eingangs dieses Entscheids zitierte Rechtsbegehren, wonach gemäss Ziff. 1 die Klage im Fr. 2'215.90 übersteigenden Betrag abzuweisen sei. Im Rahmen der Hauptverhandlung wurde auf richterliche Frage des Handelsgerichtspräsidenten an die Rechtsvertreterin der Beklagten zudem klargestellt, dass die Beklagte mit genannter Änderung ihres Rechtsbegehrens auch ihr Widerklagebegehren fallen gelassen hat.
Der Vertreter der Klägerin hielt an der Hauptverhandlung am eingangs zitierten Rechtsbegehren wie auch an seinen Ausführungen im Schriftenwechsel fest. Die korrekt in Rechnung gestellten Leistungen habe die Klägerin erbracht; diese müssten bezahlt werden. Zu den von der Beklagten geltend gemachten drei Abschlagszahlungen von insgesamt Fr. 15'000.-- äusserte sich der Vertreter der Klägerin auf Nachfrage des Handelsgerichtspräsidenten dahingehend, dass diese Zahlungen bei der Klägerin eingegangen und korrekt für andere als die hier im Streit stehenden Forderungen der Klägerin gegen die Beklagte verbucht worden seien.
1.10. Im Nachgang zur Hauptverhandlung hat das Handelsgericht den Parteien einen Vergleichsvorschlag unterbreitet, welcher aber von der Beklagten abgelehnt worden ist, weshalb die Streitsache zu entscheiden ist.
II.
2. Da die Beklagte Sitz in X. hat, ergibt sich die örtliche Zuständigkeit der St. Galler Gerichte aus Art. 3 Abs. 1 lit. b GestG (SR 272). Die sachliche Zuständigkeit des Handelsgerichts ergibt sich aus Art. 14 Abs. 1 ZPO (sGS 961.2), nachdem beide Parteien im Handelsregister eingetragen sind (kläg. act. 1 und 2), die vorliegende Streitsache mit der gegenseitigen Geschäftstätigkeit der Parteien zusammenhängt und der Streitwert die Streitwertgrenze von Fr. 30'000.-- übersteigt.
3. Die Widerklage wird zufolge Widerklagerückzugs anlässlich der Hauptverhandlung vom 7. Dezember 2009 als erledigt abgeschrieben (Art. 83 lit. b ZPO).
4. Sodann wurde die Forderung der Klägerin im Zusammenhang mit dem Rechnungen Nr. 2618, 33 und 76 (vgl. Erw. 1.9 hiervor) von der Beklagten anlässlich der Hauptverhandlung vom 7. Dezember 2009 im Betrag von insgesamt Fr. 17'215.90 anerkannt.
5. Unbestritten ist, dass zwischen den Parteien ein Auftragsverhältnis bestanden hatte, in welchem die Klägerin (Auftragnehmerin) für die Beklagte (Auftraggeberin) diverse Treuhandleistungen zu erbringen hatte. Im Übrigen ist ebenso unbestritten, dass die Klägerin auch noch für andere Gesellschaften, welche ebenfalls zur Unternehmensgruppe der Beklagten gehör(t)en (S. AG, X. AG, H. AG, R. AG), ebenfalls Treuhandleistungen erbracht hatte (kläg. act. 11). Insofern die Beklagte eine Vermischung der Forderungen auf Basis der Rechnung Nr. 10'160 moniert, ist diese (da bereits bezahlt) gar nicht Bestandteil der Forderung der Klägerin und damit für die Beurteilung vorliegender Klage nicht relevant. Damit stehen noch folgende drei Rechnungen im Streit: Rechnung Nr. 191 vom 15. Juni 2007 über Fr. 6'956.35 (kläg. act. 8), Rechnung Nr. 213 vom 21. August 2007 über Fr. 10'695.45 (kläg. act. 9) und Rechnung Nr. 310 vom 18. April 2007 über Fr. 4'583.75 (kläg. act. 10).
aa) Mit der Rechnung Nr. 191 vom 15. Juni 2007 über Fr. 6'956.35 (kläg. act. 8) wird der Beklagten Honorar für den Zeitraum zwischen 1. April 2007 und 31. Mai 2007 betreffend Leistungen im Zusammenhang mit dem Abschluss 2005, der Revision 2005 und dem Abschluss 2006 in Rechnung gestellt.
ab) Mit der Rechnung Nr. 213 vom 21. August 2007 über Fr. 10'695.45 (kläg. act. 8) wird der Beklagten Honorar für den Zeitraum zwischen 1. April 2007 und 31. Mai 2007 für folgende Leistungen in Rechnung gestellt: "Besprechungen und Beratungen, Revision 2006, Vorbereitung der GWG-Prüfung, Einsprache, Besprechung Geschäftsmodell und Erklärung betreffend Verbuchung, Schuldenregulierung mit neuer Buchhaltungsstelle, Übergabe provisorische Jahresrechnung 2006, OP-Liste Kreditoren und Kontennachweis aktive und passive Rechnungsabgrenzung an neues Treuhandbüro inkl. Besprechung".
ac) Mit Rechnung Nr. 310 vom 18. April 2008 über Fr. 4'583.75 (kläg. act. 10) wird der Beklagten Honorar für den Zeitraum zwischen 1. September 2007 und 31. März 2008 für Leistungen im Zusammenhang mit dem Revisionsbericht 2006, mit dem Erstellen der Steuererklärungen 2005 und 2006 sowie im Zusammenhang mit der Kontrolle der Steuerrechnungen in Rechnung gestellt.
b) Die vorgenannten drei Rechnungen betreffen alle Aufwand der Klägerin nach der von der Beklagten behaupteten Kündigung des Auftragsverhältnisses am 2. März 2007. Die Klägerin bestreitet die Auflösung des Auftragsverhältnisses am 2. März 2007. Im Schreiben der Klägerin an Herrn M. B. vom 2. März 2007 (kläg. act. 11) hat die Klägerin zwar das Einstellen ihrer Dienstleistungen angedroht, sofern für offenen Rechnungen der Klägerin gegenüber der Unternehmensgruppe (worunter die Beklagte) nicht umgehend eine Teilzahlung von Fr. 50'000.-- geleistet werde. Im Antwortschreiben von Herrn M. B. (c/o R. AG) vom 7. März 2007 wird ein Schuldentilgungsvorschlag für diese offenen Betreffnisse durch Abtretung der Rückerstattungsguthaben der Unternehmensgruppe für die deutsche Umsatzsteuer unterbreitet und die Klägerin gebeten, die weiteren Aktivitäten der Klägerin für die Unternehmensgruppe (ausser R. AG) mit Herrn H. zu besprechen bzw. für die R. AG mit Herrn M. B. zu besprechen (kläg. act. 12). Die Klägerin erklärte sich mit der seitens der Beklagten vorgeschlagenen Vorgehensweise mit Schreiben vom 7. März 2007 einverstanden (kläg. act. 13). Aus kläg. act. 15 ergibt sich sodann, dass die Beklagte im Vorsteuer-Vergütungsverfahren mit Antrag vom 1. Mai 2007 für die Überweisung ihres Rückerstattungsanspruchs im Zusammenhang mit der deutschen Umsatzsteuer gegenüber dem deutschen Bundesfinanzamt für Steuern für die Vergütung der € 20'709,84 das Konto der Klägerin angegeben hatte. Ferner ergibt sich aus dem Handelsregisterauszug betreffend die Beklagte (kläg. act. 2), dass die Klägerin bis 17. Februar 2009 als Revisionsstelle der Beklagten amtete. Damit findet der Einwand der Beklagten, das Auftragsverhältnis zwischen den Parteien sei am 2. März 2007 gekündigt worden, keinen Halt in der zum Beweis verstellten Korrespondenz zwischen den Parteien, zumindest nicht, was die Funktion der Klägerin als Revisionsstelle der Beklagten anbelangt, auch wenn aus den Parteivorbringen und den Beweismitteln nicht hervorgeht, in welcher Beziehung M. B. zur Beklagten steht bzw. stand. Jedenfalls geht aus dem Handelsregisterauszug der Beklagten (kläg. act. 2) nicht hervor, dass M. B. je Organfunktion für die Beklagte inne hatte. Im Übrigen widerspricht die Rechnungsstellung der Klägerin nicht der Behauptung der Beklagten, sie habe nach dem 2. März 2007 die Treuhandleistungen bei einer Drittfirma bezogen. Vielmehr ergibt sich aus dem Rechnungstext der Rechnung Nr. 213 vom 12. August 2007 (kläg. act. 8), dass die Klägerin buchhalterische Unterlagen an eine neue Buchhaltungsstelle / bzw. ein neues Treuhandbüro übergeben hat. Nachdem die in den Rechnungen Nr. 191, 213 und 310 verrechneten Leistungen der Klägerin gemäss Rechnungsbetreff diesen Übergabe- und Instruktionsaufwand im Zusammenhang mit der neuen Buchhaltungsstelle sowie den Aufwand der Klägerin als Revisionsstelle (insb. Abschluss- und Revisionsarbeiten) umfasst, ist dieser Einwand der Beklagten gegen die genannten Rechnungen Nr. 191, 213 und 310 nicht geeignet, den Beweis der Klägerin über den Bestand ihrer Forderung im Zusammenhang mit vorgenannten Rechnungen zu erschüttern. Vielmehr ist der seitens der Klägerin mit den Rechnungen Nr. 191, 213 und 310 geltend gemachte Aufwand im Rahmen ihres Revisionsstellenmandates bei der Beklagten für das Gericht sowohl hinsichtlich Inhalt wie auch hinsichtlich Umfang nachvollziehbar. Sodann behauptet die Beklagte, die vorgenannten Rechnungen Nr. 191, 213 und 310 seien ihr bis zur Zustellung der Klage vom 20. März 2009 nicht bekannt gewesen. (Duplik, S. 2, B., zweiter Absatz). Zum Beweis ihrer Behauptungen verweist sie auf den Kontoauszug der Klägerin vom 9. März 2009 (= kläg. act. 4), worauf aber sämtliche vorgenannten Rechnungen aufgeführt sind. Ob diese Behauptung der Beklagten zutrifft, kann indessen ohnehin offen bleiben. Hat die Klägerin die in Rechnung gestellten Leistungen erbracht, wozu sie im Übrigen als im Handelsregister eingetragene Revisionsstelle verpflichtet war, hat sie jedenfalls Anspruch auf Vergütung derselben.
c) Insgesamt überzeugen die Einwände der Beklagten gegen die Rechnungen Nr. 191, Nr. 213 und Nr. 310 der Klägerin nicht. Die Forderung der Klägerin ist demnach im vollen Betrag von Fr. 39'451.45 bewiesen.
6. a) Mit Duplik vom 5. August 2009 wendete die Beklagte ein, sie habe für die hier im Streit stehenden Forderungen bereits am 31. Juli 2007, am 30. September 2007 sowie am 29. Februar 2008 nicht rechnungsbezogene Abschlagszahlungen von je Fr. 5'000.-- geleistet (bekl. act. 1 - 3). Wie bereits erwähnt behauptete der Verwaltungsratspräsident der Klägerin auf Nachfrage des Handelsgerichtspräsidenten an Schranken, dass diese von der Beklagten geltend gemachen Abschlagszahlungen für andere Dienstleistungen der Klägerin für die Beklagte korrekt verbucht worden seien. Die Forderung der Klägerin, wie sie hier geltend gemacht werde, bestünde vollumfänglich.
Damit ist unbestritten, dass die Beklagte Abschlagszahlungen im Umfang von Fr. 15'000.-- geleistet hat. Streitig ist, ob diese für die hier im Streit stehenden Forderungen geleistet wurden und damit an die Klageforderung anzurechnen sind.
b) Der Buchungstext der drei Abschlagszahlungen in den von der Beklagten zum Beweis verstellten Kontoauszügen (bekl. act. 1 - 3) lautet:
"Elektr.-Banking
J…. C. D…..
R…. T…., 0000 X.
CS, 8070 Zürich"
Vorab ist zu bemerken, dass aufgrund dieses Buchungstexts unklar bleibt, ob diese Abschlagszahlungen an die Klägerin oder an J.-C. D. direkt erfolgen sollte. Nachdem aber auch die Rechnungsstellung der Klägerin diesbezüglich unklar ist, da einerseits die Rechnungen Nr. 2618, 33, 76, 191, 213 und 310 den Briefkopf der Klägerin tragen, gemäss Rechnungsbetreff aber auch Leistungen des Treuhandbüros J.-C. D. abgerechnet wurden (vgl. kläg. act. 5 - 10), kann aus dieser Tatsache nichts zugunsten der Klägerin abgeleitet werden.
c) Hat der Schuldner mehrere Schulden an denselben Gläubiger zu bezahlen, so ist er berechtigt, bei der Zahlung zu erklären, welche Schuld er tilgen will (Art. 86 Abs. 1 OR; SR 220).
Aus den von der Beklagten zum Beweis ihrer Abschlagszahlungen eingereichten Kontoauszügen (bekl. act. 1 - 3) geht nicht hervor, für welche Rechnung die einzelne Abschlagszahlung anzurechnen sei. Die Beklagte behauptet denn auch, diese seien nicht rechnungsbezogen bezahlt worden.
d) Mangelt es an einer Erklärung des Schuldners nach Art. 86 Abs. 1 OR, so wird die Zahlung auf diejenige Schuld angerechnet, die der Gläubiger in seiner Quittung bezeichnet, vorausgesetzt, dass der Schuldner nicht sofort Widerspruch erhebt (Art. 86 Abs. 2 OR).
Der Verwaltungsrat der Klägerin behauptete zwar an der Hauptverhandlung vom 7. Dezember 2009 auf Nachfrage des Handelsgerichtspräsidenten, diese Abschlagszahlungen seien zugunsten der Beklagten für andere, hier nicht im Streit stehende Leistungen der Klägerin verbucht worden. Die Klägerin hat für diese Behauptung indessen keine hinreichenden Beweise, insbesondere keine Quittungen offeriert, aus welchen hervorgehen würde, dass die Abschlagszahlungen wie behauptet für andere Dienstleistungen der Klägerin für die Beklagte verbucht worden wären. Die Tatsache, dass die genannten Abschlagszahlungen der Beklagten gemäss bekl. act. 1 - 3 nicht auf dem Kontoauszug der Klägerin betreffend die Beklagte (kläg.act. 4) erscheinen, obwohl dieser Kontoauszug weitere Zahlungen der Beklagten bis 28. April 2008 berücksichtigt, vermag für sich den Beweis für die Gutschrift der Abschlagszahlungen für andere offene Forderungen der Klägerin an die Beklagte nicht zu erbringen. Damit bleibt der Einwand der Klägerin gegen die Abschlagszahlungen der Beklagten unbewiesen.
e) Liegt weder eine gültige Erklärung über die Tilgung noch eine Bezeichnung in der Quittung vor, so ist die Zahlung unter mehreren fälligen Schulden auf diejenige Schuld anzurechnen, für die der Schuldner zuerst betrieben worden ist (Art. 87 Abs. 1 OR).
Es ist unbestritten, dass die Klägerin die Beklagte für die hier im Streit stehenden Forderungen mit Betreibung Nr. 901'900 des Betreibungsamtes Z. betrieben hat. Eine frühere Betreibung der Beklagten für andere Forderungen der Klägerin wurde nicht geltend gemacht. Mithin sind die an sich unbestrittenen Abschlagszahlungen der Beklagten im Betrag von Fr. 15'000.-- auf die in diesem Verfahren geltend gemachte Forderung der Klägerin anzurechnen und die Klage damit im Betrag von Fr. 24'451.45 gutzuheissen.
7. Sodann macht die Klägerin Verzugszinszu 5% seit 19. März 2009 (Datum des Vermittlungsvorstands, kläg. act. 3) geltend.
Nach Art. 102 Abs. 1 OR wird der Schuldner einer fälligen Forderung durch Mahnung in Verzug gesetzt. Als Mahnung gilt auch die Zustellung eines Rechtsgebots, welches die Rechtsbegehren enthält (Wolfgang Wiegand, Basler Kommentar zum Obligationenrecht I, 3. Aufl., Basel 2007, N 9 zu Art. 102 OR). Ist ein Schuldner mit der Zahlung einer Geldschuld in Verzug, so hat er Verzugszins von 5% p. a. zu bezahlen (Art. 104 Abs. 1 OR).
Die hier im Streit stehenden Forderungen der Klägerin waren am 19. März 2009 alle fällig. Die Beklagte war hinsichtlich aller genannter Teilforderungen spätestens am Tag des anberaumten Vermittlungsvorstands in Verzug. Der anbegehrte Zinssatz entspricht dem gesetzlichen Verzugszins. Auch die Zinsforderung der Klägerin ist demnach auf den geschützten Teil der Klage gutzuheissen.
8.1. Ferner begehrt die Klägerin die Beseitigung des Rechtsvorschlags in der Betreibung Nr. 901'900 des Betreibungsamtes der Z. (Ziff. 2 des Rechtsbegehrens). Die Klägerin hat keine Beweismittel eingelegt (Zahlungsbefehl), welche die behauptete Betreibung, die Person der Betriebenen und den in Betreibung gesetzten Betrag oder die Kosten des Zahlungsbefehls belegen. Gemäss Ziff. 2 des Rechtsbegehrens der Beklagten ist die Betreibung aber auch nicht bestritten, weshalb vorliegend die Tatsache der Betreibung über den eingeklagten Betrag als bewiesen anzusehen ist. Damit ist der Rechtsvorschlag in der Betreibung Nr. 901'900 des Betreibungsamtes Z. im Umfang von Fr. 24'451.45zuzüglich Zins zu 5% seit 19. März 2009 zu beseitigen.
8.2. Ebenfalls ist das Begehren der Klägerin gutzuheissen, die Beklagte zur Bezahlung der Kosten des Zahlungsbefehls zu verpflichten (Ziff. 1 des klägerischen Rechtsbegehrens); und dies im ganzen Umfang, obwohl der Rechtsvorschlag nur für den geschützten Teilbetrag beseitigt wird, da eine Gebühr von Fr 90.-- für einen Zahlungsbefehl mit einem in Betreibung gesetzten Betrag zwischen Fr. 10'000.-- und Fr. 100'000.-- erhoben wird (Art. 16 GebV SCHKG; SR 281.35); mithin die Kosten des Zahlungsbefehls gleich hoch ausgefallen wären, wenn die Betreibung nur im Umfang von Fr. 24'451.45 angehoben worden wäre.