A.- Die vom Konkursamt des Kantons St. Gallen vertretene Konkursmasse X verkaufte mit öffentlich beurkundetem Kaufvertrag vom 26. Januar 2006 im Zwangsvollstreckungsverfahren freihändig das Baurechts-Grundstück Nr. ... mit dem Wohn- und Gewerbehaus Vers.-Nr. ..., zum Preis von Fr. 1'842'000.-- an Z. Die Eigentumsübertragung wurde am 6. Februar 2006 im Grundbuch Y eingetragen.
B.- Mit Rechnung vom 10. April 2006 veranlagte das Grundbuchamt Y Z mit einer Handänderungssteuer von Fr. 18'420.-- (1 % von Fr. 1'842'000.--). Die gegen diese Veranlagung erhobene Einsprache vom 25. April 2006 wies der Gemeinderat der politischen Gemeinde Y mit Entscheid vom 18. Mai 2006 ab und auferlegte Z die Entscheidgebühr von Fr. 300.--.
C.- Gegen diesen Einsprache-Entscheid erhob Z durch seinen Vertreter mit Eingabe vom 14. Juni 2006 Rekurs bei der Verwaltungsrekurskommission mit dem Antrag, unter Kosten- und Entschädigungsfolge sei der angefochtene Beschluss aufzuheben und die Handänderungssteuer mit Fr. 0.00 zu veranlagen.
Die Vorinstanz beantragte mit Vernehmlassung vom 13. Juli 2006 die Abweisung des Rekurses.
Auf die Ausführungen der Verfahrensbeteiligten zur Begründung der Anträge wird, soweit notwendig, in den Erwägungen eingegangen.
Erwägungen:
1.- Die Eintretensvoraussetzungen sind von Amtes wegen zu prüfen. Die Verwaltungsrekurskommission ist zum Sachentscheid zuständig. Die Befugnis zur Rekurserhebung ist gegeben. Der Rekurs vom 14. Juni 2006 ist rechtzeitig eingereicht worden. Er erfüllt in formeller und inhaltlicher Hinsicht die gesetzlichen Anforderungen (Art. 229 in Verbindung mit Art. 194 Abs. 1 des Steuergesetzes, sGS 811.1, abgekürzt: StG; Art. 48 des Gesetzes über die Verwaltungsrechtspflege, sGS 951.1, abgekürzt: VRP). Auf den Rekurs ist einzutreten.
2.- Die Verfahrensbeteiligten sind sich einig, dass es sich beim im Grundbuch eingetragenen selbständigen und dauernden Baurecht um ein in der Gemeinde gelegenes Grundstück im Sinn von Art. 241 Abs. 1 StG handelt (vgl. dazu Weidmann/Grossmann/Zigerlig, Wegweiser durch das st. gallische Steuerrecht, 6. Aufl. 1999, S. 441 und S. 220/221). Ebenso besteht Einigkeit, dass die freihändige Veräusserung des Grundstücks im Zwangsverwertungsverfahren nach Art. 256 des Bundesgesetzes über Schuldbetreibung und Konkurs (SR 281.1, abgekürzt: SchKG) eine Handänderung im Sinn von Art. 241 Abs. 2 StG darstellt (vgl. dazu Weidmann/Grossmann/Zigerlig, a.a.O., S. 441/442 und S. 223/224). Unbestritten ist schliesslich, dass der Rekurrent als Erwerber im Sinn von Art. 242 Abs. 1 StG steuerpflichtig ist.
3.- Im Rekurs ist hingegen umstritten, ob die Handänderung in Anwendung von Art. 244 lit. d StG von der Steuerpflicht befreit ist.
a) Im Rekurs wird geltend gemacht, entgegen der vorinstanzlichen Darstellung sei der Rekurrent Grundpfandgläubiger des Gemeinschuldners gewesen. Er sei entsprechend mit einem Kapital von Fr. 211'319.90 sowie aufgelaufenen Zinsen von Fr. 12'883.-- in der Verwertung der Liegenschaft zugelassen worden. Weiter sei er bedingt als Pfandgläubiger in Bezug auf grundpfandgesicherte Forderungen anderer Gläubiger zugelassen worden, da er als Darlehensnehmer diesen gegenüber habe auftreten müssen, weil der Gemeinschuldner bereits nicht mehr kreditwürdig gewesen sei. Er sei zusätzlich mit einer Forderung aus zwei Pfandausfallscheinen von Fr. 329'322.40 sowie zwei Parteikostenforderungen gemäss Gerichtsentscheiden des Bezirksgerichts A und B vom 19. April resp. 11. März 2004 von Fr. 1'700.-- und Fr. 500.-- im 3. Rang kolloziert worden. Nach Durchführung des Konkurses habe der Rekurrent einen Verlustschein im Betrag von Fr. 348'946.60 erhalten, umfassend die Pfandausfallhaftung aus dem Grundstück Nr. ... gegenüber einem anderen Gläubiger, zwei Pfandausfallscheine aus der Verwertung des Grundstückes der Gemeinde A sowie Parteikosten gemäss den genannten Gerichtsentscheiden. Dem Rekurrenten selbst sei also ein Pfandausfall aus der Verwertung des Grundstücks Nr. ... entstanden.
Die Vorinstanz hält dem entgegen, gemäss Liegenschaftsabrechnung des Konkursamtes entstehe dem Rekurrenten als Solidarbürge einer anderen Gläubigerin des Gemeinschuldners ein Verlust von Fr. 52'595.05. Die Bürgschaftsverpflichtung vom 10. Mai 1998 mit einem Haftungsbetrag von Fr. 400'000.-- sei jedoch mangels öffentlicher Beurkundung in formeller Hinsicht nicht gültig. Die eigenschriftliche Angabe des Haftungsbetrages und gegebenenfalls der solidarischen Haftung in der Bürgschaftsurkunde genüge nur, wenn der Haftungsbetrag Fr. 2'000.-- nicht übersteige. Die Solidarbürgschaft sei damit nicht rechtsgenüglich nachgewiesen. Entgegen der Darstellung des Konkursamtes bzw. des Rekurrenten, sei dieser nicht Grundpfandgläubiger. Ein Verlust könne mit einem definitiven Verlustschein, einer leeren Pfändungsurkunde oder einem gerichtlichen Nachlassvertrag erbracht werden. Ein solcher Verlust sei nicht rechtsgenüglich nachgewiesen worden. Weil die Solidarbürgschaft nicht öffentlich beurkundet sei, könne dahingestellt bleiben, ob es sich bei der Liegenschaftsabrechnung des Konkursamtes um einen rechtsgenüglichen Verlustnachweis handle.
b) Gemäss Art. 244 lit. d StG sind Handänderungen im Zwangsverwertungs- und im gerichtlichen Nachlassverfahren von der Steuerpflicht befreit, wenn der Erwerb des Grundstückes durch den Pfandgläubiger, Pfandeigentümer, Pfandbürgen, den nicht entlassenen Pfandschuldner oder den Solidarschuldner zu einem Verlust führt. Die Bestimmung übernimmt die frühere Regelung in Art. 185 lit. d des bis zum 31. Dezember 1998 gültigen Steuergesetzes vom 23. Juni 1970 (nGS 29-70, abgekürzt: aStG) im Wortlaut. Damit ergeben sich gegenüber dem früheren Recht inhaltlich keine Änderungen (vgl. Botschaft, in: ABl 1997 S. 1062).
Für das Steuerrecht gilt der gefestigte Grundsatz, dass die Steuerbehörde die Beweislast für die steuerbegründenden Tatsachen trägt, während den Steuerpflichtigen die Beweislast für Tatsachen trifft, welche die Steuerschuld aufheben oder mindern. Danach ist es namentlich Sache der Steuerbehörden, die Voraussetzungen für die Steuerpflicht als solche nachzuweisen (vgl. Weidmann/Grossmann/Zigerlig, a.a.O., S. 379/380). Der Nachweis der Ausnahme von der Steuerpflicht ist durch den Steuerpflichtigen zu erbringen. Die Befreiung von der Steuerpflicht kann nur zugebilligt werden, wenn der Erwerber einwandfrei nachgewiesen hat, dass er im Zeitpunkt der Versteigerung Pfandgläubiger war und der Erwerb zu Verlust geführt hat (vgl. VRKE vom 16. August 1972 in Sachen S. AG).
c) aa) Erste Voraussetzung für die Steuerbefreiung gemäss Art. 244 lit. d StG ist, dass die Handänderung im Zwangsvollstreckungs- oder im gerichtlichen Nachlassverfahren erfolgt. Dass darunter auch Verkäufe aus freier Hand fallen, wenn die Verwertung im Rahmen eines amtlichen Verfahrens (Pfändungsverfahren, Pfandverwertungsverfahren, Konkursverfahren) erfolgt, wird zu Recht nicht bestritten. Auch der Freihandverkauf im Konkurs ist nach Art. 244 lit. d StG bei Erfüllung der weiteren Voraussetzungen steuerbefreit (vgl. GVP 1996 Nr. 25; G. Rüegg-Peduzzi, Die Handänderungssteuer in der Schweiz, Diss. Zürich 1989, S. 134).
bb) Sodann beschränkt Art. 244 lit. d StG die Steuerbefreiung in subjektiver Hinsicht auf einen bestimmten Kreis von Erwerbern. Das gesetzgeberische Motiv für die umstrittene Steuerbefreiung geht dahin, bestimmte Personen, die im Zusammenhang mit der betreffenden Handänderung zu Schaden gekommen sind, nicht noch mit öffentlichen Abgaben zu belasten; es geht somit um reine Kommiserationsgründe. Privilegiert sind neben den Gläubigern des Gemeinschuldners jene Personen, welche für die ungedeckten Schulden einstehen müssen; so der Pfandeigentümer, welcher die Pfandsache verliert, der Pfandbürge, welcher für den Ausfall belangt wird, sowie der Pfandschuldner, welcher seinerzeit nicht entlassen worden war. All diese Personen sind direkt in die Sache verwickelt und verdienen damit die Rücksicht des Fiskus (vgl. GVP 1998 Nr. 37).
aaa) Der Rekurrent ist einziges Mitglied des Verwaltungsrates der C AG, die Gläubigerin des Gemeinschuldners war. Mit einer als "Bürgschaftsverpflichtung" bezeichneten Vereinbarung zwischen ihm und der C AG bestätigte er, für die gewährten Darlehen bis zum Betrag von Fr. 400'000.-- eine Solidarbürgschaft einzugehen. Der Darlehensvertrag vom 11. Mai 1998, in dessen Zusammenhang die Vereinbarung steht, liegt nicht in den Akten. Ob und inwieweit diese Darlehen tatsächlich bestanden und grundpfandgesichert waren, ist damit nicht aktenkundig. Im Verteilungsplan der Liegenschaftsabrechnung vom 8. Mai 2006 wurde die C AG mit einem vertraglichen Pfandrecht über Fr. 170'000.-- in der 5. Pfandstelle aufgeführt, aus welchem sie keinen Ausfall erlitt. Abgesehen davon, dass entsprechend den zutreffenden Ausführungen der Vorinstanz lediglich eine Bürgschaftsverpflichtung, nicht jedoch eine Bürgschaft, welche bei einem Haftungsbetrag von mehr als Fr. 2'000.-- zu ihrer Gültigkeit der öffentlichen Beurkundung bedarf (vgl. Art. 493 Abs. 2 des Schweizerischen Obligationenrechts; SR 220, abgekürzt: OR), vorliegt, ist ein Zusammenhang mit einer pfandgesicherten Forderung der C AG gegenüber dem Gemeinschuldner aktenmässig nicht nachgewiesen. Schliesslich ist angesichts des klaren Wortlauts grundsätzlich von einer abschliessenden Aufzählung des die Privilegierung vermittelnden Personenkreises auszugehen, sodass kein Anlass besteht, bei der Anwendung der Steuerbefreiung nach Art. 244 lit. d StG auch am Erwerb eines Grundstücks durch einen Solidarbürgen einer zu Schaden gekommenen Grundpfandgläubigerin anzuknüpfen (vgl. dazu GVP 1998 Nr. 37).
bbb) Die Vorinstanz bestreitet, dass der Rekurrent Grundpfandgläubiger war. Zunächst werden die Pfandgläubiger im Kaufvertrag vom 26. Januar 2006 aufgeführt. Dort erscheint der Rekurrent zwar nicht. Indessen wird er von der Konkursverwaltung sowohl im Lastenverzeichnis vom 3. Mai 2005 als auch im Verteilungsplan vom 8. Mai 2006 aufgeführt.
ccc) Im Verteilungsplan der Liegenschaftsabrechnung vom 8. Mai 2006 ist der Rekurrent nicht bloss mit einer Forderung in der 2. Pfandstelle von Fr. 220'262.95, sondern auch mit den durch die Grundpfandrechte in der 3. und 4. Pfandstelle gesicherten Forderungen von zusammen Fr. 444'307.30 kolloziert. Aus der Wiedergabe der Grundpfandrechte im Lastenverzeichnis vom 3. Mai 2005 und im Kaufvertrag vom 26. Januar 2006 ist zu schliessen, dass der Rekurrent die entsprechenden Pfandrechte nach dem Kauf des Grundstücks im Zwangsverwertungsverfahren erworben hat. Dementsprechend ist für die 3. und die 4. Pfandstelle davon auszugehen, dass der Rekurrent das Grundstück nicht als Pfandgläubiger erworben hat. Soweit er das Grundstück nicht als Pfandgläubiger erworben hat, fehlt es an der zweiten Voraussetzung für die Steuerbefreiung gemäss Art. 244 lit. d StG.
ddd) Gemäss Lastenverzeichnis meldete der Rekurrent als Gläubiger eine Forderung von Fr. 211'319.90 zuzüglich Zins bis zur Konkurseröffnung von Fr. 12'833.-- in der 2. Pfandstelle an. Diese Pfandstelle wird von einer Grundpfandverschreibung im Sinn einer Kapitalhypothek von Fr. 1'000'000.-- zuzüglich Zins von 10 % gehalten. Grundpfandgläubigerin war gemäss Darstellung der Grundpfandrechte im Kaufvertrag vom 26. Januar 2006 die D Bank. Gemäss Lastenverzeichnis vom 3. Mai 2005 erlangte der Rekurrent in dieser Pfandstelle Gläubigerstellung im Umfang des nicht beanspruchten Kapitals durch eine "Sicherungsübereignung". Fraglich ist, ob er dadurch Pfandgläubiger im Sinn von Art. 244 lit. d StG wurde.
Das Grundpfandrecht entsteht mit dessen Eintragung im Grundbuch (vgl. Art. 799 Abs. 1 des Schweizerischen Zivilgesetzbuches; SR 210, abgekürzt: ZGB). Vorauszugehen hat ein rechtfertigender Erwerbsgrund, der meistens in einem Rechtsgeschäft, in der Regel in einem Vertrag auf Grundpfandbestellung) besteht (vgl. Tuor/Schnyder/ Schmid, Das Schweizerische Zivilgesetzbuch, 12. Aufl. 2002, S. 989), wobei der Vertrag zu seiner Verbindlichkeit der öffentlichen Beurkundung bedarf (vgl. Art. 799 Abs. 2 ZGB). Die öffentliche Urkunde muss den Verpfänder, die Berechtigte, die Pfandforderung und das Pfandobjekt bezeichnen, nicht aber Abreden über die Rückzahlung, Kündigung und Amortisation der Schuld erfassen (vgl. BGE 123 III 97 E. 2). Aus der Aufstellung der auf dem Grundstück Nr. 10014 lastenden Grundpfandrechte im Kaufvertrag vom 26. Januar 2006 wird für die 2. Pfandstelle ausschliesslich die D Bank als Grundpfandgläubigerin genannt. Damit ist davon auszugehen, dass der Rekurrent nicht als Berechtigter im Grundbuch eingetragen worden und damit auch nicht Pfandgläubiger ist.
Aus der Darstellung im Lastenverzeichnis und im Verteilungsplan ist zu schliessen, dass der Rekurrent ursprünglich nicht pfandrechtlich sichergestellte Forderungen gegenüber dem Gemeinschuldner an die D Bank abtrat und im Gegenzug mittels "Sicherungsübereignung" an der mit der Grundpfandverschreibung sichergestellten Forderung der D Bank partizipierte. Die Sicherungsübereignung ist dadurch gekennzeichnet, dass ein Sicherungsgeber (Fiduziant, Treugeber) einem Sicherungsnehmer (Fiduziar, Treuhänder) zur dinglichen Sicherstellung einer Forderung eine Sache fiduziarisch zu Eigentum überträgt, statt bloss zu beschränktem dinglichem Recht wie bei der Verpfändung. Dem Fiduziar wird dadurch eine im Vergleich zum Pfandgläubiger einfachere und stärkere Rechtsstellung eingeräumt, die ihm erlaubt, gegenüber Dritten als unbeschränkter Rechtsträger aufzutreten, während er aufgrund der Sicherungsabrede dem Fiduzianten gegenüber obligatorisch verpflichtet ist, von dieser überschiessenden Rechtsmacht nur zur Sicherung seiner Forderung im vereinbarten Rahmen Gebrauch zu machen. Mit der Sicherungsübereignung wird grundsätzlich derselbe Zweck verfolgt wie mit einer gewöhnlichen Verpfändung. Sie gehört somit zu den Kreditsicherungsgeschäften (vgl. D. Zobl, in: Berner Kommentar zum schweizerischen Privatrecht, Band IV/2/51, Bern 1982, N 1300 des Systematischen Teils). Während die Sicherungsübereignung Sachen zum Gegenstand hat, bilden Forderungen und Rechte Objekte der Sicherungszession. Die Sicherungsübereignung ist kausal, die Sicherungszession hingegen abstrakt gestaltet. Bei der Sicherungszession gehen die zedierten Forderungen deshalb unabhängig von der Gültigkeit des Rechtsgrundes auf den Zessionar über. Im Übrigen sind die beiden Sicherungsinstitute weitgehend gleichartig (vgl. Zobl, a.a.O., N 1339-1341 des Systematischen Teils). Die Sicherungszession besteht darin, dass ein Sicherungszedent (Sicherungsgeber, Fiduziant) einem Sicherungszessionar (Sicherungsnehmer, Fiduziar) eine Forderung oder ein Recht (Sicherungsgegenstand, Sicherungsobjekt) zur Sicherstellung einer Hauptforderung zu vollem Recht abtritt, statt dem Begünstigten daran bloss ein Pfandrecht einzuräumen. Dadurch wird der Sicherungszessionar nicht bloss Pfandgläubiger, sondern vollberechtigter Inhaber der abgetretenen Forderung bzw. des zedierten Rechts. Da der durch die Sicherungszession verfolgte Zweck auch mit einem Pfandrecht erreicht werden könnte, hat der Sicherungszessionar im Innenverhältnis weitgehend die Stellung eines Pfandgläubigers. Insbesondere darf er von seiner im Verhältnis zum Sicherungszweck überschiessenden Rechtsmacht nur soweit Gebrauch machen, als es jener gebietet (vgl. Zobl, a.a.O., N 1507 des Systematischen Teils). Auch bei der Sicherungszession gilt die Vollrechtstheorie. Der Sicherungszessionar wird vollberechtigter Gläubiger; als solcher hat er die alleinige Verfügungsmacht über die abgetretene Forderung sowie das Recht, sie in eigenem Namen geltend zu machen (vgl. Zobl, a.a.O., N 1553 des Systematischen Teils).
Im Ergebnis war damit der Rekurrent bereits vor dem Erwerb des Grundstücks für einen Teil seiner Forderung gegenüber dem Gemeinschuldner grundpfandrechtlich abgesichert.
eee) Zusammenfassend ergibt sich damit, dass der Rekurrent in Übereinstimmung mit der Behandlung im Konkursverfahren das Grundstück als Pfandgläubiger erworben hat. Dementsprechend ist auch die zweite Voraussetzung für die Befreiung des Rekurrenten von der Handänderungssteuer im Sinn von Art. 244 lit. d StG erfüllt.
cc) Art. 244 lit. d StG verlangt schliesslich, dass der Erwerb des Grundstücks zu einem Verlust geführt hat. Der Erwerbspreis darf nicht über bzw. muss unter dem Forderungsbetrag liegen. Für die Steuerbefreiung genügt ein Nominalverlust. Es genügt, wenn eine der in der Bestimmung genannten Personen betroffen ist. Verlangt wird jedoch ein definitiver Verlust. Ein definitiver Verlust des Pfandgläubigers liegt vor, wenn dessen Forderung mit den privilegierten Zinsen durch den Steigerungserlös - im Konkursverfahren durch den Verwertungserlös überhaupt - nicht gedeckt wird. Der Verlust kann durch Vorlage eines definitiven Verlustscheines, einer leeren Pfändungsurkunde oder des gerichtlichen Nachlassvertrages erbracht werden. Dabei braucht der Verlust nicht unbedingt beim Erwerber eingetreten zu sein (GVP 1987 Nr. 25,1996 Nr. 25).
Gemäss Liegenschaftsabrechnung des Konkursamtes des Kantons St. Gallen vom 8. Mai 2006 standen bei der Zwangsverwertung des Grundstücks Nr. ... Einnahmen von Fr. 2'021'516.80 Ausgaben von Fr. 53'094.25 gegenüber. Damit waren an die Grundpfandgläubiger Fr. 1'968'422.55 zu verteilen. Während die gesetzlichen Pfandrechte über Fr. 28'009.60 voll gedeckt werden konnten, ergab sich bei den kollozierten vertraglichen Pfandrechten von Fr. 2'531'852.35 ein Pfandausfall von Fr. 551'856.05. Dabei konnten die grundpfandrechtlich gesicherten Forderungen des Rekurrenten gedeckt werden. Das Konkursamt stellte dem Rekurrenten schliesslich aus dem Konkurs des Gemeinschuldners am 15. Mai 2006 einen Verlustschein über einen ungedeckt gebliebenen Betrag von Fr. 348'946.60 aus.
Dementsprechend steht fest, dass die Zwangsverwertung des Grundstücks Nr. ... zu Verlusten bei den Pfandgläubigern geführt hat. Damit ist auch die dritte Voraussetzung für eine Steuerbefreiung gemäss Art. 244 lit. d StG erfüllt.
d) Insgesamt ergibt sich, dass der Rekurs gutzuheissen und der angefochtene Einsprache-Entscheid der Vorinstanz vom 18. Mai 2006 und die ihm zugrunde liegende Rechnung vom 10. April 2006 des Grundbuchamtes Y vom 10. April 2006 aufzuheben sind.
4.- Dem Verfahrensausgang entsprechend sind die amtlichen Kosten von der politischen Gemeinde Y zu tragen (Art. 95 Abs. 1 VRP). Eine Entscheidgebühr von Fr. 1'400.-- ist angemessen (vgl. Ziff. 362 Gerichtskostentarif, sGS 941.12). Da die Gemeinde überwiegend finanzielle Interessen verfolgt, ist auf die Erhebung der Kosten nicht zu verzichten (Art. 95 Abs. 3 VRP). Die Finanzverwaltung ist anzuweisen, dem Rekurrenten den geleisteten Kostenvorschuss von Fr. 800.-- zurückzuerstatten.
Bei diesem Ausgang des Verfahrens hat die politische Gemeinde Y den Vertreter des Rekurrenten ausseramtlich zu entschädigen, zumal der Beizug eines Rechtsvertreters angesichts der sich stellenden Rechtsfragen als notwendig erscheint (Art. 98 Abs. 2 und Art. 98bis VRP). Der Vertreter des Rekurrenten hat keine Kostennote eingereicht. Angemessen erscheint eine Honorarpauschale von Fr. 1'800.-- zuzüglich 4% Barauslagen und Mehrwertsteuer (Art. 6, 19, 22 Abs. 1 lit. b, 28 und 29bis der Honorarordnung für Rechtsanwälte und Rechtsagenten, sGS 963.75), was einen Betrag von Fr. 2'014.25 ergibt.