A.
A.a A.___ reichte auf Aufforderung der Sozialversicherungsanstalt des Kantons St. Gallen am 2. September 2008 den Fragebogen 1 zur beitragsrechtlichen Erfassung einer selbstständigen Erwerbstätigkeit ein. Dabei gab er an, er besitze drei Liegenschaften in B., D. und E.. Er bezahle aber seine AHV-Beiträge weiterhin als Arbeitnehmer der F. GmbH (act. G 3.5). Die Sozialversicherungsanstalt erfasste den Versicherten zwangsweise als Selbstständigerwerbenden (act. G 3.4 und G 3.17). Mit Meldung vom 19. November 2009 gab das Kantonale Steueramt St. Gallen der Sozialversicherungsanstalt bekannt, der Versicherte habe im Jahr 2004 aus selbstständiger Berufsausübung ein Einkommen von Fr. 20'759.-- erzielt bei einem im Betrieb investierten Eigenkapital von Fr. -399'400.-- (act. G 3.8).
A.b Nachdem eine Einsprache gegen die Steuerveranlagung 2004 erst im Januar 2010 rechtskräftig erledigt werden konnte, setzte die Sozialversicherungsanstalt mit Beitragsverfügung vom 18. Mai 2010 die persönlichen Beiträge für das Jahr 2004 gestützt auf ein beitragspflichtiges Einkommen von Fr. 20'700.-- auf Fr. 1'136.40 (inkl. Verwaltungskosten) fest (act. G 3.15). Mit Einsprache vom 25. Mai 2010 machte der Versicherte geltend, er sei nicht selbstständig erwerbend. Vielmehr sei er seit 1976 bei der G.___ AG, und eine Zeit lang bei der H.___ GmbH, St. Gallen, angestellt bzw. angestellt gewesen (act. G 3.16). Mit Entscheid vom 17. August 2010 wies die Sozialversicherungsanstalt die Einsprache ab. Zur Begründung führte sie im Wesentlichen aus, die fraglichen Einkünfte aus der Vermietung von Liegenschaften seien von der Steuerbehörde als solche aus selbstständigem Nebenerwerb qualifiziert worden. Stehe fest, dass eine Liegenschaft zum Geschäftsvermögen gehöre, brauche nicht mehr geprüft zu werden, ob es sich bei der Vermietung um eine selbstständige Erwerbstätigkeit handle oder nicht (act. G 3.18).
B.
B.a Gegen diesen Entscheid richtet sich die vorliegende Beschwerde vom 15. September 2010 mit dem Antrag auf Aufhebung des angefochtenen Einspracheentscheids. Der Beschwerdeführer sei Eigentümer von zwei Wohnungen in B.___ und D.___. Das Halten und Bewirtschaften von nur zwei Wohnungen könne unmöglich gewerbsmässig sein, dazu gehöre ein viel grösserer Immobilienbesitz. Vielmehr liege eine reine Verwaltung von privatem Vermögen vor (act. G 1). Mit Eingabe vom 4. Oktober 2010 beantragt die Verwaltung Abweisung der Beschwerde und verweist zur Begründung auf die Ausführungen im Einspracheentscheid (act. G 3).
Erwägungen:
1.1 Gemäss Art. 4 Abs. 1 AHVG schulden die erwerbstätigen Versicherten Beiträge auf dem aus einer unselbstständigen oder selbstständigen Erwerbstätigkeit fliessenden Einkommen. Nach Art. 9 Abs. 1 AHVG ist Einkommen aus selbstständiger Erwerbstätigkeit jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt. Als selbstständiges Einkommen gelten laut Art. 17 AHVV alle in selbstständiger Stellung erzielten Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf, sowie aus jeder anderen selbstständigen Erwerbstätigkeit, einschliesslich der Kapital- und Überführungsgewinne nach Art. 18 Abs. 2 DBG und der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken nach Art. 18 Abs. 4 DBG, mit Ausnahme der Einkünfte aus zu Geschäftsvermögen erklärten Beteiligungen nach Art. 18 Abs. 2 DBG. Nicht unter den Begriff der selbstständigen Erwerbstätigkeit im Sinne von Art. 9 Abs. 1 AHVG und Art. 17 AHVV fällt die blosse Verwaltung des eigenen Vermögens; der daraus resultierende reine Kapitalertrag unterliegt daher nicht der Beitragspflicht. Gleiches gilt in Bezug auf Gewinne aus privatem Vermögen, welche in Ausnützung einer zufällig sich bietenden Gelegenheit erzielt worden sind. Anderseits stellen Kapitalgewinne aus der Veräusserung oder Verwertung von Gegenständen des Privatvermögens, wie Wertschriften oder Liegenschaften, auch bei nicht buchführungspflichtigen (Einzel-)Betrieben, Einkommen aus selbstständiger Erwerbstätigkeit dar, wenn und soweit sie auf gewerbsmässigem Handel beruhen (BGE 134 V 252 f. E. 3.1, mit Hinweis auf BGE 125 V 383 E. 2a S. 385).
1.2 Wie das Eidgenössische Versicherungsgericht im Urteil H 174/04 vom 2. Dezember 2004, E. 4.2 (SVR 2005 AHV Nr. 16 S. 53), erwogen hat, nimmt Art. 17 AHVV (in der bis 31. Dezember 2000 gültig gewesenen Fassung) die in Art. 18 Abs. 1 DBG verwendeten Begriffe wieder auf und verweist überdies bezüglich der Kapital- und Überführungsgewinne auf Art. 18 Abs. 2 DBG sowie hinsichtlich der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken auf Art. 18 Abs. 4 DBG. Die Bestimmung führt somit bei der Umschreibung des Einkommens aus selbstständiger Erwerbstätigkeit zu einer Harmonisierung zwischen dem Beitragsrecht der AHV und dem Steuerrecht. Soweit das AHVG und die AHVV keine abweichende Regelung enthalten, unterliegen grundsätzlich alle steuerbaren Einkünfte aus selbstständiger Erwerbstätigkeit auch der Beitragspflicht (BGE 134 V 253 E. 3.2, mit Hinweisen auf Urteil H 17/05 vom 6. Juli 2005, E. 3.2 [SVR 2006 AHV Nr. 4 S. 12]; Hanspeter Käser, Die Auswirkungen des DBG, in: René Schaffhauser/Ueli Kieser [Hrsg.], Aktuelle Fragen aus dem Beitragsrecht der AHV, St. Gallen 1998, S. 49 ff., 57).
1.3 Die Ausgleichskassen haben ohne Bindung an die Steuermeldung auf Grund des AHV-Rechts zu beurteilen, wer für ein von der Steuerbehörde gemeldetes Einkommen beitragspflichtig ist. Allerdings sollen sich die Ausgleichskassen bei der Qualifikation gemeldeter Einkünfte in der Regel auf die Steuermeldungen verlassen und eigene nähere Abklärungen nur dann vornehmen, wenn sich ernsthafte Zweifel an der Richtigkeit der Steuermeldung ergeben (BGE 134 V 253 f. E. 3.3, mit Hinweisen auf BGE 121 V 83 E. 2c, 114 V 75 E. 2, 111 V 294 E. 3c, 110 V 86 E. 4 und 370 E. 2a, 102 V 30 E. 3b mit Hinweisen; AHI 1993 S. 223).
2.1 Der Beschwerdeführer beanstandet zunächst die Qualifikation der Mietzinseinnahmen als Einkommen aus selbstständiger Erwerbstätigkeit. Das Halten und Bewirtschaften von lediglich zwei Wohnungen könne nicht gewerbsmässig sein. Zudem macht er geltend, das Einkommen sei falsch berechnet worden, indem die Hypothekarzinsen nicht berücksichtigt worden seien (act. G 1). Im Anmeldeverfahren machte er bereits geltend, es liege ein Fehler in der Steuererklärung vor (act. G 3.4).
2.2 Vorliegend teilte die Steuerverwaltung die fraglichen Liegenschaften in B.___ und D.___ unbestrittenermassen dem Geschäftsvermögen des Beschwerdeführers zu und qualifizierte die daraus fliessenden Mietzinseinkünfte (abzüglich der Aufwendungen) dementsprechend als Einkommen aus selbstständiger Erwerbstätigkeit (Veranlagungsberechnung [Einspracheentscheid] vom 20. Januar 2010 [act. G 3.12]). Dabei ging sie von den "Betriebsabrechnungen" für die beiden Liegenschaften aus. Demnach resultierte im Jahr 2004 bei der Liegenschaft I.___ in D.___ ein Gewinn von Fr. 8'437.25, bei der Liegenschaft B.___ ein solcher von Fr. 12'322.20, total somit Fr. 20'759.45 (act. G 3.9 und 3.10). Diese Veranlagung erwuchs unbestrittenermassen in Rechtskraft (vgl. act. G 3.13).
Wie das Bundesgericht ausgeführt hat, handelt es sich bei den aus der Vermietung von Liegenschaften des Geschäftsvermögens erwirtschafteten Erträgen um Einkünfte aus selbstständiger Erwerbstätigkeit, welche der AHV-Beitragspflicht unterliegen. Stehe - wie vorliegend - fest, dass die Liegenschaften zum Geschäftsvermögen gehören, brauche nicht zusätzlich geprüft zu werden, ob es sich bei der Vermietung um eine selbstständige Erwerbstätigkeit handle oder nicht. Diese Frage sei bereits mit der Zuordnung der Liegenschaften zum Geschäftsvermögen beantwortet (BGE 134 V 255 E. 4.3).
2.3 Nach dem Gesagten bleibt somit kein Spielraum, die fraglichen Einkünfte anders denn als Einkommen aus selbstständiger Erwerbstätigkeit zu qualifizieren. Im Übrigen besteht vorliegend ohnehin kein Anlass, von der steuerlichen Qualifikation abzuweichen. So war der Beschwerdeführer im Jahr 2004 (und noch heute) an rund einem Dutzend Gesellschaften (AG's und GmbH's) als Verwaltungsrat, Gesellschafter oder Geschäftsführer beteiligt. Von diesen Gesellschaften sind einige unter anderem im Immobilienhandel oder im Bauwesen tätig (vgl. online-Handelsregisterauszüge des Handelsregisteramtes St. Gallen der G.___ AG [Immobilienhandel], J.___ AG [Immobilienhandel], K.___ AG [Immobilienhandel], L.___ AG [Dienstleistungen auf dem Gebiet des Bauingenieurwesens], M.___ GmbH [Dienstleistungen in den Bereichen Bauleitung, Architektur und Planung von Bauwerken aller Art]). Weiter ist der Beschwerdeführer selber beruflich stark mit dem Immobilienhandel verbunden. Insbesondere mit der G.___ AG ist er unter anderem im gehobenen bis Luxussegment tätig und hat sich auf die Akquisition ausländischer Kundschaft spezialisiert (vgl. www.villen.ch; www.swissguide.ch). Der Beschwerdeführer nutzt somit seine beruflichen Kenntnisse des Immobilienmarktes, um mit den fraglichen Liegenschaften einen Ertrag zu erzielen. Zudem sind die Liegenschaften weitgehend fremdfinanziert (vgl. Veranlagungsprotokoll [act. G 3.12]).
Unter diesen Umständen erscheint plausibel, wenn die Steuerverwaltung betreffend die beiden fraglichen Liegenschaften im Vermögen des Beschwerdeführers (D., B.) von einer Geschäftstätigkeit und daraus erzieltem Einkommen aus selbstständiger Erwerbstätigkeit ausgeht. Der Beschwerdeführer legt denn auch im vorliegenden Verfahren nicht dar, inwiefern diese Einschätzung nicht zutreffen sollte. Damit muss es bei der rechtskräftigen steuerlichen Qualifikation und der sich daraus ergebenden Folge gemäss der zitierten Rechtsprechung des Bundesgerichts sein Bewenden haben.
2.4 Weiter beanstandet der Beschwerdeführer die Berechnung des Einkommens aus selbstständiger Erwerbstätigkeit. So sei einfach Ziff. 2.2 der Steuerveranlagung (selbstständiger Erwerb) übernommen worden. Dieser Gewinn beinhalte aber nur Mietzinseinnahmen abzüglich Unterhalt. Die Hypothekarschulden seien demgegenüber unter "Schuldzinsen" in der Veranlagung enthalten und demzufolge nicht berücksichtigt worden. Dem kann nicht gefolgt werden. Zum einen ist die Steuermeldung namentlich in masslicher Hinsicht für die AHV verbindlich (Art. 23 Abs. 1 AHVV). Zum anderen trifft das Vorbringen des Beschwerdeführers ohnehin nicht zu. Wie sich aus den Betriebsabrechnungen zu den beiden Liegenschaften ergibt, wurden neben dem Liegenschaftenunterhalt, den Versicherungskosten, dem Verwaltungsaufwand und den Abschreibungen (nur B.___) auch die Hypothekarzinsen berücksichtigt (act. G 3.9 und 3.10).
Nach dem Gesagten ist die Beschwerde abzuweisen. Gerichtskosten sind keine zu erheben (Art. 61 lit. a ATSG).
Demgemäss hat das Versicherungsgericht
im Zirkulationsverfahren gemäss Art. 39 VRP
entschieden:
Die Beschwerde wird abgewiesen.
Es werden keine Gerichtskosten erhoben.