Aus den Erwägungen:
2. Gemäss Art. 319 Abs. 1 StPO verfügt die Staatsanwaltschaft die vollständige oder teilweise Einstellung des Verfahrens, wenn kein Tatverdacht erhärtet ist, der eine Anklage rechtfertigt (lit. a), wenn kein Straftatbestand erfüllt ist (lit. b), wenn Rechtfertigungsgründe einen Straftatbestand unanwendbar machen (lit. c), wenn Prozessvoraussetzungen definitiv nicht erfüllt werden können oder Prozesshindernisse aufgetreten sind (lit. d) oder wenn nach gesetzlicher Vorschrift auf Strafverfolgung oder Bestrafung verzichtet werden kann (lit. e).
Im Allgemeinen geht es bei den Einstellungsgründen um solche, die mit Sicherheit oder doch grösster Wahrscheinlichkeit zu einem Freispruch oder einer in den Wirkungen gleichen Erledigung vor Gericht führen müssten. Eine Einstellung ist folglich geboten, wenn eine Verurteilung mit an Sicherheit grenzender Wahrscheinlichkeit ausgeschlossen erscheint. Die Möglichkeit, das Verfahren einzustellen, kann jedoch nicht auf diesen Fall alleine beschränkt werden. Eine derart restriktive Auslegung würde, selbst wenn nur eine sehr geringe Wahrscheinlichkeit der Verurteilung bestünde, eine Überweisung an das Gericht erfordern. Der Grundsatz "in dubio pro duriore" verlangt folglich bloss, dass im Zweifel das Verfahren fortgesetzt wird. Die Staatsanwaltschaft verfügt in diesem Rahmen über einen weiten Ermessensspielraum und hat sich somit die Frage zu stellen, ob eine Verurteilung wahrscheinlicher scheint als ein Freispruch (Pra 101 (2012) Nr. 114, E.4.1.1, E. 4.1.2).
3. Der Beschwerdeführer macht geltend, dass der Vorwurf, ein Rechtsanwalt handle in Bereicherungsabsicht, ausschliesslich aus Eigeninteresse und nicht im Interesse des Klienten, den objektiven Tatbestand eines Ehrverletzungsdelikts erfülle. Für die Erfüllung des subjektiven Tatbestandes genüge es, wenn sich der Beschwerdegegner der Ehrenrührigkeit seiner Behauptung bewusst gewesen sei und sie trotzdem erhoben habe; eine Absicht der Rufschädigung oder Beleidigung sei nicht erforderlich. Aufgrund der Ausbildung und des Berufs des Beschwerdegegners sei sich dieser der Ehrenrührigkeit seiner Aussage bewusst gewesen. Einen Rechtfertigungsgrund könne die Vorinstanz nicht annehmen, da sie diesbezüglich keine Untersuchungshandlungen vorgenommen habe. Sie habe keine Kenntnis, ob sich der Beschwerdegegner auf das für die Erklärung seines Standpunktes Notwendige beschränkt habe, die Ausführungen sachbezogen und nicht wider besseres Wissens erfolgt seien. Die Ausführungen des Beschwerdegegners in Bezug auf angebliche Zukunftspläne des Beschwerdeführers im Zusammenhang mit der Liegenschaft seien nicht nur falsch, es fehle ihnen auch der notwendige Sachbezug. Zudem habe der Beschwerdegegner damit das Mass der notwendigen Erläuterungen seines Standpunktes massiv überschritten. Ob der Schuldbrief zurückzugeben sei oder nicht, sei völlig unabhängig davon, was in Zukunft mit der Liegenschaft geschehe. Da O. nicht einvernommen worden sei, könne auch keine Aussage darüber erfolgen, ob die Äusserungen des Beschwerdegegners wider besseren Wissens erfolgt seien.
4.a) Der üblen Nachrede macht sich schuldig, wer jemanden bei einem andern eines unehrenhaften Verhaltens oder anderer Tatsachen, die geeignet sind, seinen Ruf zu schädigen, beschuldigt oder verdächtigt, sowie wer eine solche Beschuldigung oder Verdächtigung weiterverbreitet (Art. 173 Ziff. 1 StGB). Handelt die Person wider besseres Wissens, so macht sie sich der Verleumdung nach Art. 174 Ziff. 1 StGB strafbar.
Die Rechtfertigungsgründe des Allgemeinen Teils des Strafgesetzbuches, so auch Art. 14 StGB, haben Vorrang vor dem Entlastungsbeweis im Sinne von Art. 173 Ziff. 2 StGB. Dieser ist subsidiär anwendbar, wenn sich die Straflosigkeit nicht bereits aus einem Rechtfertigungsgrund ergibt. Tatbestandsmässige Äusserungen der Prozessparteien in einem Gerichtsverfahren können aufgrund der sich aus der Verfassung und aus gesetzlichen Bestimmungen ergebenden Darlegungsrechte und -pflichten gemäss Art. 14 StGB gerechtfertigt sein, wenn die Ausführungen sachbezogen sind, sich auf das für die Erläuterung des jeweiligen Standpunktes Notwendige beschränken, nicht wider besseres Wissen erfolgen und blosse Vermutungen als solche bezeichnen. Innerhalb dieser Grenzen sollen die Anwälte die Interessen ihrer Mandanten auch pointiert vertreten dürfen, um die zu erläuternden Rechtspositionen nachhaltig auf den Punkt zu bringen. Hinzunehmen ist dabei ein gewisses Mass an übertreibenden Bewertungen und gar Provokationen, soweit sich die anwaltlichen Äusserungen weder als völlig sachwidrig noch als unnötig beleidigend erweisen (vgl. BGer 6B_549/2010 E. 2.5; 6P.174/2004 E. 4.1; BGE 131 IV 154 E. 1.3.1; 116 IV 211, insb. E. 4.a.bb, je m.w.H.).
b/aa) Anlässlich der Schlichtungsverhandlung vom 6. März 2012 sagte der Beschwerdegegner aus, dass "der Beschwerdeführer sich an O. bereichern wolle mit dem Ziel, das mit dem Schuldbrief belastete Grundstück mit einer Überbauung zu übersehen und dort privat eine Wohnung zu beziehen". Aufgabe der Schlichtungsbehörde ist, in einer formlosen Verhandlung zu versuchen, die Parteien zu versöhnen. Dient es der Beilegung des Streites, können auch ausserhalb des Verfahrens liegende Streitfragen einbezogen werden (vgl. Art. 201 Abs. 1 ZPO). Das Schlichtungsverfahren ist nicht öffentlich (Art. 203 Abs. 3 ZPO) und die Aussagen der Parteien dürfen weder protokolliert, noch später im Entscheidverfahren verwendet werden (Art. 205 Abs. 1 ZPO).
Die Funktion des Schlichtungsverfahrens liegt mithin darin, den eigentlichen Hauptprozess zu vermeiden. Die Schlichtungsbehörde kann dieser Aufgabe jedoch nur nachkommen, wenn sich die Prozessparteien in der Schlichtungsverhandlung möglichst frei über den Streitgegenstand äussern können. Dazu gehört aber offensichtlich auch, dass sie Äusserungen machen dürfen, die objektiv ehrverletzend sind, und zwar unter Umständen auch in Bezug auf Drittpersonen. Dies muss jedenfalls insoweit gelten, als die Äusserungen in einem sachlichen Zusammenhang mit dem Streitgegenstand und der Schlichtungsverhandlung stehen, sie notwendig sind und nicht wider besseres Wissen erfolgen sowie Vermutungen als solche bezeichnet werden. Im Übrigen soll die Schlichtungsbehörde eine Partei, die sich anlässlich der Schlichtungsverhandlung ungebührlich äussert, in die Schranken weisen, und sie soll die ihr zu Gebote stehenden Ordnungsmittel, wie z.B. die Ordnungsbusse, androhen und nötigenfalls davon Gebrauch machen. Da Schlichtungsverhandlungen jedenfalls in der Regel unter Ausschluss der Öffentlichkeit und nur mit einem beschränkten Personenkreis, nämlich der Schlichtungsbehörde und den Parteien, gegebenenfalls mit deren Vertretern, stattfinden, reichen die der Schlichtungsbehörde offenstehenden Sanktionen in aller Regel aus, um die Ehre des Betroffenen zu schützen (vgl. BGE 116 IV 211 E. 4.b.aa). Die Rechtsprechung verpflichtet die Prozessparteien, Vermutungen als solche zu bezeichnen. Dies gilt unter anderem für Äusserungen im Rahmen von Strafanzeigen, welche auf Vermutungen basieren, nicht jedoch für im betreffenden (Zivil-)Verfahren zu beweisende oder zumindest glaubhaft zu machende Tatsachen (BGer 6B_358/2011 E.2.4.3 m.w.H.).
Die vom Beschwerdegegner anlässlich der Schlichtungsverhandlung getätigte Äusserung erscheint sachbezogen, steht sie mit dem Prozessthema doch in unmittelbaren Zusammenhang. Der Beschwerdegegner äusserte damit seine persönliche Vermutung, was Anlass bzw. Hintergrund der Zivilstreitigkeit sei und weshalb er den Schuldbrief ohne Gegenleistung herausgeben soll. Dem Beschwerdegegner steht es frei, sich anlässlich der Schlichtungsverhandlung umfassend zum Prozessthema zu äussern und dabei auch Hintergründe oder weitere Sachzusammenhänge aufzuzeigen. Die Äusserung erfolgte in der nötigen Sachlichkeit und enthält keine zusätzlichen Beleidigungen; vielmehr ist sie auf das für die Erläuterung des Standpunktes des Beschwerdegegners Notwendige beschränkt. Selbst wenn die Äusserungen als pointiert und übertreibend zu werten wären, so müsste dem Beschwerdegegner eine solche Äusserungsfreiheit zugebilligt werden, zumal eine solche auch einem Anwalt zugestanden wird (vgl. oben). Anhaltspunkte, dass der Beschwerdegegner wider besseres Wissen handelte, liegen nicht vor. Er macht geltend, auf eine Information von O. vertraut zu haben; daran vermöchte im Übrigen eine wie vom Beschwerdeführer beantragte Einvernahme von O. als Zeugen nichts zu ändern. Würde der Zeuge die Aussage des Beschwerdegegners bestätigen, so wäre diesem zusätzlich der Gutglaubensbeweis gelungen (vgl. Art. 173 Ziff. 2 StGB); würde der Zeuge die Aussagen nicht bestätigen, so stünde "Aussage gegen Aussage", wobei wohl keiner eine höhere Glaubhaftigkeit zugemessen werden könnte und letztlich im Zweifel zugunsten des Beschuldigten bzw. des Beschwerdegegners davon auszugehen wäre, dass seine Aussage nicht ausgeschlossen werden kann. Damit hat die Vorinstanz den Antrag auf die Zeugeneinvernahme zu Recht abgelehnt. Dass es sich bei den Äusserungen des Beschwerdegegners im Rahmen des Zivilverfahrens um blosse Vermutungen handelt, war offensichtlich, zumal es sich dabei um die subjektive Darstellung des Prozessstoffes aus der Sicht des Beschwerdegegners handelte. Eine explizite Bezeichnung als Vermutung war im Rahmen des Zivilprozesses nicht notwendig. Schliesslich bleibt darauf hinzuweisen, dass sich auch die Schlichtungsbehörde offensichtlich nicht veranlasst sah, sitzungspolizeiliche Massnahmen zu ergreifen. Die Vorinstanz ging daher zu Recht davon aus, dass die im Schlichtungsverfahren geäusserte Bemerkung durch den Rechtfertigungsgrund von Art. 14 StGB gedeckt ist.
bb) Anlässlich der Klageantwort tätigte der Beschwerdegegner zudem folgende Äusserungen: "Aus dem Mail vom 1. September 2010 geht auch hervor, dass der Anwalt RA Dr. X. Geld organisiert also im Eigeninteresse handelt, die Rede ist von Fr. 10'000"; "Herr X. würde dann dem Kläger die Liegenschaft abkaufen (nicht zum selbst bewohnen) sondern um eine Überbauung zu realisieren und dann dem Kläger eine Wohnung zu günstigen Mietbedingungen zur Verfügung stellen"; "Dem zufolge ist eher wahrscheinlich, dass der echte Kläger Herr Dr. H. X. ist und nicht Herr O., daher wäre, mangels echtem Kläger auf diese Klage gar nicht einzutreten."
Diese Äusserungen stehen ebenfalls in einem klaren Sachbezug zum damaligen Prozessthema, ging es dem Beschwerdegegner damit in erster Linie darum, die Hintergründe des Prozesses und die Zusammenhänge mit der geforderten (aus seiner Sicht entschädigungslosen) Herausgabe des Schuldbriefes aufzuzeigen. Dass dabei auch die geplante künftige Nutzung des Grundstückes thematisiert wurde, vermag den Sachbezug nicht aufzuheben. Vielmehr bestritt der Beschwerdegegner in diesem Zusammenhang letztlich auch die "Legitimation" des Klägers, wobei die beanstandeten Äusserungen in direktem Konnex dazu standen. Die Prozessparteien haben sowohl das Recht, als auch die Pflicht, ihren Standpunkt darzulegen; dazu gehört auch die Frage der Prozesslegitimation. Die Äusserungen waren nicht unnötig verletzend, vielmehr erfolgten sie in einem sachlichen Ton und waren auf das Notwendige beschränkt. Überdies kann nicht verlangt werden, dass jeder einzelne Satz eines Plädoyers oder einer Klageschrift daraufhin überprüft wird, wie er von der Gegenpartei oder von einem aussenstehenden Dritten interpretiert werden könnte (vgl. BGE 131 IV 154 E. 1.4.2). Zudem müsste dem Beschwerdegegner auch für diese Äusserungen – sollten sie überhaupt so gewertet werden – eine gewisse Pointierung und Übertreibung zugebilligt werden (vgl. oben). Ebenso liegen auch für diese Äusserungen keine Anhaltspunkte vor, dass sie wider besseres Wissens erfolgten. Die erste Äusserung leitete der Beschwerdegegner aus dem erwähnten Mail ab; hinsichtlich der zweiten Äusserung kann auf die obigen Erwägungen (E. II.4.b.aa) verwiesen werden. Die dritte Äusserung stellt die Schlussfolgerung des Beschwerdegegners dar, die er aus den ihm bekannten Faktoren ableitet. Schliesslich handelt es sich auch bei diesen Äusserungen offensichtlich um Vermutungen bzw. persönliche Schlussfolgerungen, wobei eine explizite Bezeichnung als Vermutung im Rahmen des Zivilprozesses nicht notwendig war (vgl. oben E.II.4.b.aa).
Damit liegt ein Rechtfertigungsgrund vor, der die Straftatbestände von Art. 173 StGB (Üble Nachrede) und Art. 174 StGB (Verleumdung) unanwendbar macht. Mangels wider besseres Wissen (vgl. oben) ist der Tatbestand der Verleumdung (Art. 174 StGB) zusätzlich auch in subjektiver Hinsicht nicht erfüllt.
c) Folglich kann offen bleiben, ob die objektiven bzw. beim Tatbestand der üblen Nachrede auch die subjektiven Tatbestandsmerkmale erfüllt sind. Ebenso kann offen bleiben, ob eine Verletzung von Teilnahmerechten betreffend die polizeiliche Einvernahme des Beschwerdegegners vorliegen und die Einvernahme nach Art. 147 Abs. 4 StPO nicht zulasten der nicht anwesenden Partei verwertet werden dürfte.
d) Zusammenfassend ist festzustellen, dass die Staatsanwaltschaft St. Gallen das Verfahren gegen den Beschwerdegegner wegen des Verdachts der üblen Nachrede bzw. Verleumdung zu Recht nach Art. 319 lit. b und lit. c StPO einstellte. Damit ist die Beschwerde abzuweisen.