Aus den Erwägungen:
Das Kontakt- und Annäherungsverbot ist eine Massnahme zum Schutze einer Person gegen Gewalt, Drohungen oder Nachstellungen nach Art. 28b Abs. 1 ZGB. Eine solche Massnahme setzt eine Persönlichkeitsverletzung in Form von Gewalt, Drohung oder Nachstellung voraus (BaslerKomm/Meili, Art. 28b ZGB, N 3), wobei die Gewalt eine gewisse Intensität aufweisen muss, sodass das Opfer einen Eingriff in seine physische, psychische, sexuelle oder soziale Integrität zu befürchten hat (BGer, FamPra.ch 2010, 209). Ein Verschulden ist nicht vorausgesetzt, und es liegt im Ermessen des Gerichts, ob eine Massnahme befristet oder unbefristet angeordnet und wieweit auf die Interessen der verletzenden Person Rücksicht genommen wird (BaslerKomm/Meili, Art. 28b ZGB, N 6). In diesem Sinne müssen die Verbote nach dem Verhältnismässigkeitsprinzip geeignet, notwendig und zumutbar sein (FamKomm Scheidung/Vetterli, Art. 176 ZGB, N 20). Das bedeutet, dass das Schutzinteresse der einen Person das Freiheitsinteresse der anderen Person überwiegen muss.
Die Kinder mussten hier mehrfach häusliche Gewalt miterleben, und sie sind daher in ihrer Entwicklung erheblich beeinträchtigt (Büchler/Michel, Besuchsrecht und häusliche Gewalt, FamPra.ch 2011, 525, 539 ff., 544 ff.). Gemäss dem schlüssigen und umfassenden, mithin beweiskräftigen Gutachten des (…) sind die Kinder ausserdem wegen des Verhaltens des Vaters gefährdet (…; den unbegründeten und auf unvollständigen Sachverhaltskenntnissen beruhenden Stellungnahmen des behandelnden Arztes des Ehemanns, welcher keine Gefährdung sieht, kommt demgegenüber kaum Beweiswert zu, zumal es einer Erfahrungstatsache entspricht, dass behandelnde Ärzte infolge des Vertrauensverhältnisses zum Patienten im Zweifelsfall eher zu dessen Gunsten aussagen [BGE 125 V 351; BGer 8C_589/2008]). Es scheint nachvollziehbar, dass sich die Kinder heute vor dem Vater fürchten. Daher ist es bis auf weiteres geboten, die Aufhebung des Kontaktrechts mit einem Annäherungs- und Kontaktverbot zu verknüpfen, wobei Letzteres auf unmittelbare Kontakte durch Telefon, SMS, E-Mail oder Ähnliches beschränkt wird, nicht aber die mittelbare Briefpost beinhaltet.
Das Annäherungs- und Kontaktverbot ist auch auf die Ehefrau auszudehnen, weil diese laut den Gutachterinnen ebenfalls stark gefährdet ist. Dabei ist das Gericht zuständig, ein Annäherungs- und Kontaktverbot im Rahmen der Regelung der Scheidungsfolgen anzuordnen, was die Parteien im Übrigen nicht bestritten haben (vgl. auch Hrubesch-Millauer/Vetterli, Häusliche Gewalt: die Bedeutung des Artikels 28b ZGB, FamPra.ch 2009, 535, 544; so auch im Massnahme- und Eheschutzverfahren; ein numerus clausus bei der Regelung der Scheidungsfolgen ist nicht anzunehmen). Da vorliegend die ganze Familie von häuslicher Gewalt betroffen ist und Gewalt gegen die Mutter eine Form psychischer Gewalt gegen Kinder darstellt (Ecker/Büchse, Kinder als Betroffene von häuslicher Gewalt, ZKJ 2011, 292 ff.), gilt hier das Annäherungs- und Kontaktverbot in Bezug auf die Ehefrau aber auch als Kindesschutzmassnahme.
Die mit dem Kontaktverbot verbundene Androhung der Bestrafung nach Art. 292 StGB ist üblich (BaslerKomm/Meili, Art. 28b ZGB, N 6). Dem Berufungskläger ist daher unter Strafdrohung gemäss Art. 292 StGB, d.h. von Busse im Missachtungsfall, zu verbieten, mit der Berufungsbeklagten und den gemeinsamen noch nicht volljährigen Kindern Kontakt aufzunehmen und sich ihnen auf weniger als 100 Meter zu nähern. Die Massnahme ist unbefristet anzuordnen (BaslerKomm/Meili, Art. 28b ZGB, N 6, m.w.H.), weil sich die Therapieaussichten und die Gestaltung des allfälligen künftigen Besuchsrechts, (…), nicht voraussagen lassen.