Aus den Erwägungen:
III.
Wann derartige Ausnahmefälle vorliegen könnten, geht aus dem Entscheid nicht hervor. Wenn nicht die kantonale Rechtsetzungskompetenz vollständig ausgehöhlt werden soll, ist jedoch davon auszugehen, dass die Interessenabwägung und der Ortsgebrauch grundsätzlich schon implizit in den kantonalen Abstandsvorschriften enthalten sind, und nur in Ausnahmefällen von übermässigen Immissionen durch den Bestand der den kantonalrechtlichen Abstand einhaltenden Bäume gesprochen werden kann (vgl. Roos, Pflanzen im Nachbarrecht, Zürich 2002, 37 ff.; vgl. auch ZR 97 [1998] Nr. 22 S. 67, wo das Zürcher Obergericht erwägt, dass ein verhältnismässig strenger Massstab anzulegen sei, wenn die kantonalen Vorschriften erfüllt seien, da diese bereits Ausdruck eines bestimmten Ortsgebrauchs seien). Zu denken ist etwa an Fälle, in denen sich durch die besondere Grösse einzelner Bäume oder durch deren Anordnung in einer Gruppe ausserordentliche Einwirkungen auf das Nachbargrundstück ergeben.Eine Interessenabwägung im Sinne einer Gewichtung der Interessen der Eigentümer der Bäume und der von der Einwirkung betroffenen Grundeigentümerin darf unter derartigen Umständen solange keine Rolle mehr spielen, als nicht von einer reinen Schikane und damit von Rechtsmissbrauch seitens der Eigentümer der Bäume ausgegangen werden muss (vgl. Roos, a.a.O., 65).
b) Gemäss Art. 684 ZGB ist jedermann verpflichtet, bei der Ausübung seines Eigentums sich aller übermässigen Einwirkung auf das Eigentum der Nachbarn zu enthalten, wobei insbesondere alle schädlichen und nach Lage und Beschaffenheit der Grundstücke oder nach Ortsgebrauch nicht gerechtfertigten Einwirkungen durch Rauch oder Russ, lästige Dünste, Lärm oder Erschütterung verboten sind. Damit ist aus Art. 684 ZGB abzuleiten, dass eine Duldungspflicht des Nachbarn besteht, soweit die Immissionen lediglich lästig oder sogar schädlich, aber nicht übermässig (lästig oder schädlich) sind; nur übermässige Immissionen brauchen nicht geduldet zu werden (vgl. Roos, a.a.O., 16; Meier-Hayoz, Berner Kommentar, Bern 1975, Art. 684 ZGB N 1 f.). Wo die Grenze zwischen zulässigen und übermässigen Immissionen zu ziehen ist, hängt namentlich von Lage und Beschaffenheit der Grundstücke sowie vom Ortsgebrauch ab (Art. 684 Abs. 2 ZGB). Es sind im konkreten Fall jedoch alle erheblichen Umstände nach objektiven Kriterien und aus der Sicht eines durchschnittlich empfindlichen Menschen zu beachten (Roos, a.a.O., 26, vgl. auch BGE 121 II 326 f. E. 4b; 119 II 416 E. 4c). Im Zusammenhang mit Pflanzen kommen als materielle oder positive Immissionen z.B. auf das Nachbargrundstück fallendes Laub, Tannzapfen, Nadeln, Früchte, Samen und Äste in Frage. Umstritten war hingegen, ob vom Begriff der "Einwirkung" im Sinne von Art. 684 ZGB auch negative Immissionen wie z.B. Lichtentzug, Schattenwurf oder Entzug von Aussicht, die von Pflanzungen ausgehen, erfasst werden. Im genannten Grundsatzentscheid hat das Bundesgericht dies nun bejaht (BGE 126 III 455 ff. E. 2c; vgl. auch BGE 129 III 164 E. 2.5; in diesem Sinn vgl. insbesondere auch Meier-Hayoz, a.a.O., Art. 684 ZGB N 50 ff.).
b/aa) Ohne Zweifel haben die umstrittenen Bäume gewisse Einwirkungen auf das klägerische Grundstück. Diese werden – soweit es um den Schattenwurf geht – durch die von der Vorinstanz eingeholte Expertise vom 31. März 2006 (insbesondere Erstellung eines Schattendiagramms für verschiedene Positionen auf dem klägerischen Grundstück) sowie die Beantwortung der Ergänzungsfragen zur Expertise vom 22. September 2006 in tatsächlicher Hinsicht näher erläutert. Daraus geht hervor, dass der Beobachtungspunkt 1 an der Südwestecke der klägerischen Liegenschaft, am Boden gemessen, von Oktober bis Februar nachmittags jeweils gut vier Stunden, im März noch knapp vier Stunden, also im Verhältnis zur Tageslänge zu 40-50 % im Schatten (der Bäume) liegt. Von November bis Januar dauert dieser bis Sonnenuntergang. Im Sommer reicht der Schatten am Punkt 1 während drei Monaten nie bis zur Hausfassade. Am Beobachtungspunkt 2, in der Südwestecke des Wintergartens, beträgt der Schatten laut Expertise noch von November bis Januar vier Stunden pro Tag, dauert jedoch nie bis Sonnenuntergang; vom März bis September liegt praktisch kein Schattenwurf vor (am 21. März und am 21. September noch je 45 Minuten). Diese jeweils an den beiden Beobachtungspunkten für jeden 21. des Monats vorgenommenen Messungen gehen allerdings davon aus, dass es sich um den Schatten eines Gebäudes (geschlossener Körper ohne Lichtdurchlass) handle. Der Experte stellt denn auch fest, dass der durch die Messungen ausgewiesene Schattenwurf deutlich über dem realen Schattenwurf liege, da der Schatten der neun Bäume weniger stark wirke wie derjenige eines geschlossenen Gebäudes gleicher Ausdehnung. Bei Laubbäumen sei der Unterschied bezüglich Lichtdurchlässigkeit zwischen dem Sommer und dem Winter sehr gross; im Fall der Buche (Baum Nr. 1) betrage die Lichtdurchlässigkeit im Winter ca. 75 %, im Fall der am westlichen Rand der Baumgruppe stehenden Föhren (Bäume 7 und 8) ca. 25-30 % von innen heraus. Lärchen, die im Winter die Nadeln verlieren, bildeten bereits im Sommer nicht einen dichten dunklen Körper. Der Experte gelangte schliesslich im Ergänzungsgutachten mit einer Reduktion der Silhouette der Baumgruppe wegen der "Ausfranselung" lediglich zu einem leicht, jedoch nicht wesentlich geringeren Schattenwurf (10 bis 25 Minuten pro Tag).
bb) Die Klägerin 1 macht weiter positive Immissionen geltend durch Eindringen von Laub, Tannzapfen, Nadeln und kleinen Ästen; insbesondere nach stürmischem Wetter und sie beruft sich darauf, dadurch müssten die Dachrinne und insbesondere das Schwimmbad und dessen technische Einrichtungen häufiger gereinigt werden. Zum Nachweis legt sie Fotos ins Recht, ruft Zeugen an und legt eine Rechnung für die Reinigung des Schwimmbadablaufs mit Hochdruck ins Recht. Diese Rechnung beweist jedoch nicht, dass die Reinigung wegen der Bäume der Nachbarn nötig wurde. Es erübrigt sich auch, die beantragten Zeugen anzuhören, da sich die durch diese zu bestätigenden Immissionen ohnehin nicht als übermässig im Sinne von Art. 684 ZGB erweisen (vgl. nachfolgende E. c/aa).
c/aa) Was die genannten und zum Teil mit Fotos belegten positiven Immissionen betrifft, sind sie zweifellos lästig; es kann jedoch nicht von einer übermässigen Einwirkung im Sinne von Art. 684 ZGB gesprochen werden. Ein Schwimmbad verlangt ohnehin Unterhalt; eine sporadische Reinigung der Dachrinne ist durchaus üblich. Föhn- und Westwind-Wetterlagen mit starkem Wind sind nicht alltäglich. Dass nach einem Sturm in einem Wohnquartier mit Gärten gewisse Aufräumarbeiten nötig werden und Pflanzen(teile) in einem solchen Fall nicht vor den Grundstücksgrenzen Halt machen, ist nicht aussergewöhnlich. Ebenso gehört es zu derartigen Quartieren, dass normaler Laub- oder Nadelfall zum Teil auch die Nachbarn betrifft. Das kantonale Recht hat den Grenzabstand für hochstämmige Bäume auf sechs Meter festgelegt und damit signalisiert, was ortsüblich und grundsätzlich von Nachbarn zu tolerieren ist. Der geforderte Abstand ist im vorliegenden Fall mehr als eingehalten. Bei windigem Wetter könnten durchaus auch weniger hoch gewachsene Bäume oder Sträucher eine ähnliche Wirkung haben. Die von der Klägerin 1 in der Berufung und auch anlässlich des Augenscheins hervorgehobenen positiven Immissionen können unter den gegebenen Umständen nicht Grund für eine Fällung der umstrittenen Bäume wegen übermässiger Immissionen sein.
bb) Die Klägerin 1 begründet die Übermässigkeit der Einwirkungen jedoch insbesondere mit negativen Immissionen, dem Schattenwurf auf ihre Liegenschaft mit der Folge der Vermoosung eines Rasenteils und der Beeinträchtigung der Lebensqualität im Winter, da beträchtliche Teile der Liegenschaft von November bis Januar, zum Teil bis Februar, sonnenlos seien. Sie macht nicht geltend, dass in den Sommermonaten ein relevanter Schattenwurf auf ihr Grundstück die Lebensqualität beeinträchtige. Bereits in tatsächlicher Hinsicht müssen die Behauptungen der Klägerin 1 zum Teil korrigiert oder relativiert werden, ist doch die Liegenschaft zu keinem Zeitpunkt des Jahres wegen der umstrittenen Bäume sonnenlos, ein allfälliger Eigenschatten des klägerischen Hauses in den Morgenstunden der Wintermonate kann selbstverständlich bei der Beurteilung der Übermässigkeit des Baumschattens nicht berücksichtigt werden. Weiter ist zu berücksichtigen, dass die Buche, die am östlichen Rand der Baumgruppe steht, in den Monaten, für die die Expertise an den Messpunkten doch einen Schattenwurf von zum Teil mehr als vier Stunden ergeben hat, ohne Blätter ist und damit keineswegs einen Vollschatten wie ein Gebäude wirft, sondern rund 75 % Licht durchlässt. Damit vermindert sich die sich aus der Expertise ergebende Dauer des Schattenwurfs deutlich (der Experte spricht von 1-1 ½ Stunden), indem am Mittag eine kompakte Beschattung später eintritt. Die gesamte Baumgruppe erscheint entgegen der Aussage der Vorinstanz dadurch (insbesondere im Winter) auch nicht wie eine kompakte Wand eines Gebäudes, sind doch auch die Föhren am westlichen Rand der Baumgruppe wenigstens teilweise (20-30 %) lichtdurchlässig, dies zeigen schon die von der Klägerin 1 eingereichten Fotos und bestätigte sich anlässlich des Augenscheins vor Ort. Dieser ergab hingegen, dass der mittlere Bereich der Rottannen/Fichten kompakt erscheint.
Schon aufgrund dieser tatsächlichen Feststellungen erscheint es verfehlt, Art. 69 des kantonalen Baugesetzes betreffend Hochhäuser (über 25 m) sinngemäss heranzuziehen, um die Übermässigkeit der Einwirkung nach Ortsgebrauch zu beurteilen, wie dies die Vorinstanz getan hat. Nach Art. 69 Abs. 3 BauG darf ein von einem Hochhaus ausgehender Dauerschatten auf umliegende Parzellen und Gebäude an einem mittleren Sommertag nicht mehr als drei Stunden und an einem mittleren Wintertag nicht mehr als zwei Stunden betragen. Lediglich die vergleichbare Höhe der Bäume und eines Hochhauses macht jedoch die beiden Situationen insgesamt noch nicht vergleichbar; ein Ortsgebrauch in Bezug auf Bäume lässt sich über die Bestimmungen betreffend Beschattung durch Hochhäuser nicht begründen. Bäume werfen nicht nur keinen Vollschatten wie ein Hochhaus, sondern haben im Gegensatz zu einem Hochhaus auch noch wertvolle ökologische Funktionen. Der Ortsgebrauch ergibt sich vielmehr aus den kantonalen Bestimmungen zu den Anpflanzungen, die Ausdruck des im Kanton Üblichen und einer grundsätzlichen nachbarlichen Interessenabwägung bilden. Es ist daher nach anderen Kriterien zu prüfen, ob der durch die Expertise erstellte Schattenwurf trotz der Einhaltung der Abstände nach Art. 98 EGzZGB im Sinne von Art. 684 ZGB als übermässig zu beurteilen ist.
Zu Unrecht beruft sich die Klägerin 1 auf das Bundesgericht, wenn sie behauptet, dieses habe im Zusammenhang mit Lärchen entschieden, Waldbäume hätten in Wohngebieten grundsätzlich keinen Platz. Das Bundesgericht hat lediglich den vom Obergericht des Kantons Zürich getroffenen Ermessensentscheid, zwei Lärchen fällen zu lassen, in einem Fall, in dem die Grenzabstände verletzt, aber nach kantonalem Recht nicht mehr durchsetzbar waren, als nicht gegen Art. 684 ZGB verstossend bezeichnet (vgl. BGE 126 III 461 E. 4). Es ist in diesem Zusammenhang festzustellen, dass im Kanton St. Gallen gerade in Wohngebieten niedriger Dichte derartige Bäume alles andere als ungewöhnlich sind und dass vielerorts gar Baumschutzzonen ausgeschieden sind.
Eine durch den Schattenwurf der Bäume verursachte Vermoosung auf dem Südteil des Grundstücks im Umfang von rund zwei Aren wurde entgegen der Behauptung der Klägerin 1 vom vorinstanzlichen Gericht nicht festgehalten (im Augenscheinprotokoll und im Urteil nicht enthalten) und konnte vom Experten nicht mehr überprüft und beurteilt werden, da die Klägerin 1 dem Experten das Betreten des Gartens zur Beantwortung von Ergänzungsfragen verbot und sie den Garten im Sommer 2006 umgestaltete. Damit hat sie sich den Beweis einer extremen Vermoosung wegen der Bäume selber verbaut. Mit dem neu als Zeugen angerufenen Gärtner kann der Beweis, dass die Bäume – und nicht etwa auch Hecken oder andere Bepflanzungen – Ursache einer starken Vermoosung eines Rasenteils waren, nicht erbracht werden. Abgesehen davon wäre eine Tendenz zur Vermoosung auf einem kleinen Teil des Grundstücks wegen häufigen Schattens nicht als übermässige Einwirkung von Bäumen, die den Grenzabstand einhalten, zu werten. Im Übrigen konnte zwei Jahre nach der Gartenumgestaltung anlässlich des Augenscheins keine relevante Vermoosung festgestellt werden.
Dass die Beklagte ihre rechtmässig gepflanzten Bäume nicht sofort nach dem Tod von X. und bis heute nicht gefällt hat, stellt keine Schikane im Sinne eines Rechtsmissbrauchs dar; dies selbst dann, wenn verschiedene Varianten für die spätere Nutzung der Parzelle geprüft werden und allenfalls ein Verkauf (mit oder ohne Neuüberbauung des Grundstücks) bevorsteht. Da die kantonalen Abstandsvorschriften eingehalten werden, steht es der Beklagten – unter Vorbehalt des Rechtsmissbrauchsverbots und solange keine Übermässigkeit der Immissionen im Sinne von Art. 684 ZGB festgestellt ist – frei zu entscheiden, ob und wann sie ihre Bäume fällen will. Eine Interessenabwägung im Sinne einer Gewichtung der Interessen der Beklagten als Eigentümerin der Bäume und der Klägerin als von den Einwirkungen durch die Bäume betroffene Grundeigentümerin findet unter den gegebenen Umständen nicht statt (vgl. vorn E. III.3a).
d) Trotz Lage und Beschaffenheit der Grundstücke an einer Südhanglage in wenig dicht überbaubarem Wohngebiet in ländlicher Umgebung beträgt die Beschattung durch die Baumgruppe in den Wintermonaten täglich jedenfalls über drei, zum Teil vier Stunden an beiden Messpunkten und erstreckt sich jeweils auf die Nachmittagsstunden. Selbst wenn in der Gegend im Winter öfters Nebel liegt (so der Experte), bewirkt diese Beschattung für das klägerische Grundstück im Winter einen Lichtentzug, der als übermässige Immission im Sinne von Art. 684 ZGB zu betrachten ist. Es liegt einer der seltenen Ausnahmefälle vor, in denen trotz Einhaltung der kantonalen Abstandsvorschriften eine Übermässigkeit deshalb zu bejahen ist, weil es sich hier nicht lediglich um markante Einzelbäume, sondern um eine dicht stehende Gruppe von neun Bäumen beträchtlicher Höhe handelt, die – wie der Augenschein aufgezeigt hat – als geschlossene Silhouette in Erscheinung treten, weshalb von ihnen ausserordentliche Einwirkungen auf das Nachbargrundstück ausgehen und daher der bundesrechtliche Mindestimmissionsschutz zum Zug kommt. Die Tatsache, dass die Klägerin 1 erst baute, als die Bäume bereits vorhanden und recht hoch waren, darf nach Lehre und Rechtsprechung nicht berücksichtigt werden (vgl. Meier-Hayoz, a.a.O., Art. 684 ZGB N 133 ff., insbesondere N 137 ff. m.w.H.).
Vor dem gegebenen Hintergrund kommt die Fällung aller zehn Bäume nicht in Frage; eine bessere Besonnung/Belichtung im Winter kann auch durch zurückhaltendere Massnahmen erreicht werden. Weshalb der nicht in die Baumgruppe integrierte Nussbaum (Nr. 10) übermässige Immissionen verursachen soll, begründet die Klägerin 1 nicht speziell. Dieser Baum verliert im Winter auch seine Blätter und hat deshalb in den Wintermonaten keinen entscheidenden Einfluss auf die Intensität der Beschattung der klägerischen Liegenschaft. Eine Fällung fällt ausser Betracht. Ebenso wenig können unter den gegebenen Umständen die Buche und die Lärche wegbefohlen werden, wie dies die Vorinstanz entschieden hat, da sie im Winter – und diese Jahreszeit ist für die Frage der Übermässigkeit hier allein relevant – ohne Laub bzw. ohne Nadeln sind und daher für Licht und Besonnung wiederum einen geringen Einfluss haben. Es ist nochmals darauf zu verweisen, dass die Buche im Winter gemäss Expertise 75 % lichtdurchlässig ist. Vorliegend können die Verhältnisse auf das zumutbare Mass verbessert werden, wenn im besonders kompakten mittleren Bereich die Rottannen/Fichten (Nr. 3 und 4) wegen ihrer Höhe von über 25 m und ihrer Art (kein Nadelverlust im Winter) gefällt werden, um insbesondere die volle Beschattung in den Wintermonaten zurückzunehmen. Mit dieser Auslichtungs-Massnahme wird die dicht stehende Baumgruppe durchbrochen und damit die Übermässigkeit der Einwirkung behoben.
Insgesamt ergibt sich somit, dass die Beklagte zu verpflichten ist, innert 30 Tagen ab Rechtskraft dieses Urteils die auf ihrem Grundstück Nr. Y., Grundbuchamt Z., gemäss Expertise vom 31. März 2006 bezeichneten Bäume Nr. 3 und 4 (Rottanne/Fichte) zu fällen. Im Übrigen wird die Anschlussberufung der Klägerin 1 abgewiesen. Für den Fall der Widerhandlung gegen diese Anordnungen wird der Beklagten die Bestrafung mit Busse gemäss Art. 292 StGB angedroht.