Aus den Erwägungen:
2.- Die Beschwerdeführer rügen eine Verletzung des Grenzabstandes zu ihrem Grundstück. Der Grenzabstand habe die Hälfte der Fassadenhöhe zu betragen, die entgegen der Darstellung der Vorinstanz nicht 8,2 m sondern mindestens 9,1 m betrage. Der Grenzabstand habe daher mindestens 4,55 m zu betragen und sei daher mit 4,10 m verletzt.
Vorinstanz und Beschwerdegegner stützen sich auf § 122 Abs. 2 PBG, wonach in der ein- und zweigeschossigen Wohnzone der Grenzabstand nur 4 m zu betragen habe.
a) Die strittigen Vorschriften über den ordentlichen Grenzabstand in § 122 PBG lauten wie folgt:
"1 Der Grenzabstand beträgt die Hälfte der Fassadenhöhe, mindestens 4 m bei Massivbauten und 6 m bei Weichbauten.
2 In den ein- und zweigeschossigen Wohnzonen beträgt der Grenzabstand für Massiv- und Weichbauten 4 m."
Umstritten ist, ob die Bestimmung von Absatz 2 absolut zu verstehen ist, oder ob der Mindestabstand von Absatz 1 auch für ein- und zweigeschossige Wohnzonen gilt. Das ist eine Frage der Auslegung. Massgeblich ist in erster Linie der Gesetzeswortlaut. Erst wenn dieser nicht klar ist oder Zweifel bestehen, ob er den wahren Sinn der Norm wiedergibt, muss nach der eigentlichen Bedeutung der Norm gesucht werden. Dabei sind alle Auslegungselemente zu berücksichtigen, namentlich auch der Zweck der Regelung, die dem Text zu Grunde liegenden Wertungen sowie der Sinnzusammenhang, in dem die Norm steht. Die Gesetzesmaterialien können dabei als Hilfsmittel dienen, den Sinn der Norm zu erkennen (BGE 129 II 118 Erw. 3.1; LGVE 1998 II Nr. 7 Erw. 4b mit Hinweisen). Vorab im Bereich des Baupolizeirechts kommt auch der Rechtssicherheit ein besonderes Gewicht zu. Deshalb spielt auch die bisherige Auslegungspraxis eine massgebliche Rolle. Namentlich kann der Wechsel zu einer strengeren Praxis dazu führen, dass eine ganze Reihe baurechtlich korrekt erstellter Bauten mit der neuen Auslegung baupolizeiwidrig werden. Dies gilt es nach Möglichkeit zu vermeiden.
b) Zunächst ist festzuhalten, dass das Verwaltungsgericht, entgegen der Meinung aller Beteiligten, bisher die strittige Frage des Grenzabstandes in ein- und zweigeschossigen Wohnzonen nicht ausdrücklich entschieden hat. Im Urteil F. vom 24. Mai 1995, das in LGVE 1995 II Nr. 4 teilweise publiziert wurde, hatte sich das Gericht zur Abhängigkeit des Grenzabstandes von der Fassadenhöhe bzw. zum Verhältnis zwischen § 122 Abs. 1 und 2 PBG nicht zu äussern. Streitgegenstand war der Mehrlängenzuschlag gemäss § 122 Abs. 5 PBG. Angefochten war ein Entscheid des Regierungsrates vom 24. Juni 1994, in dem sich dieser in Erw. 3.1 für die wörtliche Auslegung von § 122 Abs. 2 PBG ausgesprochen und festgehalten hatte, dass der Grenzabstand in der ein- und zweigeschossigen Wohnzone nicht die Hälfte der Fassadenhöhe sondern immer nur 4 m zu betragen habe. Diese Auslegung war vor Verwaltungsgericht nicht mehr umstritten. Immerhin sah sich das Gericht auch nicht veranlasst, diese Auslegung von Amtes wegen zu korrigieren.
c) Der Text von § 122 Abs. 2 PBG ist für sich allein klar und eindeutig. Er verlangt in den ein- und zweigeschossigen Wohnzonen einen Grenzabstand von 4 m. Im Unterschied zu den Absätzen 1 und 3 enthält er auch die Einschränkung "mindestens" nicht. Auch andere Vorbehalte fehlen. Es kann sich somit nur noch fragen, ob der Wortlaut den Sinn der Bestimmung richtig wiedergibt.
aa) Aus der systematischen Stellung von § 122 Abs. 1 PBG könnte die Meinung abgeleitet werden, der darin enthaltene Grundsatz, wonach der Grenzabstand die Hälfte der Fassadenhöhe zu betragen habe, gelte auch für Absatz 2. Danach hätte der Absatz 2 nur die Bedeutung, dass in ein- und zweigeschossigen Wohnzonen auch bei Weichbauten nicht der grössere Abstand von 6 m gemäss Abs. 1 gelten würde. Wenn dies der Sinne von Abs. 2 gewesen wäre, hätte er indessen anders formuliert werden müssen. Immerhin ist anzumerken, dass mit der Formulierung von Abs. 2 die Grenzabstandsbestimmungen im systematischen Zusammenhang nicht ganz widerspruchsfrei sind. So scheint namentlich auch § 123 Abs. 1 PBG die wörtliche und absolute Auslegung von § 122 Abs. 2 PBG nicht vollständig zu decken. Nach dieser Bestimmung kann der Gemeinderat den minimalen Grenzabstand des § 122 Absätze 1 - 3 PBG unter gewissen Voraussetzungen herabsetzen. Daraus lässt sich indessen für die Auslegung von § 122 Abs. 2 PBG nichts ableiten. Der Grund für die missverständliche Formulierung liegt indessen wohl darin, dass § 122 Abs. 2 PBG erst im Rahmen der Beratungen des Grossen Rates eingefügt (siehe dazu unten cc) und damit der bisherige Text der nachfolgenden Bestimmung nicht angepasst wurde.
bb) Die Grenzabstände haben einerseits eine feuerpolizeiliche Funktion und sollen andererseits auch eine minimale Belichtung und Besonnung für die Nachbarn garantieren. Sie sind daher meist in Abhängigkeit zu den Gebäude- oder Fassadenhöhen definiert. Dies entspricht auch dem Grundkonzept der luzernischen Grenzabstandsvorschriften. Dem steht indessen nicht entgegen, dass für kleinere Bauten, d.h. für ein- bis zweigeschossige Bauten ein einheitlicher Abstand von 4 m vorgeschrieben wird. Ähnliches findet sich in den Bauvorschriften anderer Kantone (z.B. in § 270 PBG ZH). Auch die Zweckbestimmung der Grenzabstandsvorschriften vermag daher die wörtliche Auslegung von § 122 Abs. 2 PBG nicht in Frage zu stellen.
cc) Wie bereits erwähnt, wurde der strittige § 122 Abs. 2 PBG erst im Rahmen der Beratungen des Grossen Rates zum PBG in den Jahren 1988/89 eingefügt. Dabei stand zwar die Frage im Vordergrund, ob der grössere Minimalabstand von 6 m bei Weichbauten gemäss § 122 Abs. 1 PBG aus feuerpolizeilichen Gründen erforderlich sei. Das Ergebnis dieser Beratungen war dann allerdings eine Neuformulierung der Absätze 1 - 3, die vom kantonalen Baudirektor in die Beratungen eingebracht und so beschlossen wurde (Verhandlungen des Grossen Rates vom 24. Januar 1989 S. 99). Es spricht nichts dafür, dass die Formulierung von § 122 Abs. 2 PBG dabei irrtümlich absolut und abweichend von Abs. 1 gewählt wurde. Vielmehr kann davon ausgegangen werden, dass für ein- und zweigeschossige Wohnzonen absichtlich eine einfache und absolute Regelung des Grenzabstandes geschaffen werden sollte. Dass dabei übersehen wurde, dass sinnvollerweise auch § 123 Abs. 1 PBG hätte angepasst werden müssen, steht dieser Auslegung nicht entgegen.
d) Zusammenfassend kann festgehalten werden, dass keine Veranlassung zu erheblichen Zweifeln besteht, dass der Wortlaut von § 122 Abs. 2 PBG nicht den Sinn der Norm wiedergibt. Diese Bestimmung ist daher dem Wortlaut entsprechend auszulegen. Der Grenzabstand beträgt damit in den ein- und zweigeschossigen Wohnzonen 4 m, ungeachtet der Fassadenhöhe. Diese Auslegung, die dem bereits zitierten Entscheid des Regierungsrates aus dem Jahr 1994 folgt, entspricht denn auch offenbar zumindest teilweise der Praxis der Baubewilligungsbehörden. Mit dem Festhalten an dieser Auslegung kann somit auch verhindert werden, dass zweigeschossige Wohnbauten mit einer Fassadenhöhe von über 8 m, die im Vertrauen auf die zitierte Rechtsprechung des Regierungsrates im Abstand von 4 m zur Nachbargrenze erstellt wurden, nunmehr baurechtswidrig würden. Ergänzend ist immerhin festzuhalten, dass der Mehrlängenzuschlag von § 122 Abs. 5 PBG auch in den ein- und zweigeschossigen Wohnzonen zur Anwendung gelangt (LGVE 1995 II Nr. 4). Die übrigen von den Beschwerdeführern gegen eine solche Auslegung vorgebrachten Einwände vermögen an diesem Ergebnis nichts zu ändern. Namentlich die Tatsache, dass der Gemeinderat Z erst im Zusammenhang mit diesem Bauvorhaben seine Praxis zu § 122 Abs. 2 PBG im zitierten Sinne angepasst hat, ist nicht zu beanstanden. Von einer unzulässigen Praxisänderung kann keine Rede sein. (...)
3.- (...)
a) Bei der Berechnung der Anzahl Vollgeschosse ist das Untergeschoss dann mitzurechnen, wenn es mit mehr als zwei Dritteln seiner Aussenflächen aus dem ausgemittelten gewachsenen oder tiefer gelegten Terrain hinausragt (§ 138 Abs. 1 PBG). Beim hier strittigen Bauprojekt weist nun das unterste Geschoss einen völlig andern Grundriss auf als die beiden Obergeschosse. Es ist von der talseitigen Hauptfassade um ca. 4 m zurückversetzt, dafür seitlich um ca. 5,7 m erweitert. Die Vorinstanz hat die gemäss § 138 Abs. 1 PBG erforderliche Berechnung der abgewickelten Aussenflächen bei diesem vorgesehenen untersten Geschoss vorgenommen und ist zum Ergebnis gekommen, dass dieses Geschoss knapp nicht als Vollgeschoss anzurechnen sei. Hier stellt sich die grundsätzliche Frage, ob diese Berechnungsart richtig ist. Dazu wurde auch ein Amtsbericht des Rechtsdienstes des Bau- und Verkehrsdepartementes eingeholt.
b) Zunächst hat die Vorinstanz das gewachsene Terrain überprüft und aufgrund des Gestaltungsplanes Y vom 27. Oktober 1976, in dem der damalige Terrainverlauf mit Höhenkurven dargestellt ist, festgelegt und in den Plänen eingetragen. Damit hat sie sich an die publizierte Praxis zur Festlegung des gewachsenen Terrains gehalten. Es ist aus den Akten nicht zu erkennen, inwiefern sie dabei fehlerhaft vorgegangen wäre. Die allgemeinen Bestreitungen der Beschwerdeführer in der Verwaltungsgerichtsbeschwerde vermögen daran nichts zu ändern. Die Beschwerdeführer gehen denn auch im Verlauf des weiteren Schriftenwechsels selber von diesem Terrain aus. Auf diesen Terrainverlauf ist daher abzustellen.
c) Mit der Festlegung der Anzahl Vollgeschosse wird die zulässige Höhe der Bauten begrenzt. Die Berechnungsvorschrift, wann ein Untergeschoss als Vollgeschoss mitzurechnen sei, dient dabei vor allem der Festlegung der Höhenlage des Hauptgebäudes. Wie schon der Begriff selber aussagt, geht es um das Untergeschoss, also um das unter dem Hauptbau liegende Geschoss, das für die Höhenlage des Gebäudes massgeblich ist. Stimmt die Grundfläche des untersten Geschosses nicht mit derjenigen der Hauptbaute überein, handelt es sich bei den darüber hinausragenden Teilen eher um An- oder Erweiterungsbauten und nicht um Teile des Untergeschosses im eigentlichen Sinne. Bei der Berechnung der Geschosszahl ist daher in erster Linie auf das eigentliche Untergeschoss abzustellen, selbst wenn das geplante unterste Geschoss einen andern Grundriss aufweist. In diesem Fall ist für die Berechnung der Abwicklung der Aussenflächen von einem virtuellen Untergeschoss auszugehen, das aufgrund der Projektion der Hauptfassaden festzulegen ist. Stellte man nämlich unbesehen von seiner Ausdehnung auf das tatsächlich vorgesehene unterste Geschoss ab, könnte die Höhenlage des Hauptbaues fast beliebig verändert werden, so vorab, indem das unterste Geschoss hangseits verlängert würde und damit ein grösserer Teil unter das gewachsene Terrain zu liegen käme.
Der Rechtsdienst des Bau- und Verkehrsdepartementes stimmt dieser Sichtweise grundsätzlich zu, vertritt jedoch die Meinung, man könnte auch auf das tatsächlich geplante unterste Geschoss abstellen, wenn mit dessen grundrisslicher Abweichung von den oberen Geschossen nicht offensichtlich einzig das Ziel verfolgt werde, dieses Geschoss nicht als Vollgeschoss anrechnen zu müssen. Diese Argumentation mit dem Rechtsmissbrauchsverbot erscheint indessen problematisch. Einerseits ist die Umgehungsabsicht kaum je objektiv nachweisbar und andererseits wird damit ein Beurteilungselement eingeführt, das mit dem Sinn und Zweck der Norm nichts zu tun hat. Für die Anrechenbarkeit des Untergeschosses ist daher auf das (allenfalls virtuelle) Untergeschoss abzustellen, das dem Grundriss der darüber liegenden Vollgeschosse entspricht. Da es sich dabei lediglich um eine rechnerische Beurteilung der Höhenlage der Baute handelt, werden der gestalterischen Freiheit damit keine zusätzlichen Grenzen gesetzt. Vielmehr wird diese gerade bei der Gestaltung des Untergeschosses erhöht. Über den Grundriss der Hauptbaute hinausragende Untergeschosse können damit, innerhalb der Grenzen der übrigen baupolizeilichen Bestimmungen (zu beachten ist dabei auch die Begrenzung der Untergeschossfläche bezüglich der Anrechenbarkeit gemäss § 10 lit. a PBV), freier festgelegt werden und müssen, entgegen der Auffassung der Beschwerdeführer, für die Berechnung der Vollgeschosszahl nicht berücksichtigt werden.
d) Massgeblich für die Anrechenbarkeit als Vollgeschoss ist die Aussenfläche, die aus dem ausgemittelten gewachsenen oder tiefer gelegten Terrain hinausragt. Zu berechnen ist somit die Abwicklung der Fassadenanteile, die über beziehungsweise unter dem massgeblichen Terrain liegen (Urteil S. vom 18.8.1978). Die Fassade, also der nach aussen sichtbare Teil, des Untergeschosses erstreckt sich von der Unterkante des Untergeschosses bis zur Oberkante dieses Geschosses.
Der Sachverhalt und die wesentlichen Erwägungen sind unter der Fallnummer V 02 182 zu finden.