Removal order for unauthorized alterations outside building zoneKI-generiert

{T 0/2}
1C_333/2010

Arrêt du 16 février 2011
Ire Cour de droit public

Composition
MM. les Juges Aemisegger, Juge présidant,
Reeb et Raselli.
Greffier: M. Kurz.

Participants à la procédure
A.________, représenté par Me Marcel Heider, avocat,
recourant,

contre

Département de l'économie du canton de Vaud, Service du développement territorial, place de la Riponne 10, 1014 Lausanne, représenté par Me Edmond de Braun, avocat,
Département de la sécurité et de l'environnement du canton de Vaud, Service des forêts, de la faune et de la nature, chemin de la Vulliette 4, Chalet-à-Gobet, 1014 Lausanne,
Département des infrastructures du canton de Vaud, Service immeubles, patrimoine et logistique, Section monuments et sites, place de la Riponne 10, 1014 Lausanne,

Municipalité de Veytaux, représentée par Me Jean Heim, avocat.
Objet
remise en état hors zone à bâtir,

recours contre l'arrêt du Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, du 3 juin 2010.

Faits:

A.
A.________ a acquis le 3 juin 2002 la parcelle n° 315 de la commune de Veytaux, située dans une clairière au lieu-dit Pra Forney, en zone agricole. Il s'y trouve un chalet d'alpage construit en 1876 et transformé, dès 1960, pour y accueillir des camps de vacances. Un étage de combles avait alors été créé, avec diverses ouvertures, de même qu'une annexe. En 1984, l'étage de combles a été prolongé sur tout le bâtiment, des lucarnes ont été ajoutées et un sous-sol a été aménagé. En 1985, un funiculaire a été réalisé, d'une longueur de 200 m, reliant le chalet à la route située en contrebas. Cette installation a fait l'objet d'une convention entre le propriétaire et la commune de Veytaux, reconduite en 1990. Des travaux ont encore été effectués en 1992-1993 (réfection du toit en tavillons, réaménagement des dortoirs à l'étage et création de lucarnes).
Après acquisition de l'immeuble par A.________, la convention concernant le funiculaire a été renouvelée en 2002 pour cinq ans. Le 15 août 2003, une demande d'autorisation de construire a été déposée, portant notamment sur l'agrandissement et l'ajout de fenêtres et de lucarnes et la création d'un balcon continu en façade ouest. Au mois d'octobre 2003, A.________ a reçu l'autorisation de remettre en état le funiculaire. La gare d'arrivée a été remplacée par un bâtiment comprenant les machines et deux locaux dont un dépôt, construction dont l'autorité a exigé la mise à l'enquête. De nouveaux plans de transformation du chalet ont été déposés en juillet 2004, tenant partiellement compte des objections émises le 18 juin précédent par le Service cantonal de l'aménagement du territoire (SAT). Le 30 septembre 2004, le propriétaire s'est adressé au SAT en indiquant que les travaux étaient en cours et que le représentant du SAT avait déclaré, lors d'une visite des lieux, qu'une autorisation serait prochainement délivrée.
Dans sa synthèse du 7 mars 2005, la Centrale des autorisations CAMAC a fait état du refus du SAT de délivrer l'autorisation cantonale spéciale pour une construction hors zone à bâtir. Le SAT relevait que le nouveau projet ne tenait pas suffisamment compte des objections précitées relatives notamment à la forme des fenêtres du rez, à la suppression d'une porte-fenêtre, à l'interruption du balcon et au maintien de la taille des lucarnes. L'identité du bâtiment n'était plus respectée. Cette décision n'a été communiquée par la commune que le 26 août 2005 à A.________, lequel a réagi en invoquant l'accord verbal du représentant du SAT.

B.
Par décision du 4 mars 2008, le Service du développement territorial (SDT, qui a succédé au SAT) a constaté, après une visite des lieux du 23 juin 2006, d'importantes transformations qui dépassaient le potentiel d'agrandissement autorisé par l'art. 24c LAT et ne respectaient pas l'identité du bâtiment. Les mesures de remise en état suivantes ont été ordonnées: la couverture du toit en ardoise devait être remplacée par la couverture d'origine en tavillons; les surcombles, créés lors du remplacement de la charpente et accessibles par un escalier intérieur, devaient être démolis; les nombreux velux et surfaces vitrées sur le toit devaient être supprimés, à l'exception des ouvertures existantes avant 2002; les lucarnes devaient être restaurées selon l'état en 2000. L'ensemble devait être rétabli jusqu'au 31 décembre 2008. Le SAT avait également constaté qu'une annexe (couvert sur fontaine) avait été reconstruite et agrandie, qu'un nouveau bâtiment d'arrivée du funiculaire avait été réalisé, en bois et métal et qu'une terrasse avait été aménagée autour du bâtiment. L'agrandissement des surfaces habitables et annexes devait faire l'objet d'une demande de permis de construire pour le 30 juin 2008. La mise hors service du funiculaire a en outre été ordonnée jusqu'au dépôt d'une demande d'autorisation provisoire soumise à diverses conditions.
A.________ a recouru contre ce prononcé auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP). Celle-ci a procédé à une inspection locale et a suspendu temporairement la cause pour permettre une conciliation, qui n'a pas abouti.
Par décision du 31 juillet 2009, le SAT a adressé à la commune de Veytaux, en tant que propriétaire, l'ordre de mettre hors service le funiculaire, aux mêmes conditions que celles imposées à A.________, ainsi que de démolir un couvert à voiture de 72 m² créé sans autorisation. La commune ainsi que A.________ ont également recouru contre cette décision.

C.
Par arrêt du 3 juin 2010, la CDAP a partiellement admis les recours, après avoir rejeté une demande d'audition de témoins. La CDAP a recalculé le potentiel d'agrandissement admissible (30%) en vertu des art. 24c LAT et 42 OAT, selon l'état du bâtiment en 1972, et l'a fixé à 101,43 m². L'augmentation effective était de 122 m² au minimum, soit davantage que le maximum de 100 m² autorisé. Au regard de l'identité du bâtiment, la nouvelle toiture en dalles de granit et les nombreuses ouvertures n'étaient pas admissibles, de même que la partie sud du balcon et la porte-fenêtre. Même s'il s'était largement appuyé sur l'accord de la municipalité et les assurances données verbalement sur place par le représentant du SDT, le recourant ne pouvait se prétendre de bonne foi car il n'avait pas attendu les décisions formelles avant d'entreprendre les travaux et n'avait pas respecté les plans mis à l'enquête. La décision du 4 mars 2008 a été réformée en ce sens que les ouvertures en toiture devaient être rétablies selon l'état en 2002 (sans en préciser le nombre), et qu'un nouveau délai d'exécution devait être fixé. La régularisation des surfaces habitables devait faire l'objet non pas d'une demande de permis de construire, mais d'un dossier de remise en état, dans un nouveau délai à fixer par le SDT. S'agissant du funiculaire, jugé illicite puisque l'affectation du chalet n'était pas conforme à la zone agricole, la CDAP a estimé sa suppression disproportionnée compte tenu notamment de son impact limité et des autorisations accordées. Les décisions du 4 mars 2008 et du 31 juillet 2009 ont été réformées dans ce sens. En revanche, les stations de départ et d'arrivée devaient être limitées au strict minimum. La décision du 31 juillet 2009 a aussi été annulé en ce qui concerne la suppression du couvert, apparemment sans objet.

D.
Par acte du 5 juillet 2010, A.________ forme un recours en matière de droit public par lequel il demande l'annulation de l'arrêt cantonal et des décisions du SAT.
La CDAP conclut au rejet du recours en se référant à son arrêt. La commune de Veytaux s'en rapporte à justice. Le SDT conclut au rejet du recours. Le Service cantonal Immeubles, Patrimoine et Logistique (SIPAL) se réfère aux observations déposées en instance cantonale. Le Service cantonal des forêts, de la faune et de la nature a renoncé à se déterminer, de même que l'Office fédéral du développement territorial. Le recourant a répliqué.

Considérant en droit:

1.
Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est recevable comme recours en matière de droit public conformément aux art. 82 ss LTF. Le recourant a qualité pour recourir au sens de l'art. 89 al. 1 LTF contre l'arrêt attaqué qui confirme dans une large mesure l'ordre de remise en état. Le recours a été déposé en temps utile (art. 100 al. 1 LTF) et il convient d'entrer en matière, sous réserve de la motivation de certains griefs.

2.
Le recourant invoque son droit d'être entendu et la garantie d'un procès équitable. Selon lui, la cour cantonale ne pouvait renoncer à entendre le représentant du SAT qui, lors d'une visite des lieux le 2 juillet 2004, avait donné au recourant le feu vert pour l'ensemble des travaux projetés, ainsi que l'assurance d'une décision à bref délai. Considérant ce témoignage comme important, le recourant réfute les considérations de la cour cantonale selon lesquelles il ne pouvait se contenter de garanties orales. Il estime au contraire que de telles assurances étaient en principe valables et qu'il pouvait s'y fier de bonne foi.

2.1 Garanti à l'art. 29 al. 2 Cst., le droit d'être entendu permet au justiciable de participer à la procédure probatoire en exigeant l'administration des preuves déterminantes (ATF 126 I 15 consid. 2a/aa p. 16 et les arrêts cités). Ce droit ne s'étend toutefois qu'aux éléments pertinents pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes, lorsque le juge parvient à la conclusion qu'elles ne sont pas décisives pour la solution du litige ou qu'elles ne pourraient l'amener à modifier son opinion. Ce refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (ATF 125 I 127 consid. 6c/cc in fine p. 135, 417 consid. 7b p. 430; 124 I 208 consid. 4a p. 211, 241 consid. 2 p. 242, 274 consid. 5b p. 285 et les arrêts cités; sur la notion d'arbitraire, voir ATF 127 I 60 consid. 5a p. 70).

2.2 La preuve offerte par le recourant était destinée à démontrer sa bonne foi. Or, sur ce point, la cour cantonale n'a pas méconnu les allégations du recourant quant aux assurances qui lui auraient été données oralement par le représentant du SAT. Elle a toutefois considéré que même si la délivrance d'une autorisation avait été promise tant par les autorités communales que par le représentant du SAT, le recourant ne pouvait en déduire un droit à commencer immédiatement les travaux puisqu'il savait que l'enquête publique devait suivre et que d'autres services de l'Etat devaient encore se prononcer. Par ailleurs, la mauvaise foi du recourant résultait du fait qu'il n'avait pas respecté les plans mis à l'enquête. La cour cantonale a ainsi jugé que le témoignage requis n'était pas propre à changer la solution à apporter au litige. Comme on le verra ci-dessous, cette appréciation est dénuée d'arbitraire, de sorte que l'audition de témoin pouvait être refusée sans violer le droit d'être entendu.

3.
Le recourant se plaint de constatations arbitraires des faits. Outre l'engagement pris par le fonctionnaire du SAT, la cour cantonale aurait ignoré l'état dégradé du bâtiment avant les travaux, également constaté par le même représentant. Elle aurait aussi méconnu les diverses interventions municipale et cantonale qui établissaient sa bonne foi. L'arrêt attaqué méconnaîtrait que les surfaces brutes habitables n'auraient pas augmentés après acquisition de l'immeuble par le recourant. Enfin, il s'abstiendrait d'indiquer le montant des travaux de remise en état, ce qui serait déterminant sous l'angle de la proportionnalité.

3.1 Le recourant ne peut critiquer la constatation de faits que si ceux-ci ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, notamment en violation de l'interdiction de l'arbitraire (art. 97 al. 1 LTF; ATF 134 V 53 consid. 4.3 p. 62), ce qui signifie que le recourant doit formuler sa critique en respectant les exigences de motivation de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3 p. 254 s.). Selon la jurisprudence, l'appréciation des preuves ou l'établissement des faits sont arbitraires lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (ATF 129 I 8 consid. 2.1 p. 9; 127 I 38 consid. 2a p. 41). La correction d'un tel vice doit être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF).

3.2 Le recourant n'explique pas en quoi les faits relatifs aux déclarations des représentants de la commune et de l'Etat seraient pertinents, compte tenu des considérations de la CDAP sur la bonne foi prétendue du recourant. L'état du bâtiment avant les travaux est également un élément sans pertinence pour juger des transformations admissibles, et de la nécessité d'imposer une remise en état, ces questions devant être jugées sur les seuls critères de l'art. 24c LAT. Le recourant prétend aussi ne pas avoir augmenté les surfaces habitables, mais il ne soutient pas pour autant que les calculs auxquels s'est livrée la cour cantonale seraient erronés, et n'explique pas non plus en quoi ses allégations seraient pertinentes pour juger du bien-fondé des décisions de remise en état. L'arrêt attaqué relève enfin, sous l'angle de la proportionnalité, le montant des coûts de remise en état (soit 400'000 fr.), et retient que l'importance de ces coûts ne change pas la solution retenue, compte tenu de la gravité de l'atteinte et des méthodes adoptées par le recourant.
Dans la mesure où il est suffisamment motivé, le grief relatif à l'établissement des faits doit dès lors être rejeté.

4.
Le recourant invoque ensuite la protection de la bonne foi. Il estime que, sur la base des assurances données le 2 juillet 2004 par le représentant du SAT, il était en droit de commencer les travaux, lesquels se sont déroulés sous le contrôle des autorités communales. Ces travaux étaient urgents, l'administration cantonale aurait tardé à statuer et la décision finale aurait été communiquée tardivement. Le 30 septembre 2004, le recourant avait d'ailleurs informé le SAT que les travaux étaient en cours, et l'absence de réaction de l'administration pouvait être assimilée à un acquiescement. Le recourant avait en outre été conforté par l'attitude favorable de la municipalité. En définitive, sur la base d'une promesse claire de la part de l'organe compétent dans une situation concrète, le recourant, de bonne foi, aurait pris des dispositions irréversibles. L'intérêt public n'imposerait pas une remise en l'état, s'agissant d'un bâtiment isolé ne portant pas atteinte au site ou à l'environnement. A tout le moins conviendrait-il de protéger le justiciable contre un comportement contradictoire de l'autorité.

4.1 Découlant directement de l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le droit à la protection de la bonne foi préserve la confiance légitime que le citoyen met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration. Selon la jurisprudence, un renseignement ou une décision erronés de l'administration peuvent obliger celle-ci à consentir à un administré un avantage contraire à la réglementation en vigueur, à condition que l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées, qu'elle ait agi ou soit censée avoir agi dans les limites de ses compétences et que l'administré n'ait pas pu se rendre compte immédiatement de l'inexactitude du renseignement obtenu. Il faut encore que l'administré se soit fondé sur les assurances ou le comportement dont il se prévaut pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice, et que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée (ATF 131 II 627 consid. 6.1 p. 637; 129 I 161 consid. 4.1 p. 170; 122 II 113 consid. 3b/cc p. 123; 99 Ib 94 consid. 4 p. 101 s. et les références citées; ATF 2C_120/2010 du 16 décembre 2010).

4.2 La question de savoir en quels termes le représentant du SAT aurait assuré au recourant une décision favorable peut demeurer indécise. En effet, le recourant ne saurait, pour d'autres raisons, se prévaloir de sa bonne foi ou tirer argument d'un comportement contradictoire de l'administration.
Le recourant a acquis la parcelle en 2002. Le 15 août 2003, il a déposé une demande de permis de construire selon laquelle la surface brute de plancher utile n'était pas augmentée, et le nombre d'étages inchangé. Il a reconstruit en l'agrandissant la station d'arrivée du funiculaire. Par lettre du 18 juin 2004, le SAT a posé diverses exigences tendant à maintenir l'identité du bâtiment et l'harmonie de la façade principale, mises à mal par les transformations des propriétaires précédents. Ainsi, il convenait de supprimer l'arc au sommet des ouvertures au rez-de-chaussée, de supprimer la porte-fenêtre de la salle de travail, d'interrompre le balcon au niveau de la porte-fenêtre de la salle à manger et de maintenir les lucarnes dans leurs dimensions actuelles, seule une modification des fenêtres étant autorisées. Cette lettre a été transmise au recourant le 25 juin 2004. Tels qu'ils sont présentés, les nouveaux plans déposés en juillet 2004 par le recourant portent sur la rénovation de la façade ouest, l'agrandissement des fenêtres existantes et la pose de capteurs solaires. Ne sont mentionnés ni les surcombles, ni le bâtiment au nord, ni la gare d'arrivée du funiculaire, pas plus que la façade est.
Sur le vu de la lettre du SAT du 18 juin 2004, qui constituait alors la seule prise de position officielle de l'autorité cantonale, il était clair que les premiers plans déposés ne pourraient être autorisés tels quels. Il était tout aussi évident, compte tenu des réserves émises et des mesures exigées afin de restaurer l'identité du bâtiment, que des transformations supplémentaires - en particulier la couverture en ardoise - ne pourraient pas être autorisées. Dès lors, en dépit des assurances qui auraient été données par le représentant du SAT, et malgré l'attitude apparemment favorable de la commune, il ne pouvait échapper au recourant que tout commencement de travaux était à tout le moins hasardeux. Le recourant ne conteste pas par ailleurs que certaines transformations ont été effectuées en dehors de toute demande d'autorisation, en particulier la création de surcombles et de nombreuses ouvertures supplémentaires en toiture.
Le recourant paraît ainsi s'être davantage préoccupé de réaliser les travaux de transformation dans les meilleurs délais et selon ses propres voeux, que de respecter la réglementation relative aux transformations hors zone à bâtir. Comme le relève l'arrêt attaqué, le recourant avait déjà réalisé plusieurs rénovations hors zone à bâtir et ne pouvait par conséquent ignorer les exigences spécifiques à cette zone ainsi que la nécessité d'une autorisation cantonale formelle et préalable. Il ne saurait, dans ces circonstances, se prévaloir de sa bonne foi.

4.3 A cela s'ajoute que la protection fondée sur une application du principe de la bonne foi suppose également une pesée des intérêts en présence. En l'occurrence, la non-conformité des travaux réalisés par le recourant apparaît particulièrement évidente, dans la mesure où le potentiel d'agrandissement réservé à l'art. 24c LAT a été dépassé, où l'ampleur des transformations a fait perdre au bâtiment son identité d'origine, et où certains travaux n'ont même pas fait l'objet d'une demande d'autorisation.
Le grief tiré de l'art. 9 Cst. doit dès lors être écarté.

5.
Le recourant invoque ensuite la garantie de la propriété. Il ne conteste pas que l'art. 24c LAT constitue une base légale suffisante, mais estime que celle-ci devrait être appliquée avec souplesse, s'agissant en particulier du concept d'identité. Il suffirait à cet égard que les traits essentiels du bâtiment soient maintenus, particulièrement pour un bâtiment situé en altitude, accessible uniquement à pied, vieux de 150 ans et en état de dégradation avancée.

5.1 L'art. 24c LAT consacre la protection de la situation acquise pour les constructions et installations sises hors de la zone à bâtir, qui peuvent être utilisées conformément à leur destination mais qui ne sont plus conformes à l'affectation de la zone (al. 1). L'autorité compétente peut autoriser la rénovation de telles constructions et installations, leur transformation partielle, leur agrandissement mesuré ou leur reconstruction, pour autant que les bâtiments aient été érigés ou transformés légalement. Dans tous les cas, les exigences majeures de l'aménagement du territoire doivent être satisfaites (al. 2).
En tant que dérogation aux principes fixés à l'art. 24 LAT, cette disposition ne saurait être interprétée extensivement, voire même, comme le préconise le recourant, avec souplesse. L'art. 42 OAT pose au contraire des limites claires aux modifications qui peuvent être apportées à de telles constructions. L'identité de la construction et de ses abords doit être respectée pour l'essentiel (al. 1). La surface brute de plancher ne peut être augmentée de plus de 60% à l'intérieur du volume bâti (al. 3 let. a). Un agrandissement extérieur ne peut dépasser le 30% de la surface ou 100 m² (al. 3 let. b).

5.2 La cour cantonale a considéré que la couverture en dalles de granit, à la place des tavillons d'origine, avait considérablement modifié l'aspect du chalet. Cette appréciation n'est pas critiquable. Selon le SIPAL, "le matériau traditionnel de couverture des chalets d'alpage de la région, et même de tout le canton, est le bois sous forme de tavillons ou de bardeaux. Les dalles de pierre, fréquentes en Valais, n'appartiennent pas à la tradition locale. Les toitures en tavillons constituent un élément important et très caractéristique dans le paysage des préalpes vaudoises. La force de ces bâtiments dans le paysage est liée et même réduite à leur vaste toiture recouverte de tavillons et également l'absence de percements, leur conférant une grande homogénéité". Cette appréciation, émanant du service cantonal spécialisé, est confirmée par la comparaison des photographies figurant au dossier. Le recourant se contente à ce propos de simples dénégations. S'agissant de l'identité d'un bâtiment, la référence à un chalet voisin - qui ne serait pas non plus recouvert de tavillons - est sans pertinence. De même, le fait que la précédente couverture en tavillons était pourrie justifiait certes son changement, mais pas son remplacement par une couverture d'une autre nature.

5.3 Le recourant conteste en vain l'obligation de démolir le niveau des surcombles. La cour cantonale a considéré que ces aménagements n'existaient pas encore à la date déterminante de 1972 et que, supposés antérieurs à cette date, ils n'avaient de toute façon pas été créés légalement. A l'instar du SAT, elle a retenu que les surfaces en cause excédaient l'agrandissement mesuré autorisé à l'art. 24c al. 2 LAT. Ayant calculé leur surface brute de plancher utile à 44,37 m², la cour a jugé leur suppression admissible et proportionnée car, compte tenu de la hauteur disponible, la surface réellement utilisable était largement inférieure. Contrairement à ce que prétend le recourant, ce raisonnement est parfaitement compréhensible, et il est sans pertinence que les surcombles existaient déjà avant l'intervention du recourant.

5.4 S'agissant de la suppression des tabatières velux et des autres ouvertures, à l'exception de celles existant avant 2002, le recourant admet que la remise en état devrait être effectuée dans le sillage du rétablissement de la couverture d'origine. Son argument doit donc être rejeté dans la même mesure que le précédent. Le fait que le bâtiment soit isolé et soustrait à la vue, ne conduit pas à une autre solution car, comme cela est relevé ci-dessus, le nombre restreint d'ouvertures en toiture et leur taille réduite - liée à l'utilisation des tavillons - sont des éléments qui participent de l'identité du bâtiment en tant que tel, indépendamment de sa situation. Le recourant y avait d'ailleurs été rendu attentif par la lettre du SAT du 28 mai 2004 qui exigeait le maintien des lucarnes dans leur dimensions actuelles.

5.5 Le recourant estime enfin que l'ordre de restreindre au minimum la gare d'arrivée du funiculaire ne serait "pas conforme aux dispositions applicables" en matière de protection de la situation acquise. Dans la mesure où il est suffisamment motivé, l'argument doit être écarté. La CDAP a en effet mis au bénéfice de la situation acquise le funiculaire, ainsi que les gares de départ et d'arrivée, mais réduites au strict minimum nécessaire au fonctionnement de l'installation. Elle a par ailleurs pertinemment relevé que l'ouvrage litigieux avait été construit dans des dimensions sans rapport avec le simple abri de machines qu'il était censé remplacer, et qu'il comportait une sorte de véranda avec une table et des bancs. L'arrêt attaqué est ainsi conforme à l'art. 24c LAT dans la mesure où il permet le maintien de l'installation, mais juge illicite l'agrandissement effectué par le recourant.

6.
Sur le vu de ce qui précède, le recours doit être rejeté. Conformément aux art. 66 al. 1 et 68 al. 3 LTF, les frais judiciaires sont mis à la charge du recourant qui succombe, et il n'est pas alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce:

1.
Le recours est rejeté, dans la mesure où il est recevable.

2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.

3.
Le présent arrêt est communiqué aux mandataires du recourant, du Département de l'économie, Service du développement territorial, et de la Municipalité de Veytaux, au Département de la sécurité et de l'environnement, Service des forêts, de la faune et de la nature, au Département des infrastructures, Service immeubles, patrimoine et logistique, et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral du développement territorial.

Lausanne, le 16 février 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Le Greffier:

Aemisegger Kurz