2P.4/2007

{T 0/2}
2P.4/2007
2A.10/2007 /svc

Arrêt du 23 août 2007
IIe Cour de droit public

Composition
MM. et Mme les Juges Merkli, Président,
Hungerbühler, Müller, Yersin et Karlen.
Greffier: M. Dubey.

Parties
X.________,
recourant, représenté par Cabinet fiduciaire et fiscal J.D. Monribot S.A.,

contre

Administration cantonale des impôts du canton de Vaud, route de Berne 46, 1014 Lausanne,
Tribunal administratif du canton de Vaud, avenue Eugène-Rambert 15, 1014 Lausanne.

Objet
Rappels d'impôts et prononcés d'amendes (périodes fiscales 1993-1994 à 1999-2000),

recours de droit administratif 2A.10/2007 et recours de droit public 2P.4/2007 contre l'arrêt du Tribunal administratif du canton de Vaud du 24 novembre 2006.

Faits :
A.
X.________ est actionnaire et administrateur unique de la société Y.________ SA (ci-après: la Société), dont le but est l'exploitation d'un établissement médico-social. La Société loue l'immeuble dont l'intéressé est propriétaire à C.________.
Par décisions de taxation du 16 décembre 1993 pour la période fiscale 1993/1994, la Commission d'impôt de B.________ a imposé l'intéressé sur un revenu moyen de 276'700 fr. pour l'impôt fédéral direct et de 253'637 fr. pour l'impôt cantonal et communal. Ces décisions n'ont pas fait l'objet de réclamation.

Par décisions de taxation du 17 janvier 1996 pour la période fiscale 1995/1996, la Commission d'impôt de B.________ a arrêté un revenu moyen de 235'800 fr. pour l'impôt fédéral direct et de 227'173 fr. pour l'impôt cantonal et communal. Ces décisions n'ont pas fait l'objet de réclamation.

Par décisions de taxation provisoire pour la période fiscale 1997/1998, la Commission d'impôt de B.________ a arrêté un revenu moyen de 273'600 fr. pour l'impôt fédéral direct et de 254'934 fr. pour l'impôt cantonal et communal.

Par décisions de taxation provisoires pour la période fiscale 1999/2000, la Commission d'impôt de B.________ a arrêté un revenu moyen de 181'150 fr. pour l'impôt fédéral direct et de 197'577 fr. pour l'impôt cantonal et communal.
B.
Le 9 décembre 1998, l'Administration cantonale des impôts a notifié à X.________ un avis d'ouverture de procédure pour soustraction fiscale concernant les périodes fiscales 1993/1994, 1995/1996 et 1997/1998. Le même jour, un courrier identique a été adressé à la société. Le 29 septembre 1998, l'Administration cantonale des impôts a requis de la Société la production de pièces comptables, qui permettraient notamment d'examiner l'existence d'éventuelles distributions dissimulées de bénéfice à l'avantage de X.________. Ayant refusé de fournir les pièces en cause malgré une sommation du 16 décembre 1998, la Société a été condamnée à payer deux amendes de 500 et 200 fr.; ces dernières ont été confirmées par arrêt du Tribunal administratif du canton de Vaud du 26 août 1999. Un nouveau délai a été fixé au 22 février 2000.

Le 24 août 2000, l'Administration cantonale des impôts a demandé à X.________ des informations sur son logement.

Par courrier du 12 juin 2001 annonçant la clôture prochaine de la procédure, l'Administration cantonale des impôts a invité X.________ à déposer des observations sur les éléments de rappel d'impôt et sur les éléments soustraits pour les périodes fiscales 1993/1994 à 1999/2000. Il s'agissait de la valeur locative de l'appartement de l'intéressé, d'allocations familiales qui ne figuraient pas sur le certificat de salaire mais bien dans les comptes de la Société et de diverses prestations de la Société au recourant. La procédure de rappel d'impôt portait en outre sur les frais d'entretien de l'immeuble loué à des fins commerciales, les pensions alimentaires pour des enfants majeurs et les frais pour l'administration propre de la fortune. L'intéressé était invité à présenter sa situation personnelle en vue de la fixation des amendes fiscales.

Le 21 juin 2001, l'intéressé a soulevé l'exception de prescription de droit cantonal, que l'Administration cantonale des impôts a rejetée le 10 août 2001.
C.
Le 23 septembre 2002, l'Administration cantonale des impôts a notifié à X.________ deux décisions ¨ de rappel d'impôts, de taxation définitive et de prononcé d'amende pour soustraction fiscale ¨ l'une en matière d'impôt fédéral direct, l'autre en matière d'impôt cantonal.

S'agissant de l'impôt fédéral direct, pour la période fiscale 1993/1994, elle a fixé le revenu imposable à 290'700 fr. (au lieu de 276'700 fr.), l'impôt soustrait à 3'696 fr. et l'amende à 2'400 fr. Pour la période fiscale 1995/1996, elle a fixé le revenu imposable à 262'700 fr. (au lieu de 235'800 fr.), l'impôt soustrait à 7'101 fr. 60 et l'amende à 4'700 fr. Pour la période fiscale 1997/1998, elle a fixé le revenu imposable à 302'400 fr. (au lieu de 273'600 fr.), l'impôt soustrait à 7'603 fr. 20 et l'amende à 1'900 fr. Pour la période fiscale 1999/2000, elle a fixé le revenu imposable à 246'600 fr. (au lieu de 197'500 fr.), l'impôt soustrait à 12'962 fr. 40 et l'amende à 1'700 fr.

S'agissant de l'impôt cantonal et communal, pour la période fiscale 1993/1994, elle a fixé le revenu imposable à 267'600 fr. (au lieu de 253'600 fr.), l'impôt cantonal soustrait à 5'056 fr. 80, l'impôt communal soustrait à 3'135 fr. 90 ainsi que l'amende de droit cantonal à 3'300 fr. et celle de droit communal à 2'100 fr. Pour la période fiscale 1995/1996, elle a fixé le revenu imposable à 252'600 fr. (au lieu de 227'100 fr.), l'impôt cantonal soustrait à 9'210 fr. 60, l'impôt communal soustrait à 5'714 fr. ainsi que l'amende de droit cantonal à 6'100 fr. et celle de droit communal à 3'800 fr. Pour la période fiscale 1997/1998, elle a fixé le revenu imposable à 283'600 fr. (au lieu de 254'900 fr.), l'impôt cantonal soustrait à 10'366 fr. 40, l'impôt communal soustrait à 6'466 fr. 30 comprenant une majoration de 10% des éléments dont la soustraction a été tentée. Pour la période fiscale 1999/2000, elle a fixé le revenu imposable à 235'300 fr. (au lieu de 181'100 fr.) l'impôt cantonal soustrait à 12'799 fr., l'impôt communal soustrait à 7'937 fr. 30 comprenant une majoration de 10% des éléments dont la soustraction a été tentée.

Le 23 octobre 2002, X.________ a interjeté deux réclamations, l'une en matière d'impôt fédéral direct et l'autre en matière d'impôts cantonal et communal.

Par décision unique du 4 janvier 2006, l'Administration cantonale des impôts a rejeté les réclamations pour les motifs suivants: La prescription de droit cantonal n'était pas acquise du moment que des mesures d'instruction avaient été effectuées en temps utile contre la Société, dont l'intéressé avait dûment eu connaissance au titre d'actionnaire et d'administrateur unique. Ayant déposé ses papiers dans la commune de C.________ depuis le 10 mars 1991 où il avait en outre payé ses impôts communaux sans réserve, l'intéressé devait être imposé sur la valeur locative de l'appartement qu'il avait occupé dans son immeuble. L'achat d'une pendule neuchâteloise et d'une chaîne Hi-fi ainsi que le financement d'une assurance par la Société constituaient des prestations à l'actionnaire, imposables dans le chapitre de celui-ci. Les frais d'entretien forfaitaires n'étaient pas admis pour un immeuble loué à des fins commerciales. Seuls les frais effectifs pouvaient être déduits, mais n'avaient pas été documentés par l'intéressé. Enfin, les contributions d'entretien en faveur d'un enfant majeur ne pouvaient pas être déduites.

X.________ a interjeté recours contre la décision sur réclamation, invoquant la prescription des créances et des amendes fiscales et l'illégalité des reprises effectuées par l'Administration cantonale des impôts.
D.
Par arrêt du 24 novembre 2006, le Tribunal administratif du canton de Vaud a partiellement admis le recours de X.________ contre la décision sur réclamation du 4 janvier 2006 et renvoyé la cause à l'Administration cantonale des impôts pour nouvelle décision dans le sens des considérants. Il a jugé que, pour la période fiscale la plus ancienne (1993/1994), la prescription de 4 ans du droit cantonal avait été correctement interrompue et n'était pas acquise. La prescription de 5 ans du droit fédéral pour la période 1993/1994 et la prescription de 10 ans de droit fédéral pour les périodes 1995/1996, 1997/1998 et 1999/2000 n'étaient pas non plus acquises. Les reprises sur la valeur locative n'étaient pas justifiées. Les primes d'assurance payées par la Société pour les années 1992 à 1995 concernant une assurance en faveur de l'intéressé, les honoraires de la fiduciaire payés par la Société concernant des travaux en relation avec le divorce de l'intéressé, un montant débité des comptes de la Société concernant une facture de meubles déjà payée ainsi que les allocations familiales non mentionnées sur les certificats de salaire de l'intéressé avaient été repris à bon droit. Tel n'était pas le cas, en revanche, du prix d'achat de la pendule neuchâteloise et de la chaîne Hi-fi. Les déductions forfaitaires pour frais d'entretien de l'immeuble loué à la Société, la déduction des pensions alimentaires pour le fils majeur de l'intéressé et des frais d'administration de la fortune mobilière (frais d'assemblée générale de la Société) n'étaient pas admises.
E.
Par la voie du recours de droit public 2P.17/2007 pour ce qui concerne les impôts cantonaux et communaux, X.________ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 24 novembre 2006 par le Tribunal administratif ainsi que les décisions de rappel d'impôt et d'amendes de l'Administration cantonale des impôts du 3 janvier 2006. A l'appui de son recours de droit public, il se plaint de violations de l'art. 6 de la Convention européenne de sauvegarde des droits de l'homme et des libertés fondamentales du 4 novembre 1950 (CEDH; RS 0.101), des art. 5 al. 1, 9 et 32 Cst., de son droit d'être entendu ainsi que de la violation du droit fédéral en matière de preuves et de prescription.

Par la voie du recours de droit administratif 2A.10/2007 pour ce qui concerne l'impôt fédéral direct, il demande au Tribunal fédéral d'annuler l'arrêt rendu le 24 novembre 2006 par le Tribunal administratif ainsi que les décisions de rappel d'impôt et d'amendes de l'Administration cantonale des impôts du 3 janvier 2006, subsidiairement de renvoyer la cause pour examen de la notification du 9 décembre 1998. Il fait valoir les mêmes griefs que dans son recours de droit public auxquels il renvoie.

Le Tribunal administratif a renoncé à déposer une réponse. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet des recours.
F.
Par ordonnances du 29 janvier 2007, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté les requêtes d'effet suspensif formulées dans le recours de droit administratif et le recours de droit public.

Le Tribunal fédéral considère en droit:
1.
1.1 L'arrêt attaqué a été rendu avant l'entrée en vigueur, le 1er janvier 2007, de la nouvelle loi sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110). Le présent recours doit dès lors être examiné au regard des dispositions de la loi fédérale d'organisation judiciaire du 16 décembre 1943 (OJ; art. 132 al. 1 LTF).
1.2 Dans une même écriture, comme l'admet la jurisprudence (ATF 129 I 337 consid. 1.1 p. 339), le recourant a déposé simultanément deux recours, l'un de droit administratif, l'autre de droit public, contre le même arrêt. Par économie de procédure, il convient dès lors de prononcer la jonction des causes et de statuer sur les mérites des deux recours dans un seul et même arrêt (art. 24 PCF et 40 OJ; ATF 127 V 29 consid. 1 p. 33, 156 consid. 1 p. 157).

I. Impôt fédéral direct (2A.10/2007)
2.
2.1 Déposé en temps utile contre une décision rendue par une autorité judiciaire statuant en dernière instance cantonale et fondée sur le droit public fédéral, le présent recours de droit administratif (2A.10/2007) est en principe recevable en vertu des art. 97 ss OJ, ainsi que de la règle particulière des art. 112 de l'arrêté sur l'impôt fédéral direct (AIFD) et de l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (ci-après: LIFD ou la loi sur l'impôt fédéral direct; RS 642.11).
Il est irrecevable dans la mesure où il conclut à l'annulation les décisions rendues le 4 janvier 2006 par l'Administration cantonale des impôts (en particulier au motif que la procédure le concernant et celle de la Société auraient été confondues), étant donné l'effet dévolutif du recours déposé auprès du Tribunal administratif.
2.2 Le Tribunal fédéral revoit d'office l'application du droit fédéral qui englobe notamment les droits constitutionnels du citoyen (ATF 130 III 707 consid. 3.1 p. 709; 130 I 312 consid. 1.2 p. 318; 129 II 183 consid. 3.4 p. 188; 128 II 56 consid. 2b p. 60; 126 V 252 consid. 1a p. 254). Comme il n'est pas lié par les motifs que les parties invoquent, il peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer la décision attaquée pour d'autres motifs que ceux retenus par l'autorité intimée (art. 114 al. 1 in fine OJ; ATF 132 II 257 consid. 2.5 p. 262, 47 consid. 1.3 p. 50; 131 II 361 consid. 2 p. 366 et les arrêts cités).

En revanche, lorsque le recours est dirigé, comme en l'occurrence, contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ; 132 II 21 consid. 2 p. 24; définition des faits manifestement inexacts : ATF 132 I 42 consid. 3.1 p. 44). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de la décision entreprise, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 104 lettre c ch. 3 OJ; ATF 131 II 361 consid. 2 p. 366, 470 consid. 2 p. 475; 131 III 182 consid. 1 p. 184).
3.
Le recourant soutient que le refus du Tribunal administratif d'ordonner la production de la preuve de la notification postale du courrier d'ouverture d'enquête du 9 décembre 1998 équivaut à une violation de son droit d'être entendu.
3.1 Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de prendre connaissance du dossier (ATF 126 I 7 consid. 2b p. 10), de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (ATF 127 III 576 consid. 2c p. 578 s.; 127 V 431 consid. 3a p. 436; 124 II 132 consid. 2b p. 137 et la jurisprudence citée).

D'après l'art. 115 LIFD, les offres de preuves du contribuable doivent être acceptées, à condition qu'elles soient propres à établir des faits pertinents pour la taxation (cf. à cet égard, Peter Locher, System des Steuerrechts, 6e édition, Zurich 2002, p. 401). Il est ainsi possible de renoncer à l'administration de certaines preuves offertes lorsque le fait à établir est sans importance pour la taxation, qu'il résulte déjà de constatations ressortant du dossier ou lorsque le moyen de preuve avancé est impropre à fournir les éclaircissements nécessaires.
3.2 Dans son mémoire de recours adressé au Tribunal administratif, le recourant a mis en doute l'envoi du courrier daté du 9 décembre 1998, affirmant qu'il ne l'aurait pas reçu; il a formellement requis la production de la preuve de la notification postale (courrier du 28 mars 2006, ch. 2). Dans la partie des faits de l'arrêt attaqué, le Tribunal administratif a retenu que, ¨ par courrier recommandé du 9 décembre 1998, l'Administration cantonale des impôts avait informé la Société de l'ouverture d'une procédure pour soustraction fiscale [...] ¨ et qu' ¨ un courrier identique avait été adressé à cette même date au recourant personnellement ¨ (arrêt attaqué, lettre C, p. 2).

De l'avis du recourant, le Tribunal administratif ne pouvait pas se borner à constater que le courrier du 9 décembre 1998 lui avait été adressé, mais aurait dû exiger la production de la preuve de la notification postale de cet avis. Le Tribunal administratif n'a pas ordonné la production de cette preuve et n'expose pas pour quel motif il s'est abstenu. Il ressort toutefois de divers courriers adressés par le recourant à l'Administration cantonale des impôts qu'il avait bien reçu l'avis d'ouverture d'enquête du 9 décembre 1998. Ainsi, dans un courrier du 28 février 2001, sous la plume de son mandataire, il écrivait vouloir invoquer la prescription du moment que rien n'avait été fait depuis le 9 décembre 1998. En faisant référence à cette date, le recourant démontre indirectement avoir reçu le courrier en cause. En outre, le double du courrier du 9 décembre 1998 figure parmi les pièces du dossier fiscal, dont il ressort d'ailleurs qu'il a été adressé simultanément au recourant et à son mandataire pour le compte de celui-là. Dans ces conditions, le Tribunal administratif pouvait tenir l'envoi de ce courrier pour établi et renoncer à ordonner la production de la preuve de la notification sans violer le droit d'être entendu du recourant, celui-ci n'ayant aucun droit à prouver un fait établi.
4.
Invoquant l'art. 6 CEDH, le recourant soutient nouvellement devant le Tribunal fédéral que le Tribunal administratif ne pouvait pas statuer dans la même composition sur le volet pénal et le volet fiscal de la procédure.
4.1 Les moyens liés au déroulement de la procédure, en particulier ceux ayant trait à la composition régulière du tribunal ne peuvent plus être soulevés devant le Tribunal fédéral s'ils pouvaient l'être devant la dernière instance cantonale, afin d'éviter les manoeuvres dilatoires (ATF 117 Ia 522 consid. 3a p. 525 s.). En l'espèce, le recourant pouvait s'attendre de bonne foi à ce que le Tribunal administratif statue sur son recours dans deux compositions différentes conformément à sa jurisprudence (cf. ATA/VD FI.2005.0003 du 21 juin 2005 publié sur le site internet du Tribunal administratif: www.ta.vd.ch). Il ne pouvait par conséquent pas soulever ce moyen avant de recevoir l'arrêt attaqué. Son grief est par conséquent recevable.
4.2 D'après l'art. 6 par. 1 CEDH, toute personne a droit à ce que sa cause soit entendue équitablement, publiquement et dans un délai raisonnable, par un tribunal indépendant et impartial, établi par la loi, qui décidera en particulier du bien-fondé de toute accusation en matière pénale dirigée contre elle.

De jurisprudence constante, l'art. 6 CEDH ne trouve pas d'application dans les procédures fiscales, qui n'ont pas un caractère pénal (ATF 132 I 140 consid. 2.1 p. 146 et les références citées). Les procédures en rappel d'impôt n'y sont donc pas soumises (RF 61/2006 p. 372 ss, consid. 2.2 et les références citées).

Même si l'art. 6 CEDH ne le mentionne pas expressément, le droit de garder le silence et de ne pas contribuer à sa propre incrimination (principe dit "nemo tenetur" se ipsum accusare) est une norme généralement reconnue qui est au coeur de la notion de procès équitable consacrée par l'art. 6 par. 1 CEDH. En particulier, le droit de ne pas contribuer à sa propre incrimination présuppose que les autorités recherchent à fonder leur argumentation sans recourir à des éléments de preuve obtenus par la contrainte ou les pressions, au mépris de la volonté de l'accusé. En mettant celui-ci à l'abri d'une coercition abusive des autorités, ces immunités concourent à éviter des erreurs judiciaires et à garantir le résultat voulu par l'art. 6 CEDH (voir l'arrêt J. B. c. Suisse du 3 mai 2001, Recueil 2001-III, p. 457 ss § 64 et les références citées). Par conséquent, l'art. 6 CEDH protège le contribuable contre l'utilisation dans la procédure pénale de renseignements obtenus dans le cadre de la procédure ordinaire de taxation et de rappel d'impôt où il a l'obligation de collaborer à l'établissement de ses éléments imposables (arrêt 2A.67/2004 du 17 février 2005, consid. 4.2).
4.3 Dans l'arrêt attaqué, le Tribunal administratif a statué dans la même composition sur les griefs du recourant concernant la prescription des rappels d'impôts fédéral, cantonal et communal des périodes fiscales 1993/1994 à 1999/2000 et sur ceux concernant la prescription de la contravention en droit cantonal pour les mêmes périodes et les a rejetés. En revanche, le recourant n'ayant soulevé aucun grief de fond concernant la commission des soustractions fiscales de droit fédéral, cantonal et communal, le Tribunal administratif n'en a pas examiné le bien-fondé. Sur le fond enfin, le Tribunal administratif a annulé une partie des reprises effectuées par l'Administration cantonale des impôts, ce qui l'a conduit à admettre partiellement le recours, annuler la décision sur réclamation du 4 janvier 2006 et renvoyer la cause à l'autorité intimée pour qu'elle rende une nouvelle décision au sens des considérants concernant les rappels d'impôts communaux, cantonaux et fédéraux et qu'elle prononce de nouvelles peines d'amendes.

Le recourant soutient en vain que le Tribunal administratif a violé l'art. 6 CEDH. Il est vrai qu'en pratique, eu égard au principe "nemo tenetur", certains cantons (BE: arrêt 2A.480/2005 du 23 février 2006 in StR 61/2006 p. 372 ss; VD: ATA/VD FI.2005.0003 du 21 juin 2005) scindent les procédures de rappel d'impôt et celle de soustraction fiscale, afin d'éviter d'emblée le reproche de violation des garanties de procédure ancrées à l'art. 6 CEDH. Toutefois, contrairement à ce qu'affirme le recourant, le seul fait que les procédures ne soient pas menées séparément ne conduit pas déjà à la violation de l'art. 6 CEDH. En effet, pour que la violation du principe "nemo tenetur" soit constatée, il appartenait au recourant de démontrer que le Tribunal administratif l'avait contraint de contribuer à sa propre incrimination, ce qu'il n'a pas fait. Force est d'ailleurs de constater que, dans la partie de son arrêt concernant les amendes pour soustraction fiscale, le Tribunal administratif ne s'est prononcé que sur la question de la prescription, qui n'implique qu'un examen juridique sous l'angle du déroulement dans le temps des actes de procédure effectués par le fisc, sans se prononcer sur la quotité des amendes pénales infligées au recourant. Le grief de violation de l'art. 6 CEDH est par conséquent rejeté.
4.4 A cet égard, le recourant se plaint encore de ce que le Tribunal administratif a renoncé à séparer les procédures de rappels d'impôts et de soustraction fiscale sans en expliquer la raison. Il se plaint de la violation de son droit d'être entendu et de l'irrégularité de la procédure.
Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., implique notamment pour l'autorité l'obligation de motiver sa décision. La motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (ATF 130 II 473 consid. 4.1 p. 477, 530 consid. 4.3 p. 540 et les arrêts cités).

L'absence de motivation sur ce point n'a cependant pas empêché le recourant de comprendre la portée de l'arrêt attaqué et de se plaindre de cette manière de procéder, de sorte que son droit d'être entendu n'a pas été violé.

Au surplus, la séparation des procédures en cause ne repose sur aucune disposition légale qui l'imposerait au Tribunal administratif. Il s'agit d'une simple pratique instaurée pour les cas où l'on ne pourrait éviter que le contribuable ne doive s'incriminer si les aspects fiscaux et pénaux de sa situation étaient jugés simultanément. Tel n'était pas le cas en l'espèce où le recourant ne contestait pas l'existence d'une soustraction et où le Tribunal administratif s'est borné à examiner la question de la prescription des procédures qui est sans relation avec d'éventuels agissements du recourant. Le grief est donc mal fondé.
5.
Le recourant se plaint de la violation de l'art. 128 de l'arrêté du 9 décembre 1940 concernant l'impôt fédéral direct (AIFD; arrêté sur l'impôt fédéral direct). Il est d'avis que la prescription était acquise pour 1993 et 1994, du moment que l'Administration fiscale a attendu le 24 août 2000 pour s'adresser à lui.
5.1 La prescription des créances d'impôts des périodes fiscales 1993-1994 est régie par l'arrêté sur l'impôt fédéral direct car - bien qu'elle figure à la cinquième partie, relative à la procédure, de la loi sur l'impôt fédéral direct - il s'agit d'une institution de droit matériel qui concerne directement l'existence de la créance fiscale (ATF 126 II 1 consid. 2a p. 2/3 et les arrêts cités). Les dispositions relatives à la prescription de la loi sur l'impôt fédéral direct sont applicables aux créances de la période fiscale 1995.
5.2 D'après l'art. 134 AIFD, le droit d'engager la procédure prévue aux art. 132 (procédure en cas de soustraction) et 133 (autres infractions) s'éteint cinq ans après la clôture de la période de taxation (art. 7 al. 1 AIFD) en question. Il s'agit d'un délai de péremption. Le contribuable doit avoir pris connaissance de l'ouverture de la procédure dans le délai de péremption (Känzig/Behnisch, Die direkte Bundessteur (Wehrsteuer), 2 éd., IIIe partie, Bâle 1992, n° 4 et 5 ad art. 134 AIFD et la jurisprudence citée). Pour la période fiscale 1993/1994, le délai commençait à courir le 1er janvier 1995 et échéait le 31 décembre 1999 (cf. Känzig/Behnisch, op. cit., n° 2 ad art. 134 AIFD).

En l'espèce, le Tribunal administratif a constaté à bon droit (cf. consid. 3 ci-dessus) qu'un avis d'ouverture d'une procédure pour soustraction fiscale a été adressé au recourant le 9 décembre 1998. L'ouverture de la procédure de soustraction fiscale a par conséquent été portée à la connaissance du recourant dans le délai de cinq ans dès le 1er janvier 1995. Le Tribunal administratif n'a par conséquent pas violé l'art. 134 AIFD.
5.3 D'après l'art. 128 AIFD, les créances résultant de l'assujettissement à l'impôt se prescrivent par cinq ans. La prescription court dès l'échéance de la créance. Elle est interrompue par tout acte tendant au recouvrement de celle-ci. Elle est suspendue tant que le contribuable ne peut être poursuivi en Suisse. L'arrêté sur l'impôt fédéral direct prévoit uniquement une prescription relative du droit de recouvrer l'impôt (Ernst Känzig/Urs Behnisch, op.cit., n° 2 ad art. 128) qui englobe aussi bien le droit de taxer que celui de percevoir l'impôt. Ce délai commence à courir en principe dès l'échéance générale de l'impôt annuel fixée par le Département fédéral des finances; il est à cet égard sans importance qu'une taxation ait ou non été notifiée au contribuable avant cette date (ATF 112 Ib 88 consid. 2a p. 92). D'après l'art. 114 al. 1 AIFD et l'art. 1er de l'ordonnance du 19 mars 1993 sur l'échéance et les intérêts en matière d'impôt fédéral direct, période de taxation 1993/94 (RO 1993, p. 1264), l'échéance était fixée au 1er mars 1994 pour l'impôt de l'année 1993 et au 1er mars 1995 pour celui de 1994. L'arrêté sur l'impôt fédéral direct ne prévoit en revanche pas de prescription absolue des créances fiscales. Dans une jurisprudence constante, le Tribunal fédéral a jugé que l'absence de disposition concernant la prescription absolue dans cet arrêté ne constituait pas une lacune mais un silence qualifié qu'il n'y avait pas lieu de combler. Pour autant que la prescription relative soit interrompue régulièrement, les créances d'impôts ne se prescrivaient donc pas (ATF 126 II 1 consid. 3 p. 5).

L'art. 128 AIFD ne précise pas la notion d' ¨acte tendant au recouvrement¨ de la créance fiscale entraînant l'interruption du délai de prescription. Selon la jurisprudence, il s'agit de toutes les mesures des autorités fiscales portées à la connaissance du contribuable et tendant à déterminer cette créance, notamment celles qui sont prises au cours de la procédure de réclamation ou de recours. Il en va de même de simples lettres ou d'injonctions qui visent la poursuite de la procédure de taxation (ATF 126 II 1 consid. 2c p. 5; 112 Ib 88 consid. 2b p. 93; Archives 59 p. 250 consid. 4d p. 256 et la jurisprudence citée; Känzig/Behnisch, op. cit., n° 8 à 10 ad art. 128 AIFD). En font partie, par exemple, l'envoi de la déclaration, la sommation de déposer la déclaration, l'annonce d'un contrôle et les contrôles des livres, la notification d'une taxation fiscale définitive ou provisoire, l'invitation ou la sommation au paiement etc. (cf. les exemples tirés de la jurisprudence dans Känzig/Behnisch, op. cit., n° 10 ad art. 128 AIFD). La remise d'un bordereau provisoire sur la base de la déclaration d'impôt constitue aussi un tel acte tendant au recouvrement (ATF 75 I 174, consid. 3, p. 17818).

Un avis d'ouverture d'une procédure pour soustraction fiscale a été adressé au recourant le 9 décembre 1998. Ce courrier valait interruption de la prescription au sens de l'art. 128 AIFD et est intervenu dans le délai de 5 ans dès le 1er mars 1994. Dans ces conditions, un nouveau délai de cinq ans a commencé à courir dès le 9 décembre 1998. Ce dernier a lui-même été interrompu par le courrier de l'administration cantonale des impôts adressé au recourant le 14 août 2000 destiné à éclaircir une imposition éventuelle de la valeur locative, puis notamment par l'avis de prochaine clôture de la procédure en soustraction du 12 juin 2001, la décision de rappel d'impôt et d'amendes du 23 décembre 2002 et la décision sur réclamation du 4 janvier 2006. Comme l'a jugé à bon droit le Tribunal administratif, le droit de rappeler l'impôt fédéral direct pour les années 1993 et 1994 n'était par conséquent pas prescrit.
5.4 La prescription du droit de rappeler l'impôt fédéral direct au sens de l'art. 120 LIFD pour les périodes fiscales ultérieures (1995/1996 et suivantes) n'est pas non plus acquise, ce que le recourant ne conteste d'ailleurs pas.
5.5 Par conséquent, en jugeant que les rappels d'impôt fédéral direct n'étaient pas prescrits, le Tribunal administratif n'a pas violé le droit fédéral.

II. Impôt cantonal (2P.4/2007)
6.
6.1 Le prononcé par lequel une juridiction cantonale annule la décision et renvoie une affaire pour nouvelle décision à une autorité de première instance est une décision incidente, qui n'entraîne en principe aucun dommage irréparable pour l'intéressé et ne saurait en tant que tel faire l'objet d'un recours de droit public (art. 87 OJ). Toutefois, lorsque l'arrêt de renvoi ne laisse aucune latitude de jugement à l'autorité inférieure, il peut alors faire directement l'objet d'un recours de droit public, car un tel arrêt constitue pour les parties une décision qui met fin à la procédure (ATF 129 I 313 consid. 3.2 p. 317; 122 I 39; 117 Ia 396 consid. 1 p. 398 s. et les arrêts cités). Tel est bien le cas de l'arrêt attaqué en tant qu'il tranche définitivement le sort de la prescription des rappels d'impôt et des amendes ainsi que de la légalité des rappels d'impôt cantonal et communal.
6.2 Déposé en temps utile contre une décision finale prise en dernière instance cantonale, qui ne peut être attaquée que par la voie du recours de droit public et qui touche le recourant dans ses intérêts juridiquement protégés, le présent recours de droit public n° 2P.4/2007 est en principe recevable au regard des art. 84 ss OJ.

Sous réserve d'exceptions non réalisées en l'espèce, le recours de droit public ne peut tendre qu'à l'annulation de la décision attaquée (ATF 132 I 68 consid. 1.5 p. 71 et la jurisprudence citée). Dans la mesure où le recourant demande l'annulation des décisions de rappel d'impôt et d'amendes de l'Administration cantonale des impôts du 4 janvier 2006, ses conclusions sont irrecevables. En particulier, le grief du recourant selon lequel la procédure le concernant et celle de la Société auraient été confondues par l'Administration cantonale des impôts dans sa décision du 4 janvier 2006 est irrecevable.
6.3 En vertu de l'art. 90 al. 1 lettre b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (ATF 130 I 258 consid. 1.3 p. 261). En outre, dans un recours pour arbitraire fondé sur l'art. 9 Cst. (cf. art. 4 aCst.), l'intéressé ne peut se contenter de critiquer l'arrêt attaqué comme il le ferait dans une procédure d'appel où l'autorité de recours peut revoir librement l'application du droit. Il doit préciser en quoi cet arrêt serait arbitraire, ne reposerait sur aucun motif sérieux et objectif, apparaîtrait insoutenable ou heurterait gravement le sens de la justice (ATF 128 I 295 consid. 7a p. 312 et la jurisprudence citée).
7.
Le recourant réitère les griefs de violation du droit d'être entendu et de violation de l'art. 6 CEDH qu'il a formulés dans son recours de droit administratif. Ces griefs doivent être rejetés pour les mêmes motifs que ceux qui ont été exposés ci-dessus (consid. 3 et 4), auxquels il suffit de renvoyer.
8.
Le recourant se plaint aussi de plusieurs violations de l'interdiction de l'arbitraire dans l'application du droit cantonal.
8.1 Une décision est arbitraire lorsqu'elle contredit clairement la situation de fait, lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité (ATF 132 III 209 consid. 2.1 p. 211). A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. De plus, il ne suffit pas que les motifs de l'arrêt attaqué soient insoutenables, encore faut-il que ce dernier soit arbitraire dans son résultat. Il n'y a en outre pas arbitraire du seul fait qu'une autre solution que celle de l'autorité intimée paraît concevable, voire préférable (ATF 132 III 209 consid. 2.1 p. 211; 132 I 13 consid. 5.1 p. 17).
8.2 En droit cantonal vaudois, d'après l'art. 133 al. 1 de l'ancienne loi du 26 novembre 1956 sur les impôts directs cantonaux (aLI; R. 1956, 359; en vigueur jusqu'au 31 décembre 2000), la contravention est prescrite quatre ans après la fin de la période de taxation. La prescription est interrompue par tout avis de l'Administration cantonale des impôts ou du Département des finances aux intéressés les informant qu'une enquête est en cours (al. 1). Cet avis est considéré comme non avenu si aucune suite ne lui est donnée dans le délai d'une année (art. 133 al. 2 aLI).
8.3 Dans l'arrêt attaqué, le Tribunal administratif a constaté que, le 9 décembre 1998, un avis d'ouverture de procédure pour soustraction fiscale concernant les périodes fiscales 1993/1994 à 1997/1998 avait été notifié au recourant et que le même jour, un courrier identique avait été adressé à la Société. Il a également constaté que, le 16 décembre 1998, l'Administration cantonale des impôts avait adressé un courrier recommandé à la Société, la sommant de produire des pièces comptables réclamées par courrier du 29 septembre 1998. Il ressort en outre du dossier que le recourant n'a personnellement reçu aucun courrier ayant trait à la procédure de soustraction ouverte à son encontre avant le 24 août 2000, date à laquelle l'Administration cantonale des impôts lui a demandé des informations sur son logement. Considérant que le recourant était actionnaire et administrateur de la Société, qu'il détenait un pouvoir de gestion effectif sur les affaires sociales, que les mesures d'instruction effectuées à l'encontre de la Société concernaient des reprises qui pouvaient le concerner simultanément et qu'il en avait eu connaissance en tant qu'organe, le Tribunal administratif a jugé que la sommation du 16 décembre 1998 validait non seulement l'avis d'ouverture d'enquête adressé à la Société le 9 décembre 1998 mais également celui qui avait été adressé le même jour à l'actionnaire. Le recourant soutient que le raisonnement du Tribunal administratif conduit à un résultat arbitraire en confondant deux sujets de droit, lorsque, comme en l'espèce, cette confusion est favorable au fisc et en les distinguant lorsqu'il s'agit d'imposer d'une part la société et d'autre part l'actionnaire comme le prévoit le droit fiscal suisse.

Quoi qu'en pense le recourant, qui ne nie pas avoir eu connaissance du contenu des courriers des 16 décembre 1998 et 29 septembre 1998, ce raisonnement ne conduit pas à un résultat arbitraire. En adoptant la règle prévue par l'art. 133 al. 2 aLI, le législateur vaudois entendait "éviter qu'après deux ou trois ans, l'Etat n'ait rien fait, et adresse au contribuable un nouvel avis [d'ouverture d'enquête]". En résumé, comme l'indique la lettre claire de l'art. 133 al. 2 aLI, il importait au législateur que "la procédure suive son cours" (Bulletin des séances du Grand Conseil du canton de Vaud, automne 1947, p. 364). Ni les travaux du Grand Conseil ni la lettre de l'art. 133 al. 2 aLI ne précisent en revanche sous quelle forme une suite doit être donnée, de sorte qu'il n'est pas insoutenable de considérer, à l'instar du Tribunal administratif, que tel est le cas déjà lorsque le contribuable comprend, même de manière informelle, que la procédure intentée contre lui se poursuivait.

En l'espèce, il ressort du dossier que le courrier de sommation du 16 décembre 1998, notifié à la Société par son mandataire, a en outre été adressé en copie "A la direction de Y.________ SA, M. X.________" par l'Administration cantonale des contributions, ce dernier étant également client à titre privé de ce même mandataire. Du moment que les mesures d'instruction du courrier du 29 septembre 1998 concernaient des postes de charges dans les comptes de la Société, dont l'intitulé laissait penser qu'il s'agissait de distributions dissimulées de bénéfice à l'avantage du recourant, celui-ci pouvait et devait comprendre, vu la nature des renseignements requis de la Société, que cet acte d'instruction aurait également des conséquences dans son propre chapitre fiscal et que la procédure en soustraction ouverte contre lui suivait son cours. Dans ces conditions, le Tribunal administratif pouvait juger sans arbitraire que l'avis d'ouverture de procédure en soustraction adressé au recourant le 9 décembre 1998 avait été validé par la sommation du 16 décembre 1998. Le grief doit être rejeté.
8.4 Le recourant soutient enfin le Tribunal administratif est tombé dans l'arbitraire en jugeant que les créances de rappel d'impôt cantonal et communal n'étaient pas prescrites conformément à l'art. 98a aLI. (mémoire de recours, ch. II, 4, p. 14).

L'art. 98a aLI prévoit que le droit de procéder à une taxation définitive se prescrit quatre ans après la fin de la période de taxation et est acquise dans tous les cas douze ans après la fin de la période de taxation. Cet article fixe aussi à quelles conditions la prescription est suspendue ou interrompue.

Le recourant n'expose aucun motif à l'appui de son allégation. Il se borne à affirmer que la prescription est acquise sans préciser en quoi le Tribunal administratif aurait, le cas échéant, appliqué de manière arbitraire l'art. 98a aLI. Ne répondant pas aux exigences de motivation de l'art. 90 OJ, ce grief est irrecevable.
9.
Les considérants qui précèdent conduisent au rejet du recours de droit administratif 2A.10/2007 et du recours de droit public 2P.4/2007, dans la mesure où ils sont recevables.
Succombant, le recourant doit supporter les frais judiciaires (art. 156 al. 1, 153 et 153a OJ). Il n'a pas droit à des dépens (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
1.
Les recours n° 2A.10/2007 et n° 2P.4/2007 sont joints.
2.
Le recours de droit administratif 2A.10/2007 est rejeté dans la mesure où il est recevable.
3.
Le recours de droit public 2P.4/2007 est rejeté dans la mesure où il est recevable.
4.
Un émolument judiciaire de 4'000 fr. est mis à la charge du recourant.
5.
Le présent arrêt est communiqué en copie au recourant, à l'Administration cantonale des impôts du canton de Vaud et au Tribunal administratif du canton de Vaud ainsi qu'à l'Administration fédérale des contributions, Division juridique impôt fédéral direct.
Lausanne, le 23 août 2007
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: