Extraordinary dividends during tax transition periodKI-generiert

{T 0/2}
2A.736/2006 /fzc

Arrêt du 18 septembre 2007
IIe Cour de droit public

Composition
MM. et Mme les Juges Merkli, Président,
Wurzburger, Müller, Yersin et Karlen.
Greffière: Mme Kurtoglu-Jolidon.

Parties
A.X.________,
recourant,

contre

Service cantonal des contributions du canton du Valais, case postale 351, 1951 Sion,
Tribunal cantonal du canton du Valais, Cour de droit public, Palais de Justice, avenue Mathieu-Schiner 1, 1950 Sion 2.

Objet
Impôt fédéral direct et impôts cantonal et communal (revenus extraordinaires 2001 et 2002),

recours de droit administratif contre l'arrêt du Tribunal cantonal du canton du Valais, Cour de droit public, du 3 novembre 2006.

Faits :
A.
A.X.________ et B.X.________, domiciliés à C.________, détiennent la quasi-totalité du capital-actions de la société D.X.________ SA qui est active dans le commerce de matériaux de construction. Lors des exercices 1996 à 2000, cette société a distribué les dividendes suivants:
Exercice
Bénéfice comptable (fr.)
Dividende total (fr.)
Dividende touché par les époux X.________ (fr.)
Echéance du dividende
1996
380'587
/

1997
384'736
/

1998
403'564
101'250
98'100
26.11.1999
1999
432'405
150'075
145'406
31.10.2000
2000
458'486
202'500
196'200
31.08.2001
2001
220'030
202'500
196'200
30.06.2002

B.
La Commission d'impôt de district pour la commune de Sion a procédé à la taxation des dividendes perçus en 2001 et 2002 par décisions du 22 octobre 2003. Elle a considéré ces dividendes, qui tombaient dans la brèche de calcul due au passage du système praenumerando bisannuel au système postnumerando annuel, comme des revenus extraordinaires et a déterminé le montant imposable pour 2001 et pour 2002 de la façon suivante:
Fr.
Dividende extraordinaire 196'200
Charges en rapport immédiat avec
l'acquisition des revenus (81'169)

Total pour l'impôt cantonal et l'impôt fédéral direct 115'031

Le montant de 81'169 fr. déduit des 196'200 fr. correspond à la moyenne des dividendes touchés en 1998, 1999 et 2000 ([0 fr. + 98'100 fr. + 145'406 fr.] : 3). Ces taxations ont été confirmées par décisions sur réclamation du 22 décembre 2003. La Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) a rejeté le recours de A.X.________ par décision du 23 mars 2005.
C.
Par arrêt du 3 novembre 2006, le Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté le recours de l'intéressé aussi bien en ce qui concerne l'impôt fédéral direct que les impôts cantonal et communal. Il a jugé que les dividendes reçus par les époux X.________ constituaient des revenus extraordinaires et étaient donc imposables. Il a en outre approuvé la façon dont l'autorité de taxation a calculé les revenus imposables (point B ci-dessus), soit la déduction du montant perçu de la moyenne des dividendes versés les trois années antérieures à 2001.
D.
Sans en préciser la nature, A.X.________ interjette un recours auprès du Tribunal fédéral et conclut à ce que son « recours devant le Tribunal cantonal soit accepté pour le montant dépassant mon revenu effectif soit 40'584 fr. pour chacune des deux années 2001 et 2002 ». Il demande également que les taxations des revenus extraordinaires des années 2001 et 2002 fixés à 115'031 fr. soient ramenés à 74'447 fr et que les frais et dépens fixés par le Tribunal cantonal et la Commission cantonale de recours soient mis à la charge de la collectivité. Il estime que le montant des revenus extraordinaires n'a pas été arrêté correctement.

Le Tribunal cantonal renonce à se déterminer. Le Service cantonal des contributions du canton du Valais renvoie à son écriture du 30 juillet 2004 déposée devant la Commission cantonale de recours, à la décision de cette instance et à l'arrêt entrepris et conclut au rejet du recours. L'Administration fédérale des contributions conclut également au rejet du recours.

Interpellé par courrier du 18 juin 2007 par le juge délégué sur une éventuelle reformatio in pejus de la décision attaquée, le recourant, dans sa réponse du 2 juillet 2007, ne s'est pas clairement déterminé sur le maintien ou le retrait de son recours. Le juge délégué lui a octroyé un ultime délai au 16 juillet 2007 pour ce faire. L'intéressé n'y a pas donné suite.

Le Tribunal fédéral considère en droit:
1.
1.1 Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 132 I 140 consid. 1.1 p. 142).

La loi du 17 juin 2005 sur le Tribunal fédéral (LTF ou la loi sur le Tribunal fédéral; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 p. 1205 ss, p. 1242). L'arrêt attaqué ayant été rendu avant cette date, la procédure reste régie par la loi fédérale du 16 décembre 1943 d'organisation judiciaire (art. 132 al. 1 LTF).
1.2 Le recourant n'a pas indiqué par quelle voie de recours il procède auprès du Tribunal fédéral. Toutefois, cette imprécision ne saurait lui nuire si son recours remplit les exigences légales de la voie de droit qui lui est ouverte (voir, sur le choix erroné d'une voie de recours, ATF 126 II 506 consid. 1b in fine, p. 508/509). Il convient en l'espèce d'examiner si le mémoire remplit les conditions de recevabilité des voies de droit qui lui sont ouvertes.

I. Impôt fédéral direct.
2.
2.1 En tant que l'arrêt attaqué concerne l'impôt fédéral direct, il est fondé sur le droit public fédéral, de sorte que la voie du recours de droit administratif est ouverte en vertu des art. 97 ss OJ, ainsi que de la règle particulière de l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD ou la loi sur l'impôt fédéral direct; RS 642.11), entrée en vigueur le 1er janvier 1995.
2.2 La conclusion de l'intéressé demandant que son recours « soit accepté pour le montant dépassant son revenu effectif soit 40'584 fr. pour chacune des deux années 2001 et 2002 » contredit la motivation très succincte du mémoire. Il y soutient, en effet, au contraire que, sur la somme de 115'031 fr. arrêtée par l'autorité intimée comme revenu imposable, le montant imposable du dividende extraordinaire est de 74'447 fr. et que celui de 40'584 fr. représente le montant contesté (cf. infra consid. 5.3). La jurisprudence relative à l'art. 108 al. 2 OJ prescrit qu'il ne faut pas poser des exigences trop strictes quant à la formulation des conclusions et des motifs présentés dans un recours de droit administratif (ATF 130 I 312 consid. 1.3.1 p. 320; ATF 109 Ib 246 consid. 3c p. 249); vu que l'on peut déduire du mémoire les points sur lesquels l'arrêt attaqué est critiqué et ce que le recourant demande, le recours remplit encore les conditions de cette disposition.
2.3 Pour le surplus, déposé en temps utile et dans les formes prescrites par la loi contre un arrêt rendu par une autorité judiciaire statuant en dernière instance cantonale, le recours est recevable.
3.
Saisi d'un recours de droit administratif, le Tribunal fédéral vérifie d'office l'application du droit fédéral qui englobe notamment les droits constitutionnels des citoyens (ATF 130 III 707 consid. 3.1 p. 709). L'autorité de céans n'est en outre pas liée par les motifs invoqués par les parties et peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer la décision attaquée pour d'autres motifs que ceux retenus par l'autorité intimée (art. 114 al. 1 in fine OJ; ATF 132 II 257 consid. 2.5 p. 262, 47 consid. 1.3 p. 50 et la jurisprudence citée). De surcroît, en matière de contributions publiques, il peut aller au-delà des conclusions des parties, à l'avantage ou au détriment de celles-ci, lorsque le droit fédéral est violé ou lorsque des faits ont été constatés de manière inexacte ou incomplète (art. 114 al. 1 OJ). Une correction en défaveur du contribuable (reformatio in pejus) n'est cependant entreprise que si celui-ci a été préalablement averti, si la décision concernée est manifestement erronée et si sa rectification est d'une notable importance (ATF 110 Ib 319 consid. 8b p. 330; 108 Ib 227 consid. 1b et les références citées).
4.
4.1 Selon l'art. 41 LIFD, les cantons sont libres, en dérogation à l'art. 40 LIFD, de fixer pour l'imposition dans le temps une période fiscale annuelle correspondant à une année civile. Sont alors valables les dispositions prévues au chapitre 3 (art. 208 à 220 LIFD) des dispositions transitoires. Alors que la plupart des cantons ont modifié leur système d'imposition dans le temps en 2001, la loi fiscale valaisanne du 10 mars 1976 a introduit le système de taxation postnumerando annuelle, en remplacement du système de taxation praenumerando bisannuelle, pour les personnes physiques, dès la période fiscale 2003 (art. 245 de la loi fiscale valaisanne du 10 mars 1976 [ci-après: LF]). Il s'ensuit que les deux années précédant ledit changement, soit 2001 et 2002, tombent dans la brèche de calcul pour l'imposition du revenu.

Selon l'art. 218 al. 1 LIFD, pour la première période fiscale suivant la modification mentionnée à l'art. 41 LIFD, soit le passage au système annuel postnumerando, la taxation relative à l'impôt sur le revenu des personnes physiques est régie par le nouveau droit. L'art. 218 al. 2 LIFD prévoit que les revenus extraordinaires réalisés durant les deux années précédentes ou lors d'un exercice clos au cours de ces années et qui tombent ainsi dans la brèche de calcul sont soumis à un impôt annuel entier pour l'année fiscale où ils ont été acquis, au taux correspondant à ces seuls revenus. Les charges qui sont en rapport immédiat avec l'acquisition des revenus extraordinaires peuvent être déduites (art. 218 al. 2 in fine LIFD). Sont en particulier considérés comme des revenus extraordinaires les prestations en capital, les revenus de fortune non périodiques, les gains de loterie et, par analogie avec l'art. 206 al. 3 LIFD, les revenus extraordinaires provenant d'une activité lucrative indépendante.
4.2 Les dividendes ne sont pas expressément mentionnés par l'art. 218 al. 3 LIFD. Il résulte néanmoins de la lettre de cette disposition que l'énumération des revenus extraordinaires qui y figure n'est pas limitative (cela découle du terme "en particulier"), mais uniquement exemplaire (Dieter Weber, in: Martin Zweifel/Peter Athanas (éd.), Kommentar zum Schweizerischen Steuerrecht, vol. I/2b, Bundesgesetz über die direkte Bundessteuer (DBG), Art. 83-222, n° 31 ss ad art. 218 LIFD, p.883).

Selon la circulaire n° 6 du 20 août 1999 de l'Administration fédérale des contributions relative au passage, pour les personnes physiques, de la taxation bisannuelle praenumerando à la taxation annuelle postnumerando (Archives 68 p. 400), le caractère extraordinaire d'un revenu peut résulter:

• du caractère unique d'une prestation; en principe tout revenu unique est un revenu extraordinaire au sens de l'art. 218 LIFD (exemple: gains de loterie);
  
• du caractère extraordinaire d'un revenu par nature périodique; l'attribution de ce revenu au cours des années antérieures est exceptionnelle, sort de l'ordinaire (exemples: dividende nettement supérieur aux dividendes des exercices précédents, indemnité pour prestations spéciales, gratification d'un montant exceptionnel);
  
• d'un changement dans l'aménagement de la source de revenu (exemple: modification des conditions de rémunération d'une activité salariée).

Selon la circulaire susmentionnée, ces divers critères peuvent être combinés.

Bien que les dividendes sont en principe des revenus périodiques, puisqu'il s'agit de revenus qui, de par leur nature, sont versés régulièrement, le Tribunal fédéral a jugé que les dividendes versés par une société aux détenteurs de participations devaient, suivant les circonstances, être considérés comme des revenus extraordinaires respectivement comme des revenus non périodiques de fortune au sens de l'art. 218 al. 3 LIFD. Tel est notamment le cas des dividendes dits de substance qui sont prélevés sur les bénéfices thésaurisés durant les périodes antérieures (rapport de la Commission du Conseil national pour l'économie et les redevances, in: FF 1998 4929 ss, p. 4939). Cela vaut également lorsque, certes, seul le bénéfice réalisé durant l'exercice commercial de l'année qui précède la distribution est versé, mais que la société anonyme à prépondérance personnelle modifie sa politique de distribution des dividendes précisément durant les années qui tombent dans la brèche de calcul. L'art. 218 LIFD empêche le contribuable de profiter de la modification apportée à l'imposition dans le temps en déplaçant, selon son bon vouloir, la date de réalisation du revenu dans la brèche de calcul (Archives 72 p. 663 consid. 2.2 = StE 2002 B 65.4.11 = RDAF 2003 II p. 193, 2A.557/2001).

Selon la jurisprudence (StE 2006 B 65.4 no 22, 2A.301/2005; RDAF 2004 II p. 22 = StE 2004 B 65.4 no 15 = StR 59/2004 p. 135, 2A.439/2002; RDAF 2003 II p. 202 = Archives 73 p. 133, 2A.92/2002), les critères principaux sont donc notamment la continuité de la politique de distribution des dividendes, ainsi que la possibilité pour le contribuable d'influer sur les modalités d'attribution d'un revenu, et de mettre ainsi à profit la brèche de calcul (StE 2006 B 65.4 no 22, 2A.301/2005; circulaire n° 6, op. cit., no 252; Dieter Weber, in: Martin Zweifel/Peter Athanas, Kommentar zum schweizerischen Steuerrecht, I/1, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG), 2e éd., no 14 ss ad art. 69 LHID p. 1016 ss). En revanche, l'importance du revenu ne constitue pas en elle-même un critère pertinent.
5.
5.1 Comme on l'a vu ci-dessus (cf. partie « Faits » point B), le Tribunal cantonal a soustrait des dividendes touchés en 2001 et 2002, soit 196'200 fr. par an, la moyenne des dividendes perçus en 1998, 1999 et 2000 ([0 fr. + 98'100 fr. + 145'406 fr.]: 3), soit 81'169 fr., ce qui donnait un revenu imposable de 115'031 fr. pour chaque année en cause. Cette façon de procéder revient à considérer comme revenu extraordinaire uniquement le montant des dividendes qui dépasse la moyenne des distributions des trois années antérieures, et non pas les dividendes dans leur totalité.
5.2 Il ressort du tableau figurant au point A de la partie « Faits » et du recours qu'en l'espèce aucun dividende n'a été distribué en 1996, 1997 et 1998. Seuls deux dividendes ont été versés par la société à ses actionnaires avant la brèche de calcul, soit en 1999 et 2000. En outre, entre l'exercice 1996 et l'exercice 2000, le bénéfice a crû d'environ 20% (de 380'587 fr. à 458'486 fr.) alors que les dividendes ont passé de 0 fr. à 196'200 fr. Lors de l'exercice 2001, le bénéfice a chuté de moitié par rapport à 2000 pour atteindre 220'030 fr., ce qui n'a pas empêché la société de verser un dividende aussi élevé que lors de l'exercice précédent, soit 196'200 fr. L'évolution des dividendes totaux par rapport au montant des bénéfices des exercices est significative: ils représentaient 0% du bénéfice des exercices 1995 à 1997, puis 24.3% en 1998, 33.6% en 1999 pour atteindre 42.8% et 89.2% du bénéfice des exercices 2000 et 2001. Versés 2001 et 2002, soit dans la brèche de calcul, ils ne relevaient d'aucune politique de distribution obéissant à des motifs objectifs autres que fiscaux.

A cela s'ajoute que le recourant pouvait lui-même décider de la politique de distribution des dividendes puisqu'il détient la presque totalité du capital-actions. Ces éléments conduisent à qualifier les dividendes litigieux de revenus extraordinaires. Il importe peu que des dividendes aient également été distribués les années suivantes: la question de savoir si les dividendes touchés doivent être considérés comme extraordinaires dépend des circonstances qui prévalaient avant le passage au système d'imposition postnumerando (RDAF 2003 II p. 2002 consid. 3.3.1 p. 206, 2A.103/2002).
5.3 Dans un arrêt du 28 avril 2006 (StE 2006 B 65.4 no 22, 2A.301/2005), le Tribunal fédéral a jugé qu'il fallait, dans l'affaire en cause, déduire du dividende tombant dans la brèche de calcul un dividende moyen tenant compte de ceux qui avaient été distribués les années antérieures (soit, deux ans selon les circonstances du cas). Seul constituait un revenu extraordinaire imposable la différence entre ces deux montants. Bien que le recourant ne mentionne pas cet arrêt, il demande que le calcul qui y figure soit repris dans son cas. Il estime qu'une partie des dividendes qu'il a touchés en 2001 et 2002, soit 196'200 fr., doit être considérée comme un revenu ordinaire. Il arrête le montant des dividendes extraordinaires à 74'447 fr., considérant la moyenne des dividendes perçus en 1999 et 2000, soit 121'753 fr. ([98'100 fr. + 145'406 fr.]: 2), comme un revenu ordinaire déductible des 196'200 fr. Toutefois, l'affaire jugée dans l'arrêt susmentionné était différente du présent cas, vu qu'avant la période de transition (en l'occurrence 1998), un dividende ordinaire avait été régulièrement distribué. Tel n'est pas le cas ici où la distribution d'un dividende n'a commencé que deux ans avant la brèche de calcul. Il n'existait donc pas de politique de distribution avant la brèche de calcul, contrairement au cas précédemment jugé. En outre, les montants distribués ont crû indépendamment des bénéfices réalisés pour culminer à 196'200 fr. dans la brèche de calcul. Au surplus, aucune disposition légale n'autorise la déduction - systématique et dans tous les cas - d'un dividende moyen, seul le solde représentant un revenu extraordinaire. Au demeurant, se poserait la question du nombre d'années à prendre en considération. Tant les prétentions du recourant que l'arrêt de l'autorité intimée sont donc erronés sur ce point.
5.4 Le recourant se plaint encore, semble-t-il, d'être doublement imposé sur les dividendes en question. Durant la période 1999/2000, le recourant et son épouse n'ont pas payé d'impôt ordinaire sur les dividendes puisqu'ils n'en ont pas touchés durant la période de calcul 1997/1998. Pour la période fiscale 2001/2002, ils ont payé un impôt ordinaire sur les dividendes perçus en 1999 et 2000, soit 98'100 fr. et 145'406 fr. Ils ont, en outre, été astreints à un impôt extraordinaire sur les deux montants de 196'200 fr. que la société leur a versés en 2001 puis en 2002. Ils ont touché 635'906 fr. au total sur les années considérées et doivent payer des impôts sur ce même montant. Une telle imposition correspond à la capacité contributive du recourant et de son épouse (sur cette notion cf. ATF 131 I 291 consid. 3.2.1 p. 306 et les arrêts cités).
5.5 En résumé, les dividendes de 196'200 fr. versés au recourant et à son épouse en 2001 et 2002 constituent pour leur total des revenus extraordinaires au sens de l'art. 218 al. 2 et 3 LIFD et devraient être soumis - sans déduction d'un dividende moyen - à un impôt annuel séparé. Une telle conclusion pourrait conduire à la réformation de l'arrêt attaqué en défaveur du recourant (reformatio in pejus; cf. consid. 3), les montants en jeu n'étant pas négligeables, soit 162'338 fr. au total (revenu imposable annuel de 196'200 fr. au lieu des 115'031 fr. fixés par le Tribunal cantonal).

Toutefois, il convient de tenir compte, d'une part, du fait que la loi sur le Tribunal fédéral - actuellement en vigueur - ne connaît plus la reformatio in pejus (art. 107 al. 1 LTF). D'autre part, l'arrêt 2A.301/2005 du 28 avril 2006 susmentionné (cf. consid. 5.3) qui admettait la déduction d'un dividende moyen constitue un cas particulier par rapport à la jurisprudence antérieure. En effet, dans l'arrêt 2A.557/2001 du 11 juillet 2002 (RDAF 2003 II p. 193 consid. 3.3), le Tribunal fédéral a jugé qu'une telle réduction n'avait pas de fondement légal. Puis, dans l'arrêt 2A.439/2002 du 16 septembre 2003 (RDAF 2004 II p. 22 consid. 2.3), le Tribunal fédéral a qualifié la totalité de tels revenus d'extraordinaires, sans examiner la question de la déduction d'un dividende "normal". Dès lors, la décision attaquée ne peut être qualifiée de manifestement erronée et il convient de renoncer à une reformatio in pejus.

Au vu de ce qui précède, en tant qu'il concerne l'impôt fédéral direct, le recours est rejeté.

II. Impôt cantonal et communal.
6.
6.1 Conformément à l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (ci-après: LHID ou la loi sur l'harmonisation fiscale; RS 642.14), les décisions de dernière instance cantonale peuvent faire l'objet d'un recours de droit administratif devant le Tribunal fédéral lorsqu'elles portent sur une matière réglée dans les titres 2 à 5 et 6, chapitre 1er de la loi sur l'harmonisation fiscale (ATF 128 II 56 consid. 1 p. 58) et concernent une période fiscale dès le 1er janvier 2001, soit dès l'échéance du délai laissé aux cantons pour adapter leur législation aux dispositions des titres 2 à 6 de cette loi (art. 72 al. 1 LHID).

En l'occurrence, l'arrêt attaqué a été rendu en dernière instance par le Tribunal cantonal et porte sur une matière figurant à l'art. 69 al. 2 et 3 LHID. L'art. 69 LHID ne figure pas dans les titres 2 à 5 et 6, chapitre 1er de la loi sur l'harmonisation fiscale, mais dans le titre 7. Toutefois, selon la jurisprudence (RDAF 2004 II p. 22 consid. 1 p. 23 ss = StR 59/2004 p. 135 = StE 2004 B 65.4 No 15, 2A.439/2002), cette disposition qui règle la transition de l'imposition dans le temps est mentionnée à l'art. 16 LHID concernant la période fiscale annuelle facultative, qui y renvoie et qui figure dans le titre 2. En raison de ce renvoi, elle concerne un domaine réglé par le titre 2 de la loi sur l'harmonisation fiscale et porte par conséquent sur une matière visée par l'art. 73 LHID. En outre, le présent recours concerne l'imposition du recourant pour les périodes fiscales 2001 et 2002, soit des périodes postérieures à l'échéance du délai de l'art. 72 al. 1 LHID. Dès lors, la voie du recours de droit administratif de l'art. 73 al. 1 LHID est ouverte (ATF 123 II 588 consid. 2 p. 591 ss).
6.2 En tant que le recourant demande que les taxations de 115'031 fr. des années 2001 et 2002 soient ramenées à 74'447 fr., la conclusion est irrecevable. En effet, selon l'art. 73 al. 3 LHID, le Tribunal de céans ne peut qu'annuler l'arrêt attaqué et renvoyer l'affaire pour une nouvelle décision à l'autorité inférieure.
7.
7.1 Conformément à l'art. 69 al. 2 et 3 LHID, l'art. 247 LF prévoit que les revenus extraordinaires réalisés durant les années 2001 et 2002, ou lors d'un exercice clos au cours de cette période, sont soumis à un impôt annuel entier, au taux applicable à ces seuls revenus, pour l'année fiscale au cours de laquelle ils ont été acquis (al. 1). Sont en particulier considérés comme revenus extraordinaires les prestations en capital, les revenus non périodiques de fortune et les revenus extraordinaires provenant d'une activité indépendante (al. 2).
7.2 L'art. 247 al. 1 et 2 LF a pratiquement la même teneur que l'art. 218 al. 2 et 3 LIFD dont la teneur correspond également à l'art. 69 al. 2 et 3 LHID. Dès lors, les dividendes en cause ayant été considérés comme des revenus extraordinaires pour l'impôt fédéral direct, ils doivent également l'être pour les impôts cantonal et communal et les considérations développées ci-dessus (cf. consid. 4 et 5) s'appliquent également aux impôts cantonal et communal. Les dividendes de 196'200 fr. versés au recourant et à son épouse en 2001 et 2002 constituent ainsi des revenus extraordinaires au sens de l'art. 247 LF soumis à un impôt annuel séparé dans leur intégralité.

Toutefois, pour les mêmes raisons que celles évoquées ci-dessus relatives à l'impôt fédéral direct (cf. consid. 5.5), il convient de renoncer à une reformatio in pejus.
8.
Vu ce qui précède, le présent recours doit être rejeté en tant qu'il concerne l'impôt fédéral direct 2001 et 2002. En tant qu'il a trait à l'impôt cantonal et communal 2001 et 2002, il est rejeté dans la mesure où il est recevable.

Succombant, le recourant doit supporter un émolument judiciaire (art. 156 al. 1 OJ). Il n'est pas alloué de dépens (art. 159 al. 1 OJ).
Par ces motifs, le Tribunal fédéral prononce:

1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
2.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne les impôts cantonal et communal.
3.
Un émolument judiciaire de 2'500 fr. est mis à la charge du recourant.
4.
Le présent arrêt est communiqué en copie au recourant, au Service cantonal des contributions et au Tribunal cantonal du canton du Valais, ainsi qu'à l'Administration fédérale des contributions, Division juridique de l'impôt fédéral direct.
Lausanne, le 18 septembre 2007
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: