{T 0/2}
2C_29/2008
Arrêt du 28 mai 2008
IIe Cour de droit public
Composition
MM. et Mmes les Juges Merkli, Président,
Müller, Yersin, Karlen et Aubry Girardin.
Greffière: Mme Kurtoglu-Jolidon.
Parties
Service cantonal des contributions du canton du Valais, 1951 Sion,
recourant,
contre
Objet
Impôts cantonaux et communaux et impôt fédéral direct 2003,
recours contre la décision de la Commission cantonale de recours en matière fiscale du canton du Valais du 24 janvier 2007.
Faits:
A.
A.X.________, né en 1926, a exercé, à Sion, l'activité d'architecte à titre indépendant jusqu'en 1978, puis dans le cadre de la société anonyme Z.________SA. Il a également été actif dans le domaine de la promotion immobilière.
La société Y.________SA, sise à Sion, dont A.X.________ était l'administrateur unique et, ainsi que cela ressort du dossier, un des deux actionnaires, a construit, au début des années 1950, l'immeuble Y.________, bâtiment de quatre étages comprenant des locaux commerciaux, des bureaux ainsi que des appartements. A.X.________ a collaboré, en sa qualité d'architecte indépendant, à la réalisation de cet immeuble. En 1957, il a acheté ce bien pour 1'000'000 fr., empruntant 830'000 fr. auprès d'une société d'assurance. Z.________SA y a par la suite occupé des bureaux, soit une surface d'environ 190 m2 située au 4e étage.
B.
Le 27 avril 2004, la Commission d'impôt de district pour la Commune de Sion (ci-après: la Commission d'impôt) a informé A.X.________ qu'en raison de la cessation, à la fin 2002 et début 2003, de ses activités de promoteur, elle entendait procéder au transfert de l'immeuble Y.________ de sa fortune commerciale dans sa fortune privée. Après avoir obtenu divers renseignements, la Commission d'impôt a fixé le bénéfice imposable à 2'002'000 fr. par décision de taxation du 3 février 2005. Ce montant a été soumis à une imposition annuelle séparée en 2003, pour les impôts cantonal et communal. Selon le bordereau du 9 février 2005, l'impôt cantonal était de 140'140 fr. Les 2'002'000 fr. ont été intégrés au revenu imposable ordinaire pour l'impôt fédéral direct de la période fiscale 2003.
Par décision sur réclamation du 13 mai 2005, la Commission d'impôt a confirmé les taxations susmentionnées. Elle a rejeté les arguments de A.X.________ tendant à démontrer que l'immeuble Y.________ avait toujours fait partie de sa fortune privée.
La Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours), dans sa décision du 24 janvier 2007, notifiée le 4 décembre 2007, a admis le recours de A.X.________, entre-temps décédé. Elle a considéré que l'immeuble en cause faisait partie de la fortune privée de l'intéressé et non de sa fortune commerciale. Elle a relevé la longue durée de propriété de l'immeuble soit depuis 1957, le fait que les revenus provenant de la location des locaux, bureaux et appartements de l'immeuble Y.________ constituaient la principale source de revenus des époux X.________ et que, selon leurs dires, cet immeuble avait été acquis dans un but de prévoyance, que durant toutes ces années l'autorité de taxation n'avait jamais exigé que cet immeuble soit porté dans les comptes relatifs à l'activité indépendante de A.X.________ et que ce bien a été soumis à l'impôt sur la fortune en qualité de bien-fonds privé. Finalement, la Commission cantonale de recours a souligné que l'autorité de taxation ne s'était pas manifestée lors de plusieurs changements importants de la situation de l'intéressé, tels que la remise en 1978 de son bureau d'architecte à la société Z.________SA, la réduction importante en 1984 puis la cessation de son activité lucrative en 1988 et de l'atteinte de l'âge de la retraite en 1991. Or, ces changements "auraient dû en principe susciter une réaction" de la part de l'autorité de taxation. La Commission cantonale de recours a annulé l'imposition unique du gain en capital au niveau cantonal et communal et a diminué le revenu imposable pour l'impôt fédéral direct de la période fiscale 2003 de 2'002'000 fr., soit de la plus-value réalisée lors du transfert, pour le ramener à 166'889 fr.
C.
Agissant par la voie du recours en matière de droit public, le Service cantonal des contributions du canton du Valais (ci-après: le Service des contributions) demande au Tribunal fédéral, sous suite de frais, en tant que l'impôt fédéral direct est concerné, d'admettre le recours, de confirmer la décision sur réclamation de la Commission d'impôt du 13 mai 2005 et, en tant que les impôts cantonaux et communaux sont concernés, d'annuler la décision de la Commission cantonale de recours du 24 janvier 2007 et de lui renvoyer la cause pour une nouvelle décision dans le sens des considérants.
Les hoirs de feu A.X.________ concluent, sous suite de frais et dépens, au rejet du recours pour autant qu'il soit recevable. La Commission cantonale de recours conclut au rejet du recours. L'Administration fédérale des contributions conclut à l'admission du recours.
Considérant en droit:
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 132 III 747 consid. 4 p. 748).
A.X.________ étant décédé durant la procédure, l'hoirie X.________ lui a succédé, étant précisé que l'hoirie a qualité pour défendre (cf. 602 CC).
I. Impôt fédéral direct
2.
La décision attaquée émane de la Commission cantonale de recours. Selon le principe du parallélisme des voies de recours en matière d'impôt fédéral direct et d'impôts cantonaux harmonisés, lorsqu'un canton a une double instance de recours pour les impôts cantonaux, il doit prévoir les mêmes voies de droit pour l'impôt fédéral direct (ATF 130 II 65).
En application de cette jurisprudence, le canton du Valais, qui avait une double instance judiciaire en matière d'impôts cantonaux (cf. art. 153bis de loi fiscale valaisanne du 10 mars 1976 [ci-après: LF ou la loi fiscale valaisanne], en vigueur jusqu'au 30 juin 2007), a d'abord ouvert la voie de recours au Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) aux recours portant sur l'impôt fédéral direct. Toutefois, l'art. 153bis LF a été abrogé le 1er juillet 2007. Dès cette date, la Commission cantonale de recours statue, pour les impôts fédéraux et cantonaux, comme autorité précédant immédiatement le Tribunal fédéral (art. 150 LF); la voie de recours devant le Tribunal cantonal n'est donc plus ouverte ni pour les impôts cantonaux, ni pour l'impôt fédéral direct.
En l'espèce, la décision entreprise de la Commission cantonale de recours date du 24 janvier 2007, soit d'avant l'abrogation de l'art. 153bis LF, mais elle n'a été notifiée au recourant que le 4 décembre 2007, soit après la modification des voies de droit. Dès lors, comme le Tribunal fédéral l'a déjà jugé (arrêt non publié du 14 mars 2008 2A.128/2007), il y a lieu de considérer que la décision attaquée devant le Tribunal de céans est une décision rendue en dernière instance cantonale pour les impôts cantonaux et pour l'impôt fédéral direct, qui respecte au surplus le principe du parallélisme des voies de recours (art. 8 al. 3 de la loi valaisanne du 24 septembre 1997 d'application de la loi fédérale sur l'impôt fédéral direct).
3.
3.1 Selon l'art. 18 al. 1 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD ou la loi sur l'impôt fédéral direct; RS 642.11), tous les revenus provenant, notamment, de l'exploitation d'une entreprise commerciale, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante sont imposables. L'art. 18 al. 2 LIFD dispose:
"Tous les bénéfices en capital provenant de l'aliénation, de la réalisation ou de la réévaluation comptable d'éléments de la fortune commerciale font partie du produit de l'activité lucrative indépendante. Le transfert d'éléments de la fortune commerciale dans la fortune privée ou dans une entreprise ou un établissement stable sis à l'étranger est assimilé à une aliénation. La fortune commerciale comprend tous les éléments de la fortune qui servent, entièrement ou de manière prépondérante, à l'exercice de l'activité lucrative indépendante; (...)."
L'art. 16 al. 3 LIFD prévoit au contraire que les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
3.2 Pour définir si un gain en capital relève de l'art. 16 al. 3 LIFD ou de l'art. 18 al. 2 LIFD, il s'agit de déterminer s'il a été obtenu dans le cadre de la simple administration de la fortune privée ou si l'activité du contribuable est orientée dans son ensemble vers l'obtention d'un gain. Dans le premier cas, le gain est exonéré. Dans le second cas, le contribuable réalise un revenu provenant d'une activité lucrative imposable, même lorsque l'on ne se trouve pas en présence d'une activité organisée dans une entreprise commerciale proprement dite, et les éléments patrimoniaux utilisés pour cette activité sont des actifs commerciaux (ATF 125 II 113 consid. 5b, 5d et 5e p. 122 ss). Ainsi, le commerce professionnel d'immeubles (cf. ATF 125 II 113 consid. 6a p. 124 sur les conditions pour admettre l'existence d'un commerce professionnel d'immeuble) doit être qualifié d'activité lucrative indépendante au sens de l'art. 18 al.1 et 2 LIFD et entraîne l'imposition comme revenu du bénéfice en capital réalisé lorsque le bien aliéné fait partie du patrimoine commercial affecté à cette activité.
3.3 D'après l'art. 18 al. 2 LIFD, le transfert d'éléments de la fortune commerciale dans la fortune privée est assimilé à une aliénation.
La jurisprudence et la doctrine ont développé plusieurs critères pour distinguer l'administration de la fortune privée de l'activité lucrative. L'existence d'une telle activité doit être appréciée au regard de l'ensemble des circonstances (ATF 125 II 113 consid. 3c p. 118 et les arrêts cités). En matière de bénéfices tirés de l'aliénation d'immeubles, sont notamment des indices en faveur d'une activité excédant la simple administration de la fortune privée, le caractère systématique ou planifié des démarches effectuées, la fréquence des opérations immobilières, le rapport étroit entre l'opération réalisée et l'activité professionnelle du contribuable, le recours à des connaissances spéciales, la durée de possession, la proportion des fonds étrangers investis dans l'opération, ainsi que le réinvestissement des produits de la vente dans de nouvelles acquisitions immobilières. Ces indices peuvent, considérés dans leur ensemble ou même isolément selon les circonstances, conduire à admettre l'existence d'une activité lucrative au sens de l'art. 18 LIFD.
Selon la jurisprudence, lorsqu'un commerçant d'immeubles cesse son activité lucrative indépendante sans déclarer à l'autorité fiscale qu'il entend procéder à un décompte fiscal (au sens de l'art. 47 LIFD) sur les réserves latentes afférentes aux éléments faisant partie de la fortune commerciale, ceux-ci demeurent dans la fortune commerciale; ils ne sont pas transférés dans la fortune privée par le simple écoulement du temps. Ainsi, une longue durée de possession et le fait que, pendant une période assez étendue, aucune transaction immobilière n'a été effectuée ne permettent pas à eux seuls de considérer qu'un immeuble est devenu privé. Tel est en particulier le cas d'un commerçant d'immeubles qui conserve les immeubles acquis à des fins commerciales au titre de placement de fonds sur une longue durée (cf. ATF 126 II 473 consid. 3b p. 475 s.; 125 II 113 consid. 6c p. 125 ss; Archives 57, 271 c. 3b, p. 276; cf. également sur ce point: Danielle Yersin, La distinction entre l'activité indépendante et la gestion de la fortune privée, dans le domaine immobilier, in: Archives 67, p. 97 ss, en particulier p. 114; Martin Arnold, Nichts Neues unter der Steuersonne, in Archives 67, p. 593 ss, en particulier p. 609 et 611; le même, Geschäfts- und Privatvermögen im schweizerischen Einkommensteuerrecht, in: Archives 75, p. 265 ss, en particulier p. 283 s., 286 et 292 ainsi que les références citées).
4.
4.1 En l'espèce, de nombreux éléments vont dans le sens de l'exercice d'une activité lucrative, en particulier, le lien de l'opération avec la profession de A.X.________. L'immeuble Y.________ a été construit par la société Y.________SA dont A.X.________ était l'administrateur unique et, selon un courrier du 28 novembre 2006 du mandataire de celui-ci à la Commission cantonale de recours, un des deux actionnaires. Or, celui-ci a participé à cette construction en tant qu'architecte indépendant. L'immeuble en cause a procuré du travail à son bureau.
Par la suite, A.X.________ a participé à de nombreuses opérations immobilières. Le dossier ne comporte pas le détail de ces transactions mais ce fait n'est pas contesté. Il est d'ailleurs admis que, dès les années 1970, il a été qualifié comme commerçant en immeubles. Rétrospectivement, l'achat de l'immeuble Y.________ apparaît comme le début de ladite activité. Contrairement à ce que retient la Commission cantonale de recours, il importe peu que de 1950, année de la construction de l'immeuble Y.________, à 1957, année de son acquisition par A.X.________, celui-ci n'ait pas encore été considéré comme commerçant en immeubles et qu'il ne l'ait été qu'à partir des années 1970. Ce qui est déterminant est la situation de l'intéressé au moment de la réalisation (ATF 104 Ib 164, arrêt non publié du 26 mai 1997 2A.294/1994; Yersin, op. cit., p. 105), soit en l'occurrence, en 2003. Or, à ce moment-là, compte tenu, notamment, de l'activité immobilière déployée, A.X.________ était qualifié de commerçant en immeubles. Ainsi, même si l'opération au départ paraissait isolée, elle s'est inscrite par la suite dans une activité immobilière relativement intense (ATF 104 Ib 164), de sorte que le critère de la fréquence des opérations est rempli.
L'est également le critère de la proportion des fonds étrangers investis dans le bien. En effet, le prix d'acquisition de l'immeuble de 1'000'000 fr. a été financé par un emprunt de 830'000 fr. Un financement étranger de plus de 80% peut être qualifié d'important, notamment à l'époque de l'achat.
4.2 L'argument des intimés selon lequel cet immeuble avait été acquis dans un but de prévoyance professionnelle ne suffit pas à lui attribuer le caractère d'élément de la fortune privée. En effet, la prévoyance professionnelle peut être assurée par des actifs appartenant à la fortune commerciale (ATF 125 II 113 consid. 6b p. 124). Le fait que les revenus, constitués par les loyers encaissés, devaient assurer la prévoyance de A.X.________ et de son épouse et qu'ils constituaient, dès la période fiscale 1985/1986, leur principale source de revenus n'exclut pas une imposition des réserves latentes lors du passage de l'immeuble de la fortune commerciale à la fortune privée.
Les intimés reprochent également au recourant d'avoir, subitement et sans raison, imposé cet immeuble alors que, s'il estimait que celui-ci appartenait à la fortune commerciale, il aurait dû le faire à l'occasion d'un des nombreux événements antérieurs qui appelaient un passage de l'immeuble dans la fortune privée, soit la reprise du bureau d'architecte de A.X.________ en 1978 par Z.________SA, la cessation de son activité lucrative en 1988 ou l'atteinte de l'âge de l'AVS en 1991. Toutefois, aucun de ces épisodes ne devait entraîner le passage du bien en cause dans la fortune privée, le contribuable ne l'ayant notamment pas requis (ATF 112 Ib 79, 125 II 113) et n'ayant pas indiqué cesser également son activité de commerçant en immeubles. Or, seule la fin d'une telle activité lucrative indépendante donne lieu à l'imposition du bénéfice réalisé lors du transfert d'immeubles de la fortune commerciale à la fortune privée. En l'espèce, l'autorité de taxation a procédé à cette imposition, car le contribuable avait liquidé toutes ses affaires immobilières à la fin 2002 et au début 2003, ce qui justifiait de procéder au décompte des réserves latentes sur l'immeuble Y.________, le simple écoulement du temps ne l'ayant pas fait passer dans la fortune privée de A.X.________ (ATF 125 II 113 consid. 6 c) aa) p. 126). D'ailleurs, en même temps que le décompte portant sur l'immeuble Y.________, a été prise en considération la vente d'une part que A.X.________ possédait dans un autre immeuble. Cette vente s'est faite à perte et celle-ci a été portée en diminution du bénéfice imposable de l'immeuble Y.________.
4.3 Ainsi, s'il est vrai que certains indices parlent en faveur d'une simple gestion de la fortune privée, telle que la longue durée de possession de l'immeuble qui est encore propriété de l'hoirie, et le fait que le gain réalisé sur un immeuble vendu en 1969, acheté quelques années auparavant, avait été traité comme gain immobilier de la fortune privée, il ne fait pas de doute qu'au moment de sa réalisation, l'immeuble Y.________ faisait partie de la fortune commerciale de A.X.________ et le produit tiré de sa réalisation doit être considéré comme le produit d'une activité lucrative indépendante au sens de l'art. 18 LIFD.
5.
5.1 Ancré à l'art. 9 Cst., et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi confère au citoyen, à certaines conditions, le droit d'exiger des autorités qu'elles se conforment aux promesses ou assurances précises qu'elles lui ont faites et ne trompent pas la confiance qu'il a légitimement placée dans ces promesses et assurances (ATF 131 II 627 consid. 6.1 p. 636; 130 I 26 consid. 8.1 p. 60).
5.2 A.X.________ a toujours mentionné, dans ses déclarations d'impôt, les revenus provenant de l'immeuble Y.________ sous la rubrique "Autres revenus. Immeubles: revenu de la fortune immobilière" et la valeur immobilière sous " Bâtiments privés". Que l'autorité fiscale n'ait pas corrigé ces déclarations en allouant les revenus à la rubrique "Revenu d'une activité indépendante" et la valeur de l'immeuble à "Bâtiments d'exploitation" n'est pas déterminant et n'équivaut pas à une promesse. Le contribuable remplit sa déclaration et en est responsable. L'autorité de taxation n'a pas à contrôler chaque période toutes les déclarations dans tous les détails, d'autant qu'une qualification desdits revenus et de la valeur de l'immeuble comme étant privés ou commerciaux ne modifiait rien en la taxation, en l'espèce.
Les intimés invoquent le fait que l'immeuble n'a jamais été porté au bilan des comptes de A.X.________ et qu'aucun amortissement n'a été effectué pendant ces années. Ils ne soutiennent toutefois pas que l'immeuble aurait subi des moins-values justifiant des amortissements et que l'autorité de taxation les aurait refusés ce qui aurait éventuellement pu être assimilé, suivant les circonstances, à une promesse de traiter l'immeuble comme bien privé. En outre, sans être contredit par les intimés, le recourant soutient que "certaines dépenses de plus-value ont été admises comme frais d'entretien" et que "ces dépenses n'ont pas été activées et ont compensé les amortissements". De toute façon, le fait qu'un immeuble soit inscrit au bilan n'est qu'un indice de son caractère commercial (ATF 112 Ib 79 consid. 3 b) bb) p. 83 ss). L'autorité de taxation peut s'écarter de la présentation comptable du contribuable (Yves Noël in: Danielle Yersin/Yves Noël (éd.), Commentaire romand, Impôt fédéral direct, no 71 ad art. 18 p. 258). Un bien nécessairement commercial fait partie du patrimoine commercial même s'il ne figure pas dans la comptabilité de l'entreprise (StE 1993 B 23.2 no 13, 2A.76/1991). A.X.________ ne pouvait rien déduire à son avantage du traitement comptable de son immeuble. Il en découle que le principe de la bonne foi n'a pas été violé.
6.
En conclusion, la Commission cantonale de recours s'est trompée en considérant que l'immeuble Y.________ appartenait à la fortune privée de A.X.________ et non à son patrimoine commercial. Le bénéfice en capital issu du transfert dudit bien de la fortune commerciale à la fortune privée doit être soumis à l'impôt fédéral direct (art. 18 al. 2 LIFD), contrairement à ce qu'a retenu la décision attaquée qui doit dès lors être annulée sur ce point.
II. Impôt cantonal et communal
7.
La décision attaquée porte sur la réalisation d'un bénéfice en capital immobilier. Les art. 7 al. 4 let. b et 12 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID ou la loi fédérale sur l'harmonisation; RS 642.14) traitent des gains en capital réalisés lors de l'aliénation d'un immeuble faisant partie de la fortune privée du contribuable. Les art. 8 al. 1 et 18 LHID règlent l'imposition du produit de l'activité lucrative indépendante qui comprend les bénéfices en capital provenant, notamment, du transfert dans la fortune privée d'éléments de la fortune commerciale. Ces dispositions figurent dans les titres 2 à 5 et 6 chapitre I LHID, mentionnés à l'art. 73 al. 1 de cette loi. En outre, la décision attaquée concerne la période fiscale 2003, soit une période postérieure à l'échéance du délai de l'art. 72 al. 1 LHID, de sorte que la voie de recours de l'art. 73 LHID est ouverte. Le Service cantonal a qualité pour recourir selon l'art. 73 al. 2 LHID.
Depuis l'abrogation de l'art. 153bis LF, le 30 juin 2007, les décisions de la Commission cantonale de recours, qui étaient jusqu'alors susceptibles de recours au Tribunal cantonal, sont rendues en dernière instance cantonale (art. 150 LF). La décision entreprise ayant été notifiée le 4 décembre 2007, l'intéressé ne pouvait plus attaquer la décision en cause devant le Tribunal cantonal et celle-ci doit être considérée comme de dernière instance cantonale (cf. consid. 2).
8.
Conformément à l'art. 8 al. 1 LHID, l'art. 14 al. 1 et 2 LF traite des revenus imposables provenant de l'activité indépendante, dont font notamment partie les bénéfices en capital provenant de l'aliénation et de la réalisation d'éléments de la fortune commerciale; le transfert d'éléments de la fortune commerciale dans la fortune privée est assimilé à une aliénation. L'art. 63 LF soumet à un impôt annuel, lorsque le contribuable renonce à l'exercice de son activité lucrative indépendante, toutes les réserves latentes touchées par cet état de fait qui n'ont pas été soumises à l'impôt jusque-là.
De même qu'en matière d'impôt fédéral direct, il s'agit de déterminer si l'immeuble Y.________ faisait partie de la fortune commerciale ou de la fortune privée de A.X.________. S'agissant de droit harmonisé, l'interprétation des dispositions susmentionnées se fonde sur les mêmes critères que pour l'impôt fédéral direct. Dès lors, les considérations développées ci-dessus (cf. consid. 3 et 4) s'appliquent également aux impôts cantonal et communal.
En conclusion, la Commission cantonale de recours a considéré à tort que l'immeuble Y.________ appartenait à la fortune privée de A.X.________. Le bénéfice en capital issu du transfert dudit bien de la fortune commerciale dans la fortune privée de celui-là doit être soumis à l'impôt cantonal et communal annuel (cf. art. 14 al. 2 et 63 LF), contrairement à ce qu'a retenu la décision attaquée qui doit dès lors être annulée sur ce point.
9.
Au vu de ce qui précède, le présent recours est admis en tant qu'il concerne l'impôt fédéral direct 2003 ainsi que l'impôt cantonal et communal 2003 et la décision de la Commission cantonale de recours du 24 janvier 2007 est annulée. La décision sur réclamation du 13 mai 2005 doit être confirmée, étant précisé qu'en ce qui concerne les impôts cantonaux et communaux, à la suite d'une nouvelle jurisprudence (arrêt du 4 avril 2008 2C_637/2007 qui sera publié aux ATF), le Tribunal fédéral ne se limite plus à casser la décision attaquée et à renvoyer la cause à l'instance cantonale mais peut se prononcer sur le fond. C'est ce que fait en l'espèce le Tribunal de céans, quand bien même le recours conclut, relativement à ces impôts, au renvoi de la cause à la Commission cantonale de recours pour une nouvelle décision dans le sens des considérants. Les frais judiciaires seront supportés par les intimés solidairement entre eux (art. 65 et 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 3 LTF).
L'admission du recours implique une autre répartition des frais devant l'instance inférieure. S'agissant d'apprécier si et dans quelle mesure il se justifie de faire supporter ceux-ci par les intimés, la Cour de céans renoncera à la faculté offerte par l'art 67 LTF (cf. Hansjörg Seiler, Bundesgerichtsgesetz: Bundesgesetz über das Bundesgericht, Berne 2007, n. 5 ad art. 67 LTF) et renverra l'affaire à la Commission cantonale de recours pour qu'elle statue à nouveau sur les frais de la procédure accomplie devant elle.
Le Tribunal fédéral prononce:
1.
Le recours est admis en tant qu'il concerne l'impôt fédéral direct et la décision rendue le 24 janvier 2007 par la Commission cantonale de recours est annulée. La décision sur réclamation du 13 mai 2005 est confirmée.
2.
Le recours est admis en tant qu'il concerne les impôts cantonal et communal et la décision rendue le 24 janvier 2007 par la Commission cantonale de recours est annulée. La décision sur réclamation du 13 mai 2005 est confirmée.
3.
Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge des intimés solidairement entre eux.
4.
La cause est renvoyée à la Commission cantonale de recours en matière fiscale du canton du Valais pour une nouvelle décision sur les frais de la procédure cantonale.
5.
Le présent arrêt est communiqué au Service cantonal des contributions du canton du Valais, au mandataire des intimés, à la Commission cantonale de recours en matière fiscale du canton du Valais et à l'Administration fédérale des contributions, Division juridique de l'impôt fédéral direct.
Lausanne, le 28 mai 2008
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Merkli Kurtoglu-Jolidon