2C_906/2010
{T 0/2}
Arrêt du 31 mai 2012
IIe Cour de droit public
Composition
MM. et Mme les Juges Zünd, Président,
Seiler, Aubry Girardin, Donzallaz et Stadelmann.
Greffier: M. Vianin.
Participants à la procédure
A.X.________,
Mes Nicolas Merlino et Dominique Morand, Oberson Avocats,
recourant,
contre
Service cantonal des contributions du canton du Valais, avenue de la Gare 35, case postale 351, 1951 Sion.
Objet
Liquidation partielle indirecte, impôt fédéral direct et impôt cantonal et communal 2004,
recours contre la décision de la Commission cantonale de recours en matière fiscale du canton du Valais du 24 mars 2010.
Faits:
A.
A.X.________ (ci-après: le contribuable ou le recourant) est membre de l'hoirie de B. et C.X.________. Celle-ci détenait 100 actions de la société anonyme Immeuble D.________ SA, sise à Sion, dont le capital-actions était de 200'000 fr. (200 actions d'une valeur nominale de 1'000 fr.). L'autre moitié du capital-actions était détenue par la société anonyme X.________ SA, également sise à Sion.
La société Immeuble D.________ SA était propriétaire de la parcelle no *** de la commune de Sion.
Par convention de vente d'actions du 22 juin 2004, l'hoirie B. et C.X.________ a cédé à la société anonyme E.________ SA, sise à Saxon, ses actions de la société Immeuble D.________ SA au prix de 1'300'000 fr. (soit 13'000 fr. par action).
Par convention de la même date, la société X.________ SA a de son côté également cédé ses actions de la société précitée à E.________ SA, au prix de 1'250'000 fr. (soit 12'500 fr. par action).
S'agissant du paiement du prix de vente, les deux conventions prévoyaient l'inscription d'une cédule hypothécaire d'un montant de 2'600'000 fr. sur l'immeuble appartenant à la société Immeuble D.________ SA, contre le versement par la banque F.________ de 2'550'000 fr. Ce montant a été utilisé de la manière suivante:
Remboursement du c/c débiteur C.X.________
Fr.
352'560
Paiement du solde du prix de vente à l'hoirie
Fr.
947'440
Paiement à X.________ SA
Fr.
1'250'000
A.X.________ détenait 26 actions de la société Immeuble D.________ SA. Le prix de vente des actions détenues par l'hoirie ayant été fixé à 13'000 fr. par action, la part de A.X.________ se montait à 338'000 fr.
Le 13 juin 2005, A.X.________ a déposé sa déclaration d'impôt pour la période 2004. A titre de revenu de la fortune mobilière, il a indiqué un montant de 522 fr.
Par décision de taxation du 31 août 2005, la Commission d'impôt de district pour la commune de Sion a estimé que la vente des actions de la société Immeuble D.________ SA à E.________ SA réalisait les conditions d'une liquidation partielle indirecte. Elle a ainsi soumis à l'impôt sur le revenu le bénéfice réalisé par le contribuable dans le cadre de cette vente, bénéfice qu'elle a arrêté à 312'000 fr. (soit 338'000 fr. ./. 26'000 fr. correspondant à la valeur nominale des actions cédées). En y ajoutant les 522 fr. indiqués par le contribuable, le revenu de la fortune mobilière se montait à 312'522 fr. Compte tenu des autres revenus et des déductions, le revenu net imposable du contribuable s'élevait à 398'901 fr. pour l'impôt cantonal et communal et à 397'161 fr. pour l'impôt fédéral direct.
B.
A l'encontre de ce prononcé, le contribuable a formé une réclamation, en concluant à ce que le bénéfice réalisé lors de la vente des actions soit soumis à l'impôt sur les gains immobiliers plutôt qu'à l'impôt sur le revenu.
La réclamation a été rejetée par décision de la Commission d'impôt de district du 6 juillet 2006.
Le recours interjeté par le contribuable contre cette décision a été rejeté le 24 mars 2010 par la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours ou l'autorité précédente).
C.
Agissant par la voie du recours en matière de droit public, A.X.________ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision du 24 mars 2010 et de renvoyer le dossier à l'administration fiscale valaisanne pour nouvelle décision dans le sens des considérants. A titre principal, il soutient que la vente des actions de la société Immeuble D.________ SA est, s'agissant d'une société immobilière, uniquement imposable au titre de l'impôt (cantonal et communal) sur les gains immobiliers. A titre subsidiaire, il prétend que les conditions légales et jurisprudentielles de la liquidation partielle indirecte ne sont en l'espèce pas réunies et, à supposer qu'elles le soient, il conteste l'assiette du revenu imposable à ce titre.
L'autorité précédente renonce à se déterminer sur le recours. Le Service cantonal des contributions du canton du Valais ne s'est pas prononcé dans le délai imparti. L'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, propose d'admettre partiellement le recours et de renvoyer le dossier à l'autorité précédente pour complément d'instruction.
Considérant en droit:
1.
1.1 L'arrêt attaqué concerne le revenu imposable de la période fiscale 2004. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'art. 83 LTF n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'art. 82 let. a LTF. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste l'existence de cette voie de droit pour l'impôt fédéral direct. S'agissant de l'impôt cantonal et communal, l'imposition du revenu étant une matière harmonisée aux art. 7 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est aussi réservée par l'art. 73 al. 1 LHID (cf. ATF 134 II 186 ss).
1.2 Déposé en temps utile (cf. art. 100 al. 1 LTF), le recours est dirigé contre une décision finale (cf. art. 90 LTF) rendue par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF; art. 150 al. 2 de la loi fiscale valaisanne du 10 mars 1976 [LF; RS/VS 642.1]). Par ailleurs, il a été interjeté par le contribuable destinataire de la décision attaquée et qui a un intérêt digne de protection à son annulation ou sa modification (cf. art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
1.3 D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la LHID. Selon l'art. 106 al. 2 LTF, en revanche, le Tribunal fédéral n'examine la violation de dispositions de droit cantonal que si ces griefs ont été soulevés et motivés. Il en va de même lorsque les dispositions de la LHID laissent une certaine marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (ATF 134 II 207 consid. 2 p. 209 s.).
1.4 Le Tribunal fédéral statue sur la base des faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - soit arbitrairement (ATF 133 III 393 consid. 7.1 p. 398) - ou en violation du droit au sens de l'art. 95 LTF, auquel cas il peut les rectifier ou les compléter d'office (cf. art. 105 al. 2 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté devant lui, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
I. Impôt fédéral direct
2.
2.1 Aux termes de l'art. 16 LIFD, l'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (al. 1). Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables (al. 3).
Selon l'art. 20 al. 1 LIFD, est imposable le rendement de la fortune mobilière, en particulier les dividendes, les parts de bénéfice, les excédents de liquidation et tous autres avantages appréciables en argent provenant de participations de tout genre (let. c).
En relation avec cette disposition et, auparavant, avec l'art. 21 al. 1 let. c de l'arrêté du Conseil fédéral du 9 décembre 1940 concernant la perception d'un impôt fédéral direct (AIFD; en vigueur jusqu'au 31 décembre 1994), la jurisprudence a développé la théorie de la liquidation partielle indirecte, selon laquelle la vente d'une participation appartenant à la fortune privée est, à certaines conditions, qualifiée non de gain en capital privé non imposable (art. 16 al. 3 LIFD), mais de rendement de participation soumis à l'impôt sur le revenu (art. 20 al. 1 let. c LIFD, art. 21 al. 1 let. c AIFD). Les conditions étaient les suivantes (arrêt 2A.100/2007 du 5 décembre 2008 consid. 5.2, in StE 2009 B 24.4 no 77 et la jurisprudence citée; Robert Danon, Vente et transmission de sociétés de capitaux en droit fiscal suisse, in Droit des sociétés, Mélanges en l'honneur de Roland Ruedin, 2006, p. 403 ss; Yves Noël, in Commentaire romand, Impôt fédéral direct, 2008, nos 115 ss ad art. 20 LIFD; Xavier Oberson, Droit fiscal suisse, 3e éd., 2007, § 7 nos 118 ss; Markus Reich, in Kommentar zum Schweizerischen Steuerrecht I/2a, Bundesgesetz über die direkte Bundessteuer, Art. 1-82, 2e éd., 2008, no 100 ad art. 20 LIFD; Ryser/Rolli, Précis de droit fiscal suisse, 4e éd., 2002, p. 313 ss):
La jurisprudence relative à la liquidation partielle indirecte a subi une évolution portant notamment sur la condition de l'appauvrissement de la société vendue (cf. Danon, op. cit., p. 406 ss; Noël, op. cit., nos 109 ss ad art. 20 LIFD; Oberson, op. cit., p. 117 ss ; voir aussi arrêt 2A.100/2007, précité, consid. 5.3). Alors qu'à l'origine l'appauvrissement supposait un prélèvement effectif de la substance existante, une atteinte indirecte ou vraisemblable à la substance de la société vendue a par la suite été considérée comme suffisante. C'est ainsi que l'existence d'une liquidation partielle indirecte a été admise dans des cas où la société faisant l'objet du transfert avait mis à la disposition de celle qui avait acquis la participation, alors qu'elle disposait de peu de fonds propres, des sûretés en vue de garantir le prêt d'un tiers. La seconde société prélevait la substance de la première en se servant de ses actifs comme sûretés, actifs dont il ne fallait pas compter qu'ils seraient restitués (francs de gages) au vu de ses fonds propres limités. Peu importait du reste que la société qui avait fourni les sûretés ait ou non comptabilisé des provisions pour tenir compte du risque de réalisation (arrêt 2A.555/1996 du 23 avril 1999 consid. 3b, in Archives 69 p. 642, StE 1999 B 24.4 no 53, RDAF 2000 II p. 201). La situation où la société acquérant la participation finançait l'opération indirectement avec les actifs de celle faisant l'objet du transfert, en utilisant ceux-ci comme sûretés aux fins d'obtenir le prêt d'un tiers, devait être traitée de la même manière que si le prix de vente avait été acquitté directement à l'aide des biens de la seconde. Pour apprécier le risque de réalisation des actifs servant de garantie, il convenait de se placer au moment de la vente de la participation, les développements ultérieurs ne devant être pris en considération que s'ils étaient prévisibles à la date en question (arrêt 2A.474/2000 du 22 octobre 2001 consid. 4b, in Archives 72 p. 218, StE 2002 B 24.4 no 63, RDAF 2002 II p. 498).
Dans une troisième phase, le Tribunal fédéral a étendu la liquidation partielle indirecte aux cas où l'acheteur finance l'acquisition à l'aide de la substance future, c'est-à-dire avec les bénéfices (courants) réalisés après la cession par la société rachetée (arrêt 2A.331/2003 du 11 juin 2004, in Archives 73 p. 402, StE 2004 B 24.4 no 70, RF 59/2004 p. 678, RDAF 2004 II p. 360). Cette jurisprudence a fait l'objet de vives critiques (cf. arrêt 2A.100/2007, précité, consid. 5.4), qui ont conduit le législateur à réglementer la liquidation partielle indirecte à l'art. 20a LIFD, disposition introduite par la loi fédérale du 23 juin 2006 sur des modifications urgentes de l'imposition des entreprises (RO 2006 4883), entrée en vigueur le 1er janvier 2007. Les Chambres fédérales se sont écartées du projet du Conseil fédéral, dans l'optique de codifier la pratique et la jurisprudence - notamment cantonales (cf. BO 2006 CE 110, 115, 116, interventions Merz, Frick et David) - antérieures à l'arrêt du 11 juin 2004 précité (BO 2006 CN 843, 847, 850, 853, 858, 1054, interventions Zuppiger, Bührer, Wandfluh, Favre, Merz; BO 2006 CE 539, intervention Schiesser).
2.2 D'après l'art. 20a al. 1 let. a LIFD, est également considéré comme rendement de la fortune mobilière au sens de l'art. 20 al. 1 let. c:
"Le produit de la vente d'une participation d'au moins 20 % au capital-actions ou au capital social d'une société de capitaux ou d'une société coopérative représentant un transfert de la fortune privée à la fortune commerciale d'une autre personne physique ou d'une personne morale, pour autant que de la substance non nécessaire à l'exploitation, existante et susceptible d'être distribuée au sens du droit commercial au moment de la vente, soit distribuée dans les cinq ans avec la participation du vendeur; il en va de même lorsque plusieurs participants procèdent en commun à la vente d'une telle participation ou que plusieurs participations représentant ensemble au moins 20 % sont vendues dans les cinq ans; si de la substance est distribuée, le vendeur est, le cas échéant, imposé ultérieurement en procédure de rappel d'impôt au sens des art. 151, al. 1, 152 et 153".
Il y a participation au sens de l'al. 1 let. a, lorsque le vendeur sait ou devait savoir que des fonds seraient prélevés de la société pour en financer le prix d'achat et qu'ils ne lui seraient pas rendus (art. 20a al. 2 LIFD).
Les conditions de la liquidation partielle indirecte sont ainsi désormais les suivantes (Danon, op. cit., p. 415 ss; Noël, op. cit., no 1 ad art. 20a LIFD; Reich, op. cit., nos 8 ss ad art. 20a LIFD):
Selon l'art. 205b LIFD, intitulé "Modifications urgentes de l'imposition des entreprises; effet rétroactif", l'art. 20a al. 1 let. a s'applique aux taxations non encore exécutoires portant sur les revenus obtenus à partir de l'année fiscale 2001.
2.3 La distribution est l'élément central de la liquidation partielle indirecte au sens de l'art. 20a al. 1 let. a LIFD, car c'est elle qui est constitutive de la liquidation (partielle). La participation du vendeur, telle qu'elle est définie à l'art. 20a al. 2 LIFD, se rapporte à la distribution: elle consiste en sa connaissance réelle ou fictive de celle-ci. En outre, c'est l'objet de la distribution, la substance distribuée, qui constitue l'assiette de l'imposition (cf. BO 2006 CE 116, intervention David: "Es wird nämlich das besteuert, was in diesen fünf Jahren ausgeschüttet wird [...]" ; Oberson, op. cit., § 7 no 133).
En définissant la participation du vendeur comme la connaissance réelle ou fictive de ce que "des fonds seraient prélevés de la société pour en financer le prix d'achat et qu'ils ne lui seraient pas rendus", l'art. 20a al. 2 LIFD donne une définition de la distribution : selon le texte de cette disposition, il s'agit d'un prélèvement de fonds sans restitution. Or, pour qu'il soit question de la restitution des fonds, il faut que ceux-ci aient été préalablement transférés à l'acheteur. En d'autres termes, cela suppose que la distribution soit effective, ce qui ressort également des débats parlementaires. Le Conseil des Etats a en effet préféré la proposition de la majorité de sa Commission de l'économie et des redevances, selon laquelle seule une distribution effective dans les cinq ans est imposable, à la proposition minoritaire qui voulait imposer un "montant à considérer comme un dividende imposable" ("Ersatzdividende") systématiquement lors du transfert, c'est-à-dire indépendamment de toute distribution effective, de tout versement de fonds (BO 2006 CE 112 s., intervention Germann, rapporteur de la Commission). Le Conseil national a suivi sur ce point le Conseil des Etats (cf. BO 2006 CN 843 ss).
S'agissant de la forme que peut prendre la distribution, les parlementaires fédéraux ont évoqué notamment la dissolution ou liquidation de réserves (BO 2006 CE p. 114 s., intervention Frick), le versement d'un dividende - en particulier d'un dividende de substance - et l'octroi d'un prêt (BO 2006 CE p. 115, intervention Forster-Vannini).
2.4 En relation avec l'art. 20a al. 1 let. a LIFD, l'Administration fédérale des contributions a émis la circulaire no 14 du 6 novembre 2007 intitulée "Vente de droits de participation de la fortune privée à la fortune commerciale d'un tiers ('liquidation partielle indirecte')" (publiée in Archives 76 p. 593 ss; disponible sur Internet à l'adresse «www.estv.admin.ch/bundessteuer/dokumentation/00242/00380/index.html?lang=fr [consulté le 4.4.12]»). Il en ressort que les distributions au sens de cette disposition ne comprennent pas uniquement les dividendes versés en vertu d'une décision formelle de l'assemblée générale, mais aussi les distributions dissimulées de bénéfice ainsi que les autres avantages appréciables en argent en faveur de l'acquéreur ou de ses actionnaires. Les avantages appréciables en argent peuvent être octroyés notamment sous la forme de "sûretés de la société visée ou de sociétés associées sous sa même direction pour des prêts de tiers en faveur de l'acquéreur, pour autant que leur mise à contribution paraisse probable et qu'elles entraînent une diminution de la fortune de la société qui les fournit". Des restructurations peuvent éventuellement aussi donner lieu à l'octroi de tels avantages appréciables en argent (ch. 4.5).
S'agissant de la participation du vendeur, au sens de l'art. 20a al. 2 LIFD, elle peut être active et se traduire notamment par la mise à disposition de biens de la société cédée comme garantie du prêt accordé par un tiers à l'acquéreur lors de la vente (ch. 4.7).
2.5 La doctrine est partagée sur le point de savoir à quelles conditions le fait que la société faisant l'objet du transfert met ses biens à la disposition de l'acquéreur comme sûretés constitue une distribution au sens de l'art. 20a al. 1 let. a LIFD.
Selon certains auteurs, il y a distribution lorsque la mise en oeuvre des sûretés, leur réalisation, apparaît comme vraisemblable (Reich, op. cit., no 16 ad art. 20a LIFD; Richner/Frei/Kaufmann/Meuter, Handkommentar zum DBG, 2e éd., 2009, no 45 ad art. 20a LIFD; Madeleine Simonek, Unternehmenssteuerrecht, Entwicklungen 2007, 2008 [cité: Entwicklungen 2007], p. 20), voire très vraisemblable (Madeleine Simonek, Unternehmenssteuerrecht, Entwicklungen 2006, 2007 [cité: Entwicklungen 2006], p. 31 et 112). La vraisemblance de la mise en oeuvre des sûretés doit être examinée en se plaçant au moment de l'octroi du prêt (Jürg Altorfer, Die indirekte Teilliquidation gesetzlich geregelt, L'Expert-comptable suisse 2007 p. 106) ou lors du transfert de la participation (Simonek, Entwicklungen 2007, op. cit., p. 20). Comme en présence d'actes entre sociétés proches, il faut se demander si un tiers placé dans la même situation aurait mis à disposition les sûretés (Richner/Frei/Kaufmann/Meuter, loc. cit., qui se réfèrent à Klöti-Weber/Siegrist/Weber, Kommentar zum Aargauer Steuergesetz, 3e éd., 2009, no 29 ad § 29a; Simonek, Entwicklungen 2006, op. cit., p. 31).
Selon un autre auteur, la constitution de sûretés à l'aide d'actifs de la société cédée n'est en principe pas imposable, car cela ne conduit pas à un transfert des réserves à l'acquéreur. L'opération n'entraîne aucun changement au plan comptable. Il en va différemment lorsque le remboursement du prêt garanti par les sûretés est problématique, de sorte que la mise à contribution des sûretés apparaît "d'emblée claire": des provisions ou des amortissements doivent alors être comptabilisés, ce qui affecte les réserves. La mise à disposition des sûretés est alors imposable (Urs Schenker, Die Besteuerung von Privatpersonen beim Verkauf von Beteiligungen, in Mergers & Acquisitions IX, 2007, p. 205).
Certains auteurs insistent sur le fait que l'art. 20a al. 1 let. a LIFD suppose une distribution effective de la substance (non nécessaire à l'exploitation) de la société cédée. Un appauvrissement indirect ou vraisemblable découlant de la mise à disposition d'actifs à titre de sûretés n'est selon eux pas suffisant (Reto Arnold, Gesetzliche Regelung der indirekten Teilliquidation - Ende gut, alles gut?, RF 62/2007 p. 87 s.; Noël, op. cit., no 3 ad art. 20a LIFD en rel. avec no 112 ad art. 20 LIFD), même si des provisions doivent être constituées en raison de cet engagement (Danon, op. cit., p. 410 ss, 415 s.). Il ne suffit pas que la mise à contribution des sûretés paraisse probable, ni, dans le cas d'un prêt de la société faisant l'objet du transfert à celle qui acquiert la participation, que son remboursement paraisse menacé. La circulaire no 14 a en effet posé la condition supplémentaire - qui ne figurait d'ailleurs pas dans le projet de circulaire - que le fait d'accorder le prêt ou de mettre à disposition des sûretés entraîne "une diminution de la fortune de la société". Cette condition n'est remplie, respectivement, qu'en cas d'amortissement du prêt (dans le même sens : Simonek, Entwicklungen 2007, op. cit., p. 19) - l'amortissement étant définitif - ou de réalisation des sûretés sans que la société qui les a fournies puisse obtenir d'être indemnisée. S'agissant de la mise à disposition de biens comme garantie, l'objet de la distribution et donc de l'imposition dépend du point de savoir si c'est la constitution des sûretés en tant que telle qui pose problème - du moment qu'elle n'aurait pas été consentie par un tiers - ou seulement le montant de la contre-prestation fournie en échange - contre-prestation à apprécier également par comparaison avec ce qui aurait été convenu avec un tiers. Dans le premier cas, ce sont les biens mis à disposition comme sûretés - et réalisés - qui constituent l'objet de la distribution; dans le second, l'avantage appréciable consiste seulement en la mesure de l'insuffisance de la contre-prestation (Brauchli Rohrer/Bussmann/Marbach, Verkauf von Beteiligungsrechten aus dem Privat- in das Geschäftsvermögen eines Dritten [indirekte Teilliquidation], IFF Forum für Steuerrecht 2008, p. 60 ss).
2.6 Il est au demeurant largement admis par la doctrine qu'il y a distribution ou prélèvement de substance imposable lorsque la société faisant l'objet du transfert est ultérieurement - à l'intérieur du délai de cinq ans de l'art. 20a al. 1 let. a LIFD - absorbée par celle qui a acquis la participation (Arnold, op. cit., p. 88; Brauchli Rohrer/Bussmann/ Marbach, op. cit., p. 62; Reich, op. cit., no 16 ad 20a LIFD; Richner/Frei/ Kaufmann/Meuter, op. cit., no 46 ad art. 20a LIFD; Schenker, op. cit., p. 204).
3.
3.1 Le recourant fait valoir principalement que la société Immeuble D.________ SA constitue une société immobilière et qu'en vertu de l'art. 12 al. 2 let. d LHID, le transfert d'une participation - faisant partie de la fortune privée du contribuable - à une telle société est assimilé à une aliénation d'immeuble, de sorte que le gain en résultant doit être soumis à l'impôt cantonal sur les gains immobiliers. Pour des motifs tenant à la sécurité du droit et dans un souci d'harmonisation fiscale, les deux lois étant de même rang, il se justifierait de retenir la même qualification - de gain en capital réalisé lors de l'aliénation d'un élément de la fortune privée - sous l'angle de la LIFD. Le recourant se prévaut dès lors de l'art. 16 al. 3 LIFD, en vertu duquel un tel gain est exonéré de l'impôt sur le revenu.
A titre subsidiaire, pour le cas où le Tribunal de céans devrait estimer que le transfert des actions en cause doit être traité sous l'angle de l'impôt sur le revenu, le recourant fait valoir que les conditions de la liquidation partielle indirecte au sens de l'art. 20a LIFD ne sont pas réunies. A titre plus subsidiaire, à supposer que celles-ci soient réalisées, le recourant conteste l'assiette de l'impôt tel qu'il a été calculé par les autorités précédentes.
3.2 Le litige porte sur l'imposition de la vente des actions en cause au titre de l'impôt fédéral direct. Dès lors qu'il n'existe pas au plan fédéral d'impôt sur les gains immobiliers (cf. art. 128 Cst.), il ne saurait y avoir conflit entre celui-ci et l'impôt fédéral direct. Le problème peut en revanche se poser s'agissant de l'impôt cantonal et communal. Comme indiqué plus loin (consid. 7.4), il n'est toutefois pas nécessaire de se prononcer - à titre préjudiciel - sur l'assujettissement de la vente des actions en question à l'impôt sur les gains immobiliers pour statuer sur l'imposition de celle-ci au titre de l'impôt cantonal et communal sur le revenu. Par conséquent, la question n'a pas non plus à être tranchée, pour des motifs d'harmonisation verticale, s'agissant de l'impôt fédéral direct.
4.
Il convient d'examiner si la vente des actions en cause tombe sous le coup de l'art. 20a LIFD, ce que le recourant conteste à titre subsidiaire.
4.1 Il n'est pas contesté que l'art. 20a al. 1 let. a LIFD est en l'occurrence (rétroactivement) applicable en vertu de l'art. 205b LIFD, puisque le présent litige porte sur le revenu acquis durant la période fiscale 2004, dont la taxation n'est pas encore exécutoire. Il est en outre incontesté que les deux premières conditions posées par l'art. 20a al. 1 let. a LIFD sont en l'espèce réunies. D'une part, en effet, le recourant détenait, avec les autres membres de l'hoirie de B. et C.X.________, une participation de plus de 20% - elle se montait à 50% - dans la société Immeuble D.________ SA, participation faisant partie de sa fortune privée. D'autre part, cette participation a été cédée à la société E.________ SA, passant ainsi dans la fortune commerciale. Le litige porte en revanche sur la réalisation des deux autres conditions de l'art. 20a al. 1 let. a LIFD: celle de la distribution dans les cinq ans suivant la vente de la substance non nécessaire à l'exploitation et celle de la participation du vendeur à l'opération.
4.2 Selon l'inscription au registre du commerce, la société Immeuble D.________ SA a fusionné avec la société E.________ SA le 13 janvier 2010 (date de l'inscription au journal), laquelle l'a absorbée. Elle a été radiée par suite de fusion le 13 janvier 2010. Ces faits ne ressortent pas de la décision attaquée, mais, dès lors qu'ils sont notoires (cf. arrêts 2C_647/2007 du 7 mai 2008 consid. 1.2, in Archives 78 p. 174, RF 63/2008 p. 707; 5C.219/2006 du 16 avril 2007 consid. 3.4), ils peuvent être pris en considération d'office par le Tribunal de céans.
L'absorption de la société ayant fait l'objet du transfert de participation par celle qui a acquis cette dernière constitue en principe un cas de distribution de substance imposable (cf. consid. 2.6 ci-dessus). En l'occurrence, l'absorption a toutefois eu lieu plus de cinq ans après la vente de la participation, conclue le 22 juin 2004. Elle ne saurait par conséquent déclencher l'imposition en vertu de l'art. 20a al. 1 let. a LIFD.
4.3 L'autorité précédente a considéré qu'il y avait eu distribution avec la participation des vendeurs dès lors que ceux-ci avaient consenti, dans la convention de vente d'actions du 22 juin 2004, à ce que l'immeuble de la société Immeuble D.________ SA (parcelle no *** de la commune de Sion) serve à garantir - moyennant l'inscription d'une cédule hypothécaire - le prêt bancaire avec lequel la société E.________ SA financerait l'opération. Elle a soumis à l'impôt le produit de la vente des actions du recourant, sous déduction de la valeur nominale de ces dernières (soit 338'000 fr. ./. 26'000 fr. = 312'000 fr.).
Comme le relèvent certains des auteurs cités plus haut (consid. 2.5), la question de savoir si la mise à disposition de biens comme sûretés garantissant le prêt accordé par un tiers constitue une distribution au sens de l'art. 20a al. 1 let. a LIFD doit être tranchée en se demandant si, au regard de l'ensemble des circonstances, un tiers y aurait consenti. Cette comparaison avec ce qui aurait été convenu entre des personnes indépendantes ("dealing at arm's length") peut faire apparaître la mise à disposition des sûretés en tant que telle comme problématique (un tiers n'y aurait pas consenti, car la "surface financière" de l'emprunteur était insuffisante pour assurer le service de la dette et le risque que les biens servant de garantie doivent être réalisés était trop important) ou seulement la contre-prestation fournie en échange (un tiers aurait accepté de mettre à disposition ses biens comme garantie du prêt, mais il aurait exigé une contre-prestation plus importante). Dans le second cas, il n'y a distribution que dans la mesure de l'insuffisance de la contre-prestation, alors que, dans le premier, c'est la valeur même des biens fournis comme sûretés qui est distribuée. Comme le pensent certains des auteurs cités plus haut, qui insistent sur le fait que celle-ci doit être effective, il n'y a distribution à concurrence de la valeur de ces biens qu'à compter du moment où ladite valeur a été dûment amortie ou aurait dû l'être, la seule probabilité de réalisation des biens en question n'étant pas suffisante.
L'autorité précédente ayant admis l'existence d'une distribution sans procéder à la comparaison qui vient d'être décrite, il convient d'annuler la décision attaquée et de lui renvoyer le dossier pour qu'elle procède de la sorte et statue à nouveau. La Commission de recours tiendra compte notamment du fait - s'il est avéré - que, selon les allégations de l'Administration fédérale des contributions dans sa détermination sur le recours, les intérêts de l'emprunt de E.________ SA ont été payés par la société Immeuble D.________ SA. Il s'agira de déterminer, en examinant les rapports entre ces deux sociétés, par qui ces charges sont en définitive supportées.
Au vu de ce qui précède, il n'y a pas lieu d'examiner la question de l'assiette de l'impôt, que le recourant conteste à titre (plus) subsidiaire.
II. Impôt cantonal et communal
5.
5.1 Intitulé "Principe", l'art. 7 al. 1 LHID dispose que l'impôt sur le revenu a pour objet tous les revenus du contribuable, au nombre desquels figure le rendement de la fortune.
L'art. 7 al. 4 LHID exonère de l'impôt sur le revenu notamment les gains en capital réalisés sur des éléments de la fortune privée du contribuable (let. b). Il réserve l'art. 12 al. 2 let. a et d LHID, dispositions qui ont trait à l'impôt sur les gains immobiliers.
La loi fédérale sur des modifications urgentes de l'imposition des entreprises a introduit l'art. 7a LHID, dont la teneur est identique à celle de l'art. 20a LIFD. Elle a également ajouté l'art. 72f LHID, aux termes duquel les cantons adaptent leur législation à l'art. 7a pour la date de son entrée en vigueur, laquelle a été fixée au 1er janvier 2008 (RO 2006 4885). Les Chambres fédérales ont renoncé à imposer aux cantons une application rétroactive du nouveau droit, afin de tenir compte de la diversité des pratiques cantonales en matière de liquidation partielle indirecte (cf. BO 2006 CN 986, intervention Favre comme rapporteur de la Commission de l'économie et des redevances du Conseil national).
Pour ce qui est du régime antérieur à l'entrée en vigueur de l'art. 7a LHID, selon Reich, l'art. 7 LHID ne limitait guère la marge de manoeuvre des cantons en matière de liquidation partielle indirecte: ceux-ci étaient libres de reprendre à leur compte la jurisprudence du Tribunal fédéral, de se doter d'une législation y relative ou de recourir aux règles sur l'évasion fiscale (Markus Reich, in Kommentar zum Schweizerischen Steuerrecht I/1, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, 2e éd., 2002, no 59 ad art. 7 LHID). Toutefois, lorsqu'un canton choisissait d'appliquer, aussi en matière d'impôt cantonal et communal, les règles jurisprudentielles sur la liquidation partielle indirecte établies pour l'impôt fédéral direct, celles-ci s'imposaient à lui au titre de l'harmonisation et le Tribunal fédéral en examinait librement le respect (cf. arrêt 2A.215/2006 du 29 mai 2007 consid. 7).
5.2 Aux termes de l'art. 12 al. 3 LF, les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables; l'imposition distincte des gains immobiliers est réservée.
Selon l'art. 16 al. 1 LF, le rendement de la fortune mobilière est imposable; il comprend en particulier les dividendes, les parts de bénéfices, les excédents de liquidation et tous autres avantages appréciables en argent provenant de participations de tout genre (let. c).
Une novelle du 8 novembre 2007 a introduit l'art. 16a LF, dont la teneur correspond à celle de l'art. 7a LHID. L'entrée en vigueur de cette disposition a été fixée (rétroactivement) au 1er janvier 2007 (BO no 49/2007).
6.
6.1 Selon l'art. 12 al. 1 LHID, l'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement. Aux termes de l'al. 2, toute aliénation d'immeuble est imposable. Sont assimilés à une aliénation notamment les actes juridiques qui ont les mêmes effets économiques qu'une aliénation sur le pouvoir de disposer d'un immeuble (let. a) et le transfert de participations à des sociétés immobilières qui font partie de la fortune privée du contribuable, dans la mesure où le droit cantonal en prévoit l'imposition (let. d).
La let. d de l'art. 12 al. 2 LHID prévoit la faculté d'assimiler à une aliénation le transfert d'une participation non majoritaire à une telle société, car, si la participation est majoritaire, l'on est en présence d'un acte juridique qui a sur le pouvoir de disposer d'un immeuble les mêmes effets économiques qu'une aliénation, situation qui est déjà visée par la let. a (Bernhard Zwahlen, in Kommentar zum Schweizerischen Steuerrecht I/1, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, no 40 ad art. 12 LHID).
6.2 L'impôt sur les gains immobiliers est régi par les art. 44 ss LF.
Aux termes de l'art. 44 al. 1 LF, l'impôt a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole.
Selon l'art. 45 al. 1 LF, toute aliénation qui opère le transfert de la propriété d'un immeuble donne lieu à imposition. L'art. 45 al. 2 LF assimile à l'aliénation d'un immeuble notamment (let. a):
"les actes juridiques qui ont les mêmes effets économiques sur le pouvoir de disposer d'un immeuble qu'une aliénation selon l'alinéa 1, en particulier la vente d'actions d'une société immobilière".
7.
7.1 En l'occurrence, l'autorité précédente a relevé que la société Immeuble D.________ SA était une société immobilière, de sorte que l'on pouvait à première vue considérer que l'opération devait être traitée, en droit cantonal, uniquement sous l'angle de l'impôt sur les gains immobiliers des art. 44 ss LF. Un examen plus approfondi conduisait cependant à la qualifier de liquidation partielle indirecte et à la soumettre à l'impôt sur le revenu: appliquer les art. 44 ss LF sur la base d'une interprétation littérale reviendrait "à favoriser une situation d'évasion fiscale, en ne soumettant pas à une imposition adéquate un dividende dissimulé"; les règles jurisprudentielles sur la liquidation partielle indirecte constitueraient une "lex specialis" par rapport à celles régissant l'impôt sur les gains immobiliers et l'emporteraient sur elles; le principe de l'harmonisation verticale voudrait que l'on adopte la même solution pour l'impôt cantonal et communal que pour l'impôt fédéral direct.
7.2 A titre principal, le recourant se plaint d'une violation de l'art. 12 al. 2 let. d LHID, disposition qui serait applicable dès lors que le droit cantonal prévoit à l'art. 45 al. 2 LF l'imposition du transfert de participations à des sociétés immobilières faisant partie de la fortune privée du contribuable. La société Immeuble D.________ SA constituant une telle société immobilière, le transfert de la participation dans celle-ci devrait être soumis, en vertu de l'art. 12 al. 2 let. d LHID, à l'impôt sur les gains immobiliers et ne serait par conséquent pas imposable au titre de l'impôt sur le revenu. Pour le surplus, les motifs retenus par l'autorité précédente pour écarter les dispositions régissant l'impôt sur les gains immobiliers au profit de celles sur l'imposition du revenu ne résisteraient pas à l'examen.
7.3 Le présent litige porte sur l'imposition du revenu du recourant durant la période fiscale 2004 et non sur l'impôt sur les gains immobiliers réalisés durant cette période. Il ne se justifie de se prononcer - à titre préjudiciel - sur la soumission de la vente des actions en cause à l'impôt sur les gains immobiliers (et, dans ce cadre, sur le respect de l'art. 12 al. 2 let. d LHID) que si, comme le recourant l'affirme en substance, cette imposition peut se substituer à celle qui est en cause en l'espèce.
7.4 Dans le système de la LHID, l'impôt sur les gains immobiliers constitue un impôt spécial sur le revenu, qui se substitue à l'impôt ordinaire sur le revenu et le bénéfice dans la mesure de son objet (arrêt 2C_747/2010 du 7 octobre 2011 consid. 5.2, in Archives 80 p. 609, RF 67/2012 p. 48, StE 2012 B 44.13.7 no 25 et les références à Zuppinger/ Böckli/Locher/Reich, Steuerharmonisierung, 1984, p. 123 s.; Zwahlen, op. cit., no 6 ad art. 12 LHID). Les deux impôts étant similaires, ils ne sauraient frapper le même objet (voir, dans le contexte de l'interdiction de la double imposition intercantonale, Oberson, op. cit., § 20 no 9; cf. aussi art. 12 al. 4 LHID s'agissant des gains réalisés lors de l'aliénation d'immeubles faisant partie de la fortune commerciale).
Les gains en capital sur des éléments de la fortune privée sont exonérés de l'impôt sur le revenu par une disposition expresse qui réserve l'impôt sur les gains immobiliers pour le cas où ces gains proviennent d'un acte juridique assimilé à une aliénation d'immeuble (cf. art. 7 al. 4 let. b en relation avec l'art. 12 al. 2 let. a et d LHID).
Dans un tel système, un état de fait relève soit de l'impôt sur le revenu, soit de l'impôt sur les gains immobiliers: l'on examine dans un premier temps si l'on a affaire à un rendement de fortune - soumis à l'impôt sur le revenu en vertu de l'art. 7 al. 1 LHID - ou à un gain en capital - exonéré selon l'art. 7 al. 4 let. b LHID - (sur cette distinction, voir Reich, op. cit., nos 46 ss ad art. 7 LHID). Alors que, dans le premier cas, seul l'impôt sur le revenu est perçu, dans le second, seule l'imposition sur les gains immobiliers entre en ligne de compte, pour autant qu'il s'agisse d'un gain en capital réalisé lors de l'aliénation d'un immeuble ou lors d'un acte juridique assimilé à une telle aliénation. Les deux impôts ne peuvent ainsi entrer en conflit, puisque l'objet de l'impôt sur les gains immobiliers est exonéré de toute imposition au titre du revenu.
Ce qui précède vaut aussi lorsqu'il s'agit du transfert d'une participation à une société immobilière et que l'opération est de nature à être assimilée à une aliénation d'immeuble: si le transfert en question réunit les conditions d'une liquidation partielle indirecte et est, de ce fait, qualifié de rendement de fortune imposable au titre du revenu, il ne saurait être traité comme un gain en capital soumis à l'impôt sur les gains immobiliers. La qualification de rendement de fortune exclut celle de gain en capital.
En l'espèce, il convient ainsi d'examiner si le transfert litigieux réalise les conditions d'une liquidation partielle indirecte. Si tel est le cas, il est imposable (uniquement) au titre du revenu comme rendement de fortune. C'est seulement dans le cas contraire que la question de son imposition comme gain immobilier se pose et qu'il y a lieu de déterminer si la société Immeuble D.________ SA constitue une société immobilière - comme l'a admis l'autorité précédente - et si le transfert des actions représente une opération assimilée à une aliénation d'immeuble. Dans ces conditions, point n'est besoin de se prononcer à titre préjudiciel sur l'assujettissement de la vente des actions en cause à l'impôt sur les gains immobiliers en vertu de la let. d de l'art. 12 al. 2 LHID - dont le recourant se prévaut - ou d'une autre norme telle que la let. a de la même disposition. Il suffit de relever que c'est à bon droit que l'autorité précédente a examiné le traitement fiscal de la vente des actions en question sous l'angle des règles régissant l'imposition du revenu.
8.
8.1 A titre subsidiaire - pour le cas où le Tribunal de céans devrait estimer que la vente des actions en cause n'est pas soumise à l'impôt sur les gains immobiliers -, le recourant fait valoir que celle-ci doit être traitée fiscalement à la lumière de la jurisprudence et de la pratique en vigueur au moment de la transaction, par analogie avec la "solution pragmatique" développée dans l'arrêt 2A.100/2007, précité, pour l'impôt fédéral direct. La vente des actions étant intervenue le 22 juin 2004, soit seulement quelques jours après l'arrêt du Tribunal fédéral du 11 juin 2004, alors que cette jurisprudence n'était pas encore connue, il y aurait lieu d'appliquer la pratique antérieure. Celle-ci ayant été "intégralement reprise" à l'art. 20a LIFD, la solution serait, pour l'impôt cantonal et communal, la même que pour l'impôt fédéral direct, à savoir que la condition de l'appauvrissement ne serait pas réalisée. A supposer qu'elle le soit, le recourant conteste en outre l'assiette de l'impôt.
8.2 Après avoir relevé que l'art. 16a LF n'était pas applicable en l'espèce, l'autorité précédente a considéré que, dans une autre affaire (jugée le 18 novembre 2009) à laquelle cette disposition ne s'appliquait pas encore non plus, elle avait confirmé l'existence d'une liquidation partielle indirecte en se fondant sur "l'ancienne jurisprudence du Tribunal fédéral développée avant l'entrée en vigueur de l'article 16a LF". Dans la présente cause, une fois parvenue à la conclusion que le transfert des actions n'était pas soumis à l'impôt sur les gains immobiliers, mais imposable au titre du revenu - comme liquidation partielle indirecte -, elle a estimé sans autres développements que le recours devait être rejeté également pour ce qui est de l'impôt cantonal et communal, en renvoyant implicitement aux considérants de sa décision relatifs à l'impôt fédéral direct. L'autorité précédente est donc partie de l'idée qu'en l'occurrence l'impôt cantonal et communal obéit à des règles similaires à celles qui régissent l'impôt fédéral direct, pour lequel elle a appliqué l'art. 20a LIFD. On peut en déduire qu'elle s'est basée pour l'impôt cantonal et communal sur la jurisprudence fédérale antérieure à l'arrêt 2A.331/2003 du 11 juin 2004, que le législateur a codifiée en adoptant l'art. 20a LIFD (cf. consid. 2.1 ci-dessus) et dont le recourant se prévaut lui aussi.
8.3 Du moment que les autorités cantonales ont choisi d'appliquer, aussi en matière d'impôt cantonal et communal, la jurisprudence fédérale en question, celle-ci s'impose à elles au titre de l'harmonisation et le Tribunal de céans en examine librement le respect (cf. consid. 5.1 ci-dessus).
Selon la jurisprudence (antérieure à l'arrêt 2A.331/2003) citée plus haut (consid. 2.1), le fait que la société rachetée mette à la disposition de celle qui acquiert la participation des sûretés servant à garantir le prêt d'un tiers, pouvait, à certaines conditions, constituer une liquidation partielle indirecte. Référence était faite à la jurisprudence sur les prestations appréciables en argent dans les rapports entre la société et son actionnaire (cf. arrêt 2A.474/2000, précité, consid. 4b). Par conséquent, l'approche consistant à effectuer une comparaison avec ce qui aurait été convenu entre des personnes indépendantes vaut en l'occurrence aussi bien pour l'impôt cantonal et communal que pour l'impôt fédéral direct (voir à ce sujet consid. 4.3 ci-dessus). Il se justifie donc, aussi pour ce qui est de l'impôt cantonal et communal, d'annuler la décision attaquée et de renvoyer la cause à l'autorité précédente pour qu'elle procède à cette comparaison et statue à nouveau. En outre - et comme cela a également été évoqué en relation avec l'impôt fédéral direct -, au vu de l'issue du litige, il n'y a pas lieu d'examiner la question de l'assiette de l'impôt, que le recourant conteste à titre (plus) subsidiaire.
9.
Vu ce qui précède, le recours doit être admis, la décision attaquée annulée et la cause renvoyée à la Commission de recours pour qu'elle statue à nouveau dans le sens des considérants du présent arrêt.
Les frais de justice sont mis à la charge du canton du Valais, dont l'intérêt patrimonial est en cause (cf. art. 66 al. 1 et 4 LTF). Le canton du Valais doit en outre verser au recourant une indemnité à titre de dépens (cf. art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis. La décision de la Commission cantonale de recours en matière fiscale du canton du Valais du 24 mars 2010 est annulée et la cause renvoyée à cette autorité pour qu'elle statue à nouveau dans le sens des considérants du présent arrêt.
2.
Des frais judiciaires de 5'000 fr. sont mis à la charge du canton du Valais.
3.
Le canton du Valais versera au recourant une indemnité de 5'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires du recourant, à la Commission cantonale de recours en matière fiscale et au Service cantonal des contributions du canton du Valais, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 31 mai 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin