2C_607/2017

2C_607/2017

Arrêt du 10 décembre 2018

IIe Cour de droit public

Composition
MM. et Mme les Juges fédéraux Seiler, Président, Aubry Girardin, Donzallaz, Stadelmann et Haag.
Greffier: M. Tissot-Daguette.

Participants à la procédure
X.________,
représenté par Me Grégoire Piller, avocat,
recourant,

contre

Administration fiscale cantonale de la République et canton de Genève.

Objet
Impôts cantonal et communal 2003 à 2007; impôt fédéral direct 2003 et 2004; responsabilité solidaire de l'administrateur,

recours contre les arrêts de la Chambre administrative de la Cour de justice de la République et canton de Genève des 20 novembre 2012 (ATA/796/2012) et 30 mai 2017 (ATA/619/2017).

Faits :

A.

Le 25 mars 2004, X.________ et A.________ ont conclu une " convention de vente d'actions et cession de créance ". Par cet acte, le second vendait, respectivement cédait au premier la totalité du capital-actions de la société B.________ SA (ci-après: la société), ainsi qu'une créance de 4'563'283 fr. 30 envers cette société, moyennant le paiement d'un montant de 6'199'990 fr. 29. La société était propriétaire de quinze parcelles comprenant douze immeubles d'habitation. Le prix des actions a été arrêté à 1'636'706 fr. 99 en tenant compte d'actifs immobiliers estimés à 37'626'988 fr. 40, d'actifs circulants d'un montant de 1'099'701 fr. 54, d'une dette hypothécaire de 31'989'136 fr. 60, de la créance précitée de 4'563'283 fr. 30, de 180'000 fr. d'impôts dus, ainsi que de frais généraux d'un montant de 357'563 fr. 05. La convention prévoyait que A.________ disposait d'un droit d'emption valable jusqu'au 31 juillet 2004 sur quatre immeubles spécifiques, pour leur valeur estimée selon un décompte de reprise au 1 er janvier 2004. Le 30 mars 2004, X.________ a été inscrit comme administrateur unique de la société au registre du commerce de la République et canton de Genève.
Entre le 25 mars 2004 et le 20 octobre 2004, la société a vendu treize des quinze immeubles dont elle était propriétaire. Le droit d'emption en faveur de A.________ avait en particulier été accordé sur les deux immeubles restant. Le 20 octobre 2004, X.________ et A.________ ont conclu une " convention de vente d'actions ", par laquelle X.________ vendait à A.________ la totalité du capital-actions de la société pour un montant de 800'000 francs. Celle-ci présentait un compte débiteur actionnaire de 4'922'866 fr. 13 et possédait encore les immeubles restant, l'un d'une valeur de 5'374'767 fr. 80 à Gland (VD), l'autre de 90'000 fr. à Genève. Le même jour, l'assemblée générale extraordinaire des actionnaires de la société a pris acte de la démission de X.________ de son mandat d'administrateur et lui a donné décharge avec effet immédiat. Un nouvel administrateur a été désigné, ces changements ayant été inscrits au registre du commerce le 25 octobre 2004. En outre, représentée par son nouvel administrateur, la société a vendu l'immeuble de Gland à la société C.________ SA, représentée par son administrateur unique, également avocat de A.________ pour un montant de 3'070'000 francs. Sur cette transaction, la société a enregistré une perte de 2'304'767 fr. 80. Elle a vendu l'immeuble de Genève le 26 août 2005 pour un prix de 120'000 francs.
Les 15 et 23 décembre 2005, l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) a taxé la société pour les impôts cantonal et communal (ci-après: ICC) et l'impôt fédéral direct (ci-après: IFD) de l'année fiscale 2003. Le 15 février 2006, elle a ouvert des procédures en rappel d'impôt et en soustraction d'impôt pour l'ICC et l'IFD 2000 à 2004 à l'encontre de la société. Le 10 mars 2007, l'administrateur de cette société a retourné à l'Administration fiscale le bilan et le compte de résultat au 31 décembre 2006, ainsi que le rapport de l'organe de révision du 26 février 2007 et le rapport du conseil d'administration du 1 er mars 2007. Il a proposé le dépôt de bilan de la société, faute pour celle-ci de pouvoir s'acquitter de ses dettes fiscales. Les 12 et 19 novembre 2007, l'Administration fiscale a taxé la société pour l'ICC et l'IFD de l'année 2005, respectivement 2006. Le 23 novembre 2007, elle a adressé des bordereaux rectificatifs pour l'année 2004. Selon le procès-verbal de taxation, le montant de 10'990'811 fr. non déclaré lié à la vente de la parcelle de Gland (réévaluation de la valeur de la parcelle à 8'430'000 fr.), à un actif fictif de 1'000'000 fr., à l'annonce d'un loyer insuffisant de 211'000 fr. et à des frais non justifiés pour 1'349'811 fr. devait être ajouté au résultat net de 3'040'526 fr. annoncé par la société pour l'exercice 2004. Celle-ci a formé une réclamation contre ces bordereaux le 30 novembre 2007 en admettant la reprise relative à l'actif fictif, mais en contestant le reste, hormis 92'492 fr. 95 de reprise de frais. Cette réclamation a été rejetée par décision de l'Administration fiscale du 2 mars 2009. Précédemment, le 30 novembre 2007, l'Administration fiscale a clos les procédures de rappel d'impôt ICC et IFD 2000 à 2003, émettant notamment des bordereaux de rappel d'impôt de 34'467 fr. 50, plus intérêts pour l'IFD 2003 et de 76'323 fr. plus intérêts pour l'ICC 2003. Le 21 juillet 2008, l'Administration fiscale a notifié à la société des bordereaux de taxation définitifs pour la période fiscale 2007.
Le 4 novembre 2009, le Tribunal de première instance de la République et canton de Genève a ordonné la dissolution et la liquidation de la société, celle-ci n'ayant plus d'administrateur ni d'adresse depuis le 7 décembre 2007, respectivement le 17 novembre 2008. Le 24 novembre 2009, la faillite a été suspendue faute d'actifs. La société a été radiée d'office du registre du commerce le 14 juin 2010.

B.

Par décision du 25 août 2009, confirmée sur réclamation le 17 novembre 2009, l'Administration fiscale a tenu X.________ solidairement responsable du paiement des créances consécutives à la liquidation de la société, à concurrence du produit de la liquidation. Le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance), statuant sur recours de X.________ du 16 décembre 2009, a admis celui-ci le 11 avril 2011. L'Administration cantonale a contesté ce prononcé auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) le 9 mai 2011. Par arrêt du 20 novembre 2012 (ATA/796/2012), la Cour de justice a admis le recours, retenant que X.________ devait être considéré comme étant solidairement responsable du paiement des créances d'impôt consécutives à la liquidation de la société. Elle a renvoyé la cause à l'Administration fiscale, afin que celle-ci détermine le produit net de la liquidation de cette société. Par arrêt du 8 janvier 2013 (2C_1282/2012 et 2C_1283/2012), le Tribunal fédéral a déclaré irrecevable un recours de X.________ contre l'arrêt de la Cour de justice du 20 novembre 2012, faute de décision finale, respectivement de préjudice irréparable pour l'intéressé.

C.

Le 31 juillet 2013, l'Administration fiscale a arrêté le produit net de la liquidation de la société à 14'508'397 francs. Ce montant se composait de 3'517'586 fr. de fonds propres de la société au 31 décembre 2004 et des 10'990'811 fr. de reprises. Les créances d'impôt s'élevant à 3'846'832 fr. 70 et n'excédant pas le produit net de la liquidation, X.________ devait s'en acquitter entièrement. Celui-ci a formé une réclamation contre cette décision le 2 septembre 2013. Le 31 août 2015, l'Administration fiscale a maintenu sa décision du 31 juillet 2013. Le Tribunal administratif de première instance, statuant sur recours du 30 septembre 2015, a rejeté celui-ci dans un jugement du 5 septembre 2016. X.________ a contesté ce prononcé auprès de la Cour de justice le 7 octobre 2016. Par arrêt du 30 mai 2017 (ATA/619/2017), la Cour de justice a rejeté le recours de X.________.

Agissant par la voie du recours en matière de droit public, X.________ demande en substance au Tribunal fédéral, sous suite de frais et dépens, d'annuler les arrêts de la Cour de justice des 30 mai 2017 et 20 novembre 2012 et de le libérer de toute responsabilité solidaire quant au paiement des créances d'impôt, frais et intérêts impayés de la société; subsidiairement d'annuler les arrêts précités et de le libérer de toute responsabilité solidaire pour les montants d'impôt, frais et intérêts impayés de la société afférant aux périodes subséquentes au 20 octobre 2004, sous déduction d'une provision pour impôt de 1'736'040 francs; plus subsidiairement d'annuler les arrêts précités et de le reconnaître comme solidairement responsable, mais en se fondant sur un produit de la liquidation qui ne prendrait pas en compte l'ajustement de 10'990'811 fr., au contraire de la provision de 1'736'040 francs. Il se plaint de violations du droit fédéral et du droit fiscal cantonal.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale et l'Administration fédérale des contributions concluent toutes deux au rejet du recours. Dans des observations finales, X.________ a confirmé ses conclusions.

Considérant en droit :

1.

L'arrêt du 30 mai 2017 constitue une décision finale au sens de l'art. 90 LTF. Il est donc sujet à recours devant le Tribunal fédéral. L'arrêt du 20 novembre 2012 représente quant à lui une décision incidente (arrêt 2C_1282/2012 du 8 janvier 2013 consid. 3.1) et peut être attaqué avec la décision finale, conformément à l'art. 93 al. 3 LTF (cf. ATF 142 III 653 consid. 1.1 p. 654). Le fait que le recours contre cet arrêt ait été déclaré irrecevable par le Tribunal fédéral n'empêche pas le recourant de se plaindre de la décision attaquée dans le cadre du présent recours contre la décision finale (ATF 131 III 87 consid. 3.3 p. 90; arrêt 2C_653/2014 du 15 janvier 2015 consid. 1).
Pour le surplus, le recours est dirigé contre des arrêts rendus en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF) ne tombant pas sous le coup de l'une des exceptions prévues à l'art. 83 LTF. Il est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts (cf. art. 146 LIFD [RS 642.11], art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; ATF 134 II 186 consid. 1.3 p. 188 s.). Le recours a en outre été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le destinataire les arrêts attaqués qui a qualité pour recourir au sens de l'art. 89 al. 1 LTF, de sorte qu'il convient d'entrer en matière.

2.

Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. art. 105 al. 1 LTF; ATF 142 I 155 consid. 4.4.3 p. 156). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'art. 106 al. 2 LTF. La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 142 II 355 consid. 6 p. 358). Les critiques portant sur l'état de fait ou sur l'appréciation des preuves, invoquées de manière appellatoire, sont irrecevables (ATF 137 II 353 consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (art. 99 al. 1 LTF).

3.

3.1. Dans son premier arrêt contesté du 20 novembre 2012, la Cour de justice a examiné le point de savoir si le recourant répondait de l'ICC et de l'IFD dus par la société auprès de laquelle il était administrateur, c'est-à-dire, selon les montants (intérêts réservés) et les remarques qui ressortent de l'arrêt précité: pour l'ICC 2003, 88'140 fr. (solde du bordereau du 23 décembre 2005); pour l'ICC 2004, 1'923'951 fr. 20 (sommation du 30 janvier 2008); pour l'ICC 2005, 16'333 fr. 15 (sommation du 30 janvier 2008); pour l'ICC 2006, 10'670 fr. 95 (sommation du 31 octobre 2008); pour l'ICC 2007, 1'315 fr. 15 (bordereau du 21 juillet 2008); pour l'IFD 2003, 36'669 fr. 25 (bordereau du 30 novembre 2007); pour l'IFD 2004, 1'192'660 fr. 50 (bordereau du 23 novembre 2007); soit un total de 3'269'739 fr. 20. Elle a jugé qu'en tant qu'administrateur d'une société ayant aliéné tous les immeubles de son patrimoine, le recourant avait procédé à une liquidation de fait de cette société. En outre, durant l'administration du recourant, le compte actionnaire de la société était passé d'un solde créancier de 4'563'283 fr. 32 (au 25 mars 2004) à un solde débiteur de 4'922'866 fr. 13 (au 30 septembre 2004). L'autorité précédente a laissé ouverte la question de savoir si le recourant devait également répondre des actes de liquidation postérieurs à sa démission en tant qu'administrateur (vente des deux derniers immeubles). Elle a ensuite jugé que le recourant ne pouvait pas invoquer la clause libératoire pour éviter de répondre du paiement des montants d'impôt encore dus. Elle a constaté que, lorsqu'il était encore administrateur de la société, le recourant avait certes provisionné un montant de 1'736'040 fr. pour le paiement des impôts (soit 29,8% du bénéfice net après impôt figurant dans les comptes au 30 septembre 2004). La Cour de justice a toutefois considéré qu'au vu des bordereaux rectificatifs (à l'exclusion de la reprise sur la vente de l'avant-dernier immeuble, le recourant n'étant plus administrateur à ce moment-là), la provision ne représentait finalement plus que 25,436% du bénéfice net après impôt et n'était pas suffisante pour couvrir la charge fiscale prévisible au 30 septembre 2004. Elle a ajouté qu'il ne fallait pas perdre de vue que le recourant avait débité le compte courant actionnaire, qui était passé d'un solde créancier de 4'563'283 fr. 32 à un solde débiteur de 4'922'866 fr. 13.
Dans le second arrêt entrepris du 30 mai 2017, la Cour de justice, rappelant que la responsabilité du recourant ne pouvait plus être contestée devant elle, a examiné le point de savoir s'il fallait prendre en compte ou non la reprise de 8'430'000 fr. sur l'immeuble de Gland et la provision pour impôt de 1'736'040 fr. dans la fixation du produit de la liquidation de la société, ainsi que la date à retenir pour fixer ce produit. Elle a ainsi en premier lieu considéré que le bilan au 31 décembre 2004 constituait le document permettant d'établir la valeur de la société au moment du fait déclencheur de sa liquidation. Elle a ensuite jugé qu'il n'était pas pertinent de savoir s'il fallait prendre en compte la reprise sur la vente de l'immeuble de Gland, dès lors que le montant du produit de la liquidation sur lequel répondait le recourant était de toute façon plus élevé que les impôts dus, que cette reprise soit prise en compte ou non. Finalement, l'autorité précédente a encore jugé que la provision pour impôt effectuée par le recourant alors qu'il était administrateur de la société n'avait pas à être déduite du produit de liquidation de celle-ci, puisque cette provision était insuffisante pour couvrir la charge fiscale de la société au 30 septembre 2004 et que les actifs disponibles, c'est-à-dire 348'858 fr. 65 au 31 décembre 2004, ne permettaient largement pas d'assurer la réalisation de cette provision. En outre, malgré la création de la provision, la société ne s'était pas acquittée de sa dette fiscale pour l'exercice 2004.

3.2. Le recourant est quant à lui d'avis qu'il ne saurait être tenu pour responsable solidaire du paiement de la dette fiscale de la société, dès lors que, lorsque l'Administration fiscale a rendu sa décision le 25 août 2009, la société n'avait pas encore été formellement liquidée et que, par conséquent, elle restait seule débitrice de cette dette. Il se plaint également de ce que la Cour de justice n'a pas admis la libération de sa responsabilité en raison de son comportement diligent. Quant au produit de la liquidation, il estime qu'il ne doit pas être fixé au 31 décembre 2004 et qu'il faut en déduire le montant de la provision pour impôt, ainsi que l'ajustement lié à la parcelle de Gland. Pour le surplus, il est encore d'avis que le principe de proportionnalité commandait que l'autorité ne commence pas par le rechercher lui.

3.3. Le litige porte donc sur le point de savoir si le recourant répond solidairement des montants d'IFD 2003 et 2004 et d'ICC 2003 à 2007 impayés de la société, le cas échéant à concurrence de quel montant. Dans un deuxième temps et si nécessaire, il conviendra de déterminer si le recourant peut prouver avoir pris tous les soins commandés par les circonstances pour être libéré de sa responsabilité.

I. Impôt fédéral direct

4.

La présente cause concerne deux dettes d'IFD, l'une de 36'669 fr. 25 pour l'année fiscale 2003, l'autre de 1'192'660 fr. 50 pour l'année fiscale 2004. Compte tenu du temps écoulé depuis les taxations de ces années fiscales, il convient en premier lieu de déterminer si les deux dettes précitées ne sont pas prescrites, étant rappelé que la prescription est une question de droit matériel que le Tribunal fédéral examine d'office (ATF 138 II 169 consid. 3.2 p. 171; arrêt 2C_1078/2016 du 18 décembre 2017 consid. 3.1).

4.1. Aux termes de l'art. 121 al. 1 LIFD, les créances d'impôt se prescrivent par cinq ans à compter de l'entrée en force de la taxation. L'art. 121 al. 2 LIFD prévoit les cas de suspension et d'interruption de la prescription (relative) et renvoie à ce propos à l'art. 120 al. 2 et 3 LIFD. Ainsi, selon l'art. 120 al. 3 let. a LIFD, un nouveau délai de prescription commence à courir lorsque l'autorité prend une mesure tendant à fixer ou faire valoir la créance d'impôt et en informe le contribuable ou une personne solidairement responsable avec lui du paiement de l'impôt. Pour sa part, l'art. 121 al. 3 LIFD prévoit les cas de prescription absolue. Selon cette dernière disposition, la prescription est acquise dans tous les cas dix ans à compter de la fin de l'année au cours de laquelle la taxation est entrée en force. S'agissant des procédures de rappel d'impôt, l'art. 153 LIFD en prévoit la procédure. L'art. 153 al. 3 LIFD dispose en particulier que les dispositions concernant les principes généraux de procédure, les procédures de taxation et de recours s'appliquent par analogie. Cette disposition renvoie donc notamment à l'art. 121 LIFD qui traite de la prescription du droit de percevoir l'impôt (cf. MASMEJEAN-FEY/VIANNIN, in Commentaire romand, Impôt fédéral direct, 2 e éd. 2017, n. 6 ad art. 121 LIFD; MARTIN E. LOOSER, in Bundesgesetz über die direkte Bundessteuer, Zweifel/Beusch [éd.], 3 e éd. 2017, n. 4 ad art. 153 LIFD; PETER LOCHER, Kommentar zum Bundesgesetz über die direkte Bundessteuer, III. Teil, 2015, n. 11 ad art. 153 LIFD). L'entrée en force (formelle) d'une décision de taxation intervient en particulier le jour à partir duquel celle-ci ne peut plus être contestée au moyen d'un recours ordinaire (ATF 139 II 404 consid. 8.1 p. 431; MASMEJEAN-FEY/VIANNIN, op. cit., n. 4 ad art. 121 LIFD; MICHAEL BEUSCH, in Bundesgesetz über die direkte Bundesseteur, Zweifel/Beusch [éd.], 3 e éd. 2017, n. 4 ad art. 121 LIFD; PETER LOCHER, op. cit., n. 6 ad art. 121 LIFD).

4.2.

4.2.1. En l'occurrence, s'agissant tout d'abord de l'impôt fédéral direct de l'année fiscale 2003, la société a été taxée le 23 décembre 2005. Le montant d'impôt figurant dans cette décision de taxation ne ressort pas de l'arrêt entrepris. Il ne semble d'ailleurs pas faire partie de l'objet de la contestation. En tout état de cause, cela n'a pas d'incidence, car une décision non contestée rendue à cette date entraîne obligatoirement une entrée en force durant l'année 2006, à l'écoulement du délai de réclamation de 30 jours (art. 132 al. 1 LIFD). Ainsi, en application de l'art. 121 al. 3 LIFD, la prescription absolue du droit de percevoir la dette fiscale de l'année 2003 est intervenue au 31 décembre 2016. Cette dette ne peut donc plus être réclamée par l'Administration fiscale. Toutefois, par un bordereau de rappel d'impôt du 30 novembre 2007, celle-ci a demandé un montant supplémentaire d'impôt de 34'467 fr. 50, plus intérêts de retard de 2'231 fr. 75, pour cette même année 2003. La date à laquelle la décision de rappel d'impôt a été notifiée à la société ne ressort ni de l'arrêt entrepris, ni du dossier de la cause (cf. art. 105 al. 2 LTF). On peut toutefois retenir qu'au plus tôt, la société contribuable a reçu cette décision le jour où celle-ci a été rendue, soit le 30 novembre 2007. Une notification à cette date implique que le délai de recours est arrivé à échéance le 2 janvier 2008 (le 30 décembre 2007 étant un dimanche et les 31 décembre 2007 et 1 er janvier 2008 des jours fériés officiels dans le canton de Genève; cf. art. 133 al. 1 LIFD; art. 1 de la loi genevoise du 3 novembre 1951 sur les jours fériés [LJF/GE; RSGE J 1 45]; cf. également CASANOVA/DUBEY, in Commentaire romand, Impôt fédéral direct, 2 e éd. 2017, n. 8 ad art. 133 LIFD). La décision de rappel d'impôt n'ayant pas été contestée par la société, elle est donc entrée en force le lendemain du dernier jour du délai de recours, c'est-à-dire le 3 janvier 2008 au plus tôt. Une notification postérieure au 30 novembre 2007 conduit également à une entrée en force de la décision en 2008. Ainsi, en application de l'art. 121 al. 3 LIFD, on doit conclure que la prescription absolue du droit de percevoir cette dette de 34'467 fr. 50 (plus intérêts) sera acquise au 31 décembre 2018.
Il conviendrait encore d'examiner le point de savoir si un cas de prescription relative est intervenu. Les parties n'ont pas invoqué ce moyen et la jurisprudence ne se prononce pas clairement sur la question de savoir si la prescription relative doit également être examinée d'office (cf. ATF 138 II 169 consid. 3.2 p. 171 qui se réfère à des dispositions concernant la prescription absolue). Ce point peut toutefois demeurer indécis puisque cela n'a pas d'incidence sur l'issue de la cause, dès lors que, même en examinant d'office la question de la prescription relative, on devrait constater que celle-ci n'est pas acquise. Par décision du 25 août 2009, l'Administration fiscale s'est en effet adressée au recourant en 2009, personne qu'elle considérait comme solidairement responsable du paiement de la dette fiscale (cf. art. 120 al. 3 let. a LIFD, par renvoi de l'art. 121 al. 2 LIFD). Or, cette décision tenant le recourant comme solidairement responsable a fait courir un nouveau délai de prescription (relative), celle-ci ayant été suspendue depuis lors (art. 120 al. 2 LIFD, par renvoi de l'art. 121 al. 2 LIFD).

4.2.2. Quant à la dette d'IFD de la société pour l'année fiscale 2004, l'Administration fiscale lui a adressé un bordereau de 1'192'660 fr. 50 daté du 23 novembre 2007. La date à laquelle la société a réceptionné cette décision ne ressort pas non plus de l'arrêt entrepris. Cela n'est cependant pas déterminant, puisque la société a formé une réclamation contre ce bordereau le 30 novembre 2007. Le 2 mars 2009, l'Administration fiscale a rejeté la réclamation. Faute d'avoir été contestée par la société, cette décision sur réclamation est entrée en force durant l'année 2009, si bien que la prescription absolue du droit de percevoir cette dette ne sera acquise que le 31 décembre 2019. S'agissant de la prescription relative, il peut être renvoyé à ce qui a été développé ci-dessus en relation avec la dette de l'année 2003 (cf. consid. 4.2.1 i.f.).

4.3. Sur le vu de ce qui précède, les montants d'IFD réclamés au recourant par l'Administration fiscale ne sont pas encore prescrits à ce jour et il convient donc d'examiner si les conditions de l'art. 55 LIFD sont réunies.

5.

A teneur de l'art. 55 al. 1 LIFD, lorsque prend fin l'assujettissement d'une personne morale, les personnes chargées de son administration et de sa liquidation répondent solidairement des impôts qu'elle doit, jusqu'à concurrence du produit de la liquidation ou, si la personne morale transfère son siège ou le lieu de son administration effective à l'étranger, jusqu'à concurrence de la fortune nette de la personne morale. Elles sont libérées de toute responsabilité si elles prouvent qu'elles ont pris tous les soins commandés par les circonstances. Cette disposition s'inspire de l'art. 15 al. 1 de la loi du 13 octobre 1965 sur l'impôt anticipé (LIA; RS 642.21; arrêt 2C_472/2015 du 14 septembre 2016 consid. 3, in StE 2016 B 71.5 n. 3, Archives 84 p. 214; HUNZIKER/MAYER-KNOBEL, in Bundesgesetz über die direkte Bundessteuer, Zweifel/Beusch [éd.], 3 e éd. 2017, n. 1 ad art. 55 LIFD; PASCHOUD/GANI, in Commentaire romand, Impôt fédéral direct, 2 e éd. 2017, n. 5 ad art. 55 LIFD; ROBERT DANON, La responsabilité fiscale solidaire des organes en cas de liquidation d'une société de capitaux, in Quelques actions en responsabilité, 2008, n. 40; XAVIER OBERSON, La responsabilité fiscale des organes dirigeants de sociétés anonymes, SJ 2006 II p. 293, 303; PETER LOCHER, Kommentar zum Bundesgesetz über die direkte Bundessteuer, II. Teil, 2004, n. 5 ad art. 55 LIFD; Message du Conseil fédéral du 25 mai 1983 concernant les lois fédérales sur l'harmonisation des impôts directs des cantons et des communes ainsi que sur l'impôt fédéral, FF 1983 III 1, p. 198).

5.1. L'art. 55 al. 1 LIFD prévoit donc en premier lieu la responsabilité solidaire des personnes chargées de l'administration d'une personne morale. Cela comprend les membres du conseil d'administration de sociétés de capitaux ou de coopératives, les gérants de sociétés à responsabilité limitée, les membres de la direction d'associations, ainsi que les organes des fondations, mais également les organes de fait. Cette disposition prévoit en outre la responsabilité solidaire des personnes chargées de la liquidation, c'est-à-dire celles qui sont instituées par la loi (cf. art. 740, 770, 821a et 913 CO) et également celles qui sont chargées, sous quelque forme que ce soit, de la liquidation ou qui exercent une influence effective sur la liquidation (liquidateurs de fait, ATF 115 Ib 274 consid. 14c p. 283 s.; arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.1, in StE 2016 B 71.5 n. 3, Archives 84 p. 214; PETER LOCHER, op. cit., n. 8 s. ad art. 55 LIFD; THOMAS A. MÜLLER, Die solidarische Mithaftung im Bundessteuerrecht, thèse Berne 1999, p. 155 s.; THOMAS MEISTER, in Bundesgesetz über die Verrechnungssteuer, Zweifel/Beusch/Bauer-Balmelli [éd.], 2 e éd. 2012, n. 13 ss ad art. 15 LIA).

5.2. L'impôt anticipé connaît, en plus des cas de liquidation formelle, les cas de liquidation de fait. Selon une pratique établie, outre les cas de liquidation formelle en application des dispositions du droit des obligations, une société peut également être liquidée lorsqu'elle abandonne ses actifs. Dans ce dernier cas de figure, la société vend ou utilise ses actifs, sans réinvestir le produit, mais en le distribuant, généralement à ses actionnaires. Il est question d'une liquidation de fait lorsque certains actifs sont retirés de la société, mais également lorsque des actifs subsistent dans la société (par exemple des liquidités ou des créances envers des actionnaires), mais que la substance économique en est retirée (ATF 115 Ib 274 consid. 9c et 10a p. 280; arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.3.1 et les références citées). Selon la jurisprudence, la personne chargée de la liquidation au sens de l'art. 15 al. 1 LIA répond également solidairement de la dette fiscale de la société lorsque celle-ci a fait l'objet d'une liquidation de fait (ATF 115 Ib 274 consid. 14b p. 283; arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.3.1 et les références citées). Le point est discuté en doctrine de savoir si la liquidation de fait suffit pour créer un cas de responsabilité solidaire des personnes chargées de l'administration ou de la liquidation des personnes morales en matière d'impôt fédéral direct (dans ce sens: THOMAS A. MÜLLER, op. cit., p. 155; PETER LOCHER, op. cit., n. 13 ad art. 55 LIFD; BÉGUIN/STOYANOV, La créance fiscale, in Les procédures en droit fiscal, 3 e éd. 2015, p 872; semble être d'un avis contraire: ROBERT DANON, op. cit., n. 45, cf. également, en relation avec la réglementation équivalente en matière de taxe sur la valeur ajoutée: SUZANNE GANTENBEIN, in Loi fédérale régissant la taxe sur la valeur ajoutée, Zweifel et al. [éd.], 2015, n. 24 ad art. 15 LTVA). Le Tribunal fédéral ne s'est jamais prononcé sur cette question. Il l'a d'ailleurs expressément laissée ouverte dans son arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.3.1.
En l'espèce, le 4 novembre 2009, le Tribunal de première instance compétent a ordonné la dissolution de la société et sa liquidation en application de l'art. 731b CO. Le 24 novembre 2009, la procédure de faillite a été suspendue faute d'actifs. La société a été radiée d'office du registre du commerce le 14 juin 2010. Par conséquent, dans la mesure où le recourant n'était plus administrateur de la société le jour où celle-ci a formellement été liquidée, qu'il n'en était plus actionnaire et qu'il n'en était pas non plus le liquidateur, il est nécessaire d'examiner la question de l'application de l'art. 55 LIFD aux cas de liquidation de fait. En premier lieu, il ne faut pas perdre de vue qu'en adoptant cette dernière disposition, le législateur a expressément fait référence à l'art. 15 al. 1 LIA, pour lequel la jurisprudence a déjà depuis longtemps admis qu'une liquidation de fait était suffisante. Ainsi, comme l'a déjà jugé le Tribunal fédéral en citant l'art. 933 al. 2 CO, la liquidation existe indépendamment de son inscription au registre du commerce, laquelle n'a qu'un effet déclaratif (arrêt du 31 mai 1974, in Archives 44 p. 314 consid. 4). En outre, il ne serait pas opportun de s'en tenir uniquement aux cas de liquidation formelle, dans la mesure où le produit de la liquidation peut tout à fait être sciemment réduit par des mesures tendant à vider la société de sa substance (cf. PETER LOCHER, op. cit., n. 13 ad art. 55 LIFD; THOMAS A. MÜLLER, op. cit., p. 155) et ainsi à limiter le montant à concurrence duquel répondent l'administrateur et le liquidateur. Une telle hypothèse n'étant manifestement pas voulue par le législateur, il convient donc, avec la majorité de la doctrine, d'admettre que les cas de liquidation de fait sont également concernés par l'art. 55 LIFD, à l'instar de ce qui vaut pour l'art. 15 LIA.

5.3. La responsabilité solidaire est limitée au montant du produit de la liquidation (art. 55 al. 1 LIFD). Celui-ci correspond à la fortune globale (" Gesamtvermögen ") au début de la liquidation, diminuée des dettes de la société et des frais de liquidation (cf. arrêts 2C_472/2015 du 14 septembre 2016 consid. 3.3, in StE 2016 B 71.5 n. 3, Archives 84 p. 214; 2C_806/2013 du 24 mars 2014 consid. 3.5.1, in Archives 82 p. 741; 2C_868/2010 du 19 avril 2011 consid. 4.1, in RF 66/2011 p. 686, RDAF 2012 II 152). Dans l'arrêt 2C_472/2015 du 14 septembre 2016, le Tribunal fédéral a examiné le point de savoir comment devait être calculé le produit de la liquidation lorsque la société avait fait l'objet d'une liquidation de fait (arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.3). Il a retenu que la jurisprudence développée en matière d'impôt anticipé quant à la détermination du produit de la liquidation lors d'une liquidation de fait devait être reprise en matière d'impôt fédéral direct (arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.3.2 et les références citées). La liquidation de fait d'une société débute en principe lorsque les actifs sociaux sont réalisés et que les actionnaires, respectivement des personnes qui leur sont proches perçoivent le produit de ces réalisations (arrêts 2C_472/2015 du 14 septembre 2016 consid. 3.3.2; 2C_806/2013 du 24 mars 2014 consid. 3.3, in Archives 82 p. 741; 2C_695/2009 du 3 février 2010 consid. 2.1, in RF 65/2010 p. 579). Est déterminant le fait que, selon les circonstances, l'acte de disposition effectué par la société ne constitue pas une transaction commerciale ordinaire, mais peut être considéré comme une opération tendant à vider la société de sa substance (arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.3.3 et les références citées). Ainsi, le simple abandon d'actifs ne suffit pas à lui seul pour admettre une liquidation de fait. Il faut en plus qu'une distribution systématique de ces actifs entre les participants à la société ait débuté. En outre, il n'est pas nécessaire que tous les actifs soient soustraits à la société. Celle-ci peut également être liquidée de fait lorsqu'il lui reste des actifs, mais que sa substance économique lui est retirée (cf. arrêt 2C_499/2011 du 9 juillet 2012 consid. 5.2, in RDAF 2012 II 450; MARKUS REICH, Steuerrecht, 2 e éd. 2012, n. 136 ad § 13).

Pour déterminer l'éventuel caractère d'investissement des prestations, respectivement le fait que la prestation litigieuse est justifiée par l'usage commercial, l'administration fiscale peut généralement se fonder sur les comptes annuels signés (bilan, compte de résultats) de la société en cause concernant la période fiscale. En l'absence de comptabilité, un relevé des recettes et des dépenses, l'état de la fortune ainsi que d'éventuels prélèvements et apports privés concernant la période fiscale peuvent également être déterminants (art. 125 al. 2 LIFD). De cette manière, les autorités fiscales peuvent s'assurer que seules des raisons commerciales, et non les étroites relations personnelles et économiques entre la société et le bénéficiaire de la prestation, ont conduit à la prestation insolite. Quiconque effectue des paiements qui ne sont pas justifiés par des documents doit en supporter les conséquences, c'est-à-dire s'attendre à ce que ces versements soient qualifiés de prestations appréciables en argent (ATF 119 Ib 431 consid. 2c p. 435; arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.3.3; 2C_557/2010 du 4 novembre 2010 consid. 2.3, in RF 66/2011 p. 62; 2C_502/2008 du 18 décembre 2008 consid. 3.3, in RF 64/2009 p. 588).

5.3.1. En l'occurrence, on peut rappeler que la dissolution de la société a été ordonnée le 4 novembre 2009 et la procédure de faillite a été suspendue faute d'actifs le 24 novembre 2009. La société a été radiée d'office du registre du commerce le 14 juin 2010. Les constatations de la Cour de justice permettent néanmoins de conclure que la société était en fait déjà liquidée avant ces différentes dates. En effet, durant la période fiscale 2004, elle a vendu pratiquement l'entier des actifs qu'elle possédait. Le dernier immeuble, vendu en 2005 pour 120'000 fr., ne représentait qu'une part minime des actifs immobiliers estimés à 37'626'988 fr. 40. Selon la décision de rappel d'impôt pour l'année 2004, un montant de 10'990'811 fr. lié à la vente de la parcelle de Gland (réévaluation de la valeur de la parcelle à 8'430'000 fr.), un actif fictif de 1'000'000 fr., l'annonce d'un loyer insuffisant de 211'000 fr. et des frais non justifiés d'un montant de 1'349'811 fr. devaient être ajoutés au résultat net de 3'040'526 fr. annoncé par la société pour l'exercice 2004. En outre, il ressort de l'arrêt entrepris qu'au 31 décembre 2005, la société n'avait plus aucun actif immobilisé et un actif circulant de 4'520'555 fr., dont 4'317'164 fr. représentant le compte courant actionnaire. L'exercice a été clos par une perte de 47'030 fr. 95. Au 31 décembre 2006, la société n'avait plus aucun actif immobilisé et un actif circulant de 4'339'610 fr., dont 4'317'164 fr. représentait le compte courant actionnaire. L'exercice a été clos par une perte de 1'203'219 fr. 35. On peut donc constater, à l'instar de l'autorité précédente, que le processus de liquidation de la société a démarré en mars 2004, lors de la prise de fonction du recourant en tant qu'administrateur et la vente des actifs immobiliers de la société. A posteriori, la vente des premiers immeubles constitue en effet un point de non-retour dans la liquidation de la société, le recourant ayant vendu en un peu moins de sept mois la presque totalité des actifs immobiliers et ainsi retiré la substance économique de la société. En ce sens, le recourant a eu une influence effective sur la liquidation de fait de la société. Cette liquidation a d'ailleurs continué malgré le changement d'administrateur, celui-ci ayant vendu les deux derniers immeubles en 2004 et en 2005.

5.3.2. Comme on l'a vu précédemment, la responsabilité est limitée au produit de la liquidation (art. 55 al. 1 LIFD). C'est l'entier du patrimoine de la société au début de la liquidation, c'est-à-dire au moment où les actifs de la société sont vendus et que les actionnaires, respectivement les personnes qui leur sont proches perçoivent le produit des ventes (cf. consid. 5.3 ci-dessus), qui est déterminant pour fixer le produit de la liquidation. Si celui-ci n'était pas déterminé de cette manière, il ne resterait plus de substrat dans la société sur lequel répondre (consid. 5.2 ci-dessus). Le patrimoine global au début de la liquidation, diminué des dettes de la société et des frais de liquidation, constitue donc le produit de la liquidation. S'agissant des actifs, c'est l'état au début de la liquidation de fait qui est déterminant (PETER LOCHER, op. cit., n. 16 ad art. 55 LIFD). Les actifs qui ne sont pas vendus, mais qui sont cédés aux membres de la société, doivent être pris en compte à leur valeur vénale dans la détermination du produit de la liquidation (cf. arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.3.4 et les références citées). Puisque, lors d'une liquidation de fait, il n'existe en principe pas de bilan de liquidation, la détermination de la valeur au début de la liquidation doit obligatoirement intervenir sur la base du dernier bilan produit avant la survenance de la liquidation de fait. En outre, les positions du bilan qui ne seraient pas précises doivent être déterminées par appréciation, étant relevé que le Tribunal fédéral est lié par l'appréciation effectuée par l'autorité précédente, lorsque cette appréciation est fondée sur un état de fait établi de manière correcte et complète et qu'elle prend en compte l'ensemble des éléments déterminants (arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.3.4 et les références citées).
Dans l'arrêt entrepris, la Cour de justice n'a pas véritablement remis en cause le calcul du produit de la liquidation effectué par l'Administration fiscale dans sa décision du 31 juillet 2013. Celle-ci l'a fixé à 14'508'397 fr., retenant des fonds propres de 3'517'586 fr. au 31 décembre 2004, c'est-à-dire, selon elle, la différence entre la valeur vénale des actifs et le montant des dettes de la société, ainsi que 10'990'811 fr. d'ajustements liés à la valeur des actifs vendus en-dessous de leur valeur vénale. La Cour de justice a uniquement soulevé la question de la prise en compte du montant de 8'430'300 fr. relatif à la vente de l'immeuble de Gland dans le produit de la liquidation, mais l'a laissée ouverte, dès lors qu'en tenant ou non compte de ce montant, le produit de la liquidation restait supérieur au montant d'impôt dû (en l'occurrence 3'846'832 fr. 70). La Cour de justice a donc jugé qu'il fallait se fonder sur le bilan au 31 décembre 2004 pour déterminer le produit de la liquidation (consid. 5 i.f. de l'arrêt entrepris du 30 mai 2017). Compte tenu de la jurisprudence, c'est obligatoirement la situation au début de la liquidation qui est déterminante pour fixer le produit de la liquidation, c'est-à-dire en l'espèce la situation avant la vente des premiers immeubles par le recourant. C'est donc sur le dernier bilan produit avant mars 2004, soit le bilan au 31 décembre 2003, qu'il convient de se baser, ce que la Cour de justice n'a pas fait. Ainsi, en prenant en compte le montant de 10'990'811 fr. d'ajustements, constaté dans une décision de rappel d'impôt entrée en force, et en l'ajoutant aux fonds propres restant à la fin de l'année durant laquelle la liquidation a commencé, l'autorité précédente n'a pas respecté la jurisprudence relative au calcul du produit de la liquidation. Il convient par conséquent d'annuler l'arrêt entrepris sur ce point et de renvoyer la cause à l'autorité précédente pour qu'elle procède conformément au droit.

5.4. Le recourant estime qu'il n'a pas à répondre de l'entier de la dette fiscale des années 2003 à 2007 (en l'occurrence uniquement 2003 et 2004 pour l'IFD), n'ayant été administrateur de la société que durant quelques mois en 2004.

5.4.1. Au contraire de l'art. 15 LIA, qui dispose expressément à son al. 2 que les personnes désignées à l'al. 1 ne répondent que des créances d'impôt, intérêts et frais qui prennent naissance, que l'autorité fait valoir ou qui échoient pendant leur gestion, l'art. 55 LIFD ne prévoit aucune limitation temporelle de ce type. Une telle absence de limitation, même si elle n'est pas expliquée (THOMAS A. MÜLLER, op. cit., p. 156 s.), semble voulue par le législateur, qui, dans son message, ne renvoie qu'à l'art. 15 al. 1 LIA et pas à l'art. 15 al. 2 LIA (cf. FF 1983 III 1 p. 198). Comme l'admet la doctrine majoritaire, la personne chargée de l'administration ou de la liquidation répond donc de tous les impôts dus par la société avant son entrée en fonction (cf. PASCHOUD/GANI, op. cit., n. 13 ad art. 55 LIFD; RICHNER/FREI/ KAUFMANN/MEUTER, Handkommentar zum DBG, 3 e éd. 2016, n. 8 ad art. 55 LIFD; PETER LOCHER, op. cit., n. 17 ad art. 55 LIFD; BÉGUIN/ STOYANOV, op. cit., p 879), charge à cette personne de prouver qu'elle a pris tous les soins commandés par les circonstances pour éviter de devoir s'en acquitter (cf. consid. 5.5 ci-dessous; ROBERT DANON, op. cit., n. 42; XAVIER OBERSON, op. cit., p. 304 s.). Une telle responsabilité se comprend dans la mesure où l'organe en cause avait la possibilité d'acquitter les impôts encore impayés issus d'une période antérieure à son entrée en fonction. En revanche, une responsabilité pour des dettes fiscales nées postérieurement à la fin de l'activité au sein de la société n'est possible que si une disposition claire dans une loi au sens formel le permet. En tout état de cause, une responsabilité pour des dettes fiscales nées postérieurement à la fin de l'activité dans la société semble déjà exclue par la simple existence de la possibilité de se libérer de toute responsabilité au sens de l'art. 55 al. 1 i.f. LIFD (cf. consid. 5.5 ci-dessous). Même en prenant toutes les mesures possibles, l'organe en cause ne pourra jamais éviter que de telles dettes fiscales restent impayées (cf. également en relation avec la responsabilité découlant de l'art. 52 LAVS, ATF 134 V 401 consid. 5.1 p. 402; 126 V 61 consid. 4a p. 61 et les références citées).

5.4.2. Sur le vu de ce qui précède, le recourant ne saurait être tenu responsable du paiement des dettes fiscales nées après la fin de ses activités en tant que liquidateur de fait, c'est-à-dire après le 20 octobre 2004. En effet, dès cette date, il n'avait plus aucune influence sur l'activité de la société, ayant laissé son poste d'administrateur à un tiers et vendu l'entier des actions qu'il détenait. Il répond donc de la dette fiscale pour l'année 2003, soit 34'467 fr. 50 plus intérêts de retard. Quant à la dette pour l'année fiscale 2004, on sait que celle-ci s'élève à 1'192'660 fr. 50. Cependant, à l'exception de la vente de l'immeuble de Gland, dont on sait qu'elle est intervenue après que le recourant a démissionné de son poste d'administrateur de la société, les faits ressortant de l'arrêt entrepris ne permettent pas de savoir quels actes ayant conduit au rappel d'impôt sont intervenus avant le 20 octobre 2004. Par conséquent, il convient d'admettre le recours en tant qu'il concerne la responsabilité du recourant pour le paiement de l'IFD de l'année 2004 de la société et de renvoyer la cause à l'autorité précédente pour qu'elle examine quels actes (actif fictif à Prilly, loyer vaudois insuffisant et frais non justifiés) sont issus de la période antérieure au 20 octobre 2004.

5.5. Il reste encore à examiner si le recourant peut prétendre à être libéré de toute responsabilité. La responsabilité des liquidateurs est une responsabilité de garantie (arrêts 2C_472/2015 du 14 septembre 2016 consid. 3.4; 2C_408/2012 du 25 septembre 2012 consid. 5; 2C_868/2010 du 19 avril 2011 consid. 5.1 et les références citées; XAVIER OBERSON, op. cit., p. 294). Elle cesse si le responsable prouve avoir pris tous les soins commandés par les circonstances (art. 55 al. 1 i.f. LIFD).

5.5.1. La preuve libératoire prévue par la LIFD est formulée de manière plus large qu'en matière d'impôt anticipé ou de TVA (cf. art. 15 al. 2 LIA et 15 al. 2 LTVA, qui prévoient que les personnes responsables doivent faire tout ce qui pouvait être raisonnablement exigé d'elles pour permettre la détermination et l'exécution de la créance fiscale); elle s'oriente bien plus vers les formulations analogues du droit privé, comme par exemple celle de l'art. 55 CO (arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.4.1; THOMAS A. MÜLLER, op. cit., p. 158; PETER LOCHER, op. cit., n. 16 ad art. 55 LIFD; RICHNER/FREI/KAUFMANN/MEUTER, op. cit., n. 18 ad art. 55 LIFD). Le Tribunal fédéral a jugé qu'il convenait d'interpréter de manière moins restrictive la preuve libératoire prévue par l'art. 55 LIFD que celle contenue à l'art. 15 al. 2 LIA (arrêt 2C_472/2015 du 14 septembre 2016 consid. 3.4.1 et les références citées).

5.5.2. Le recourant estime avoir pris tous les soins commandés par les circonstances en prévoyant dans les comptes une provision pour impôt de 1'736'040 fr. et en confiant à l'organe de révision le contrôle de ceux-ci. Il semble en outre estimer ne devoir aucun montant d'impôt car, selon lui, il s'agit d'un " fait sur lequel (il) ne pouvait avoir connaissance ".
Une provision sert à comptabiliser, durant l'exercice commercial, une dépense ou une perte effective ou en tous cas probable comportant un élément d'incertitude quant à son montant et qui ne se réalise financièrement que lors d'un exercice commercial postérieur (ATF 141 II 83 consid. 5.1 p. 87 et les références citées). Le Tribunal fédéral a en outre jugé que, dans le système postnumerando, pour chaque cas de reprise de bénéfice fondé sur l'art. 58 al. 1 let. b ou c LIFD, il convient d'augmenter la provision pour les impôts qui en découlent, puisque ceux-ci constituent une charge justifiée par l'usage commercial (cf. art. 59 al. 1 let. a LIFD). Il a par ailleurs considéré que les motifs pour lesquels le contribuable n'a pas tenu compte de la provision dans le bilan et le fait de savoir si la reprise était prévisible ne sont pas pertinents (ATF 141 II 83 consid. 5.5 p. 89 s.). Il a aussi admis une correction du bilan, dès lors que le fait de provisionner des impôts faisait partie des principes impératifs de la tenue du bilan (ATF 141 II 83 consid. 5.3 p. 89).
En l'occurrence, lorsque le recourant était administrateur de la société en 2004, il a constitué une provision pour impôt de 1'736'040 francs. Puisque les procédures en rappel d'impôt des années 2003 et 2004 n'ont été ouvertes que le 15 février 2006 par l'Administration fiscale, on doit partir du principe, sur le vu de la jurisprudence qui précède, que la provision pour impôt était prévue pour le paiement des impôts avant reprise de l'année 2004. Cependant, rien dans l'arrêt entrepris ne permet de déterminer si, pour cette année, une première procédure de taxation ordinaire a eu lieu, avant la procédure de rappel d'impôt ouverte en février 2006, ni si l'éventuelle dette fiscale issue de cette procédure a été acquittée par la société, éventuellement grâce à la provision pour impôt constituée par le recourant. Il convient donc également d'admettre le recours sur ce point et de renvoyer la cause à l'autorité précédente, afin qu'elle détermine l'existence et, le cas échéant, le montant de la dette fiscale de l'année 2004 issue de la procédure d'impôt ordinaire pour cette année. Dans l'éventualité où cette provision n'a pas servi à acquitter une dette fiscale découlant de la procédure de taxation ordinaire pour l'année 2004, l'autorité précédente déduira le montant de la provision de la dette issue de la procédure de rappel introduite le 15 février 2006. La constitution d'une provision pour impôt doit en effet être considérée comme étant une mesure visant à réduire la responsabilité du recourant, ce d'autant plus que si la société ne s'est finalement pas acquittée des impôts de l'année 2004, celui-ci ne peut pas en être tenu responsable, ayant démissionné de son poste d'administrateur avant la fin de cette année et n'ayant de ce fait plus eu aucune activité de liquidateur de fait dès ce moment.

5.6. Le recourant fait encore valoir qu'en cas de pluralité de responsables, l'autorité fiscale ne peut agir indifféremment contre chaque personne solidairement responsable, mais doit prendre en considération la faute des personnes concernées.
Dans sa jurisprudence rendue en matière d'impôt anticipé (ATF 115 Ib 274 consid. 19a p. 290), le Tribunal fédéral a rappelé que c'est à l'Administration fédérale des contributions qu'il revenait de prélever l'impôt anticipé et de déterminer le cercle des personnes qui répondaient solidairement du paiement de cet impôt. Il a en outre considéré qu'un débiteur solidaire ne pouvait en principe pas se plaindre de ce que le créancier ne s'adressait qu'à lui pour le recouvrement de la dette, dès lors qu'il n'en répondait pas à titre subsidiaire, mais au même titre et pour les mêmes raisons que les éventuels autres débiteurs solidaires, chargés de la liquidation (il en va d'ailleurs de même en matière des responsabilité fondée sur l'art. 52 LAVS, ATF 119 V 86 consid. 5a p. 87). Dans l'arrêt précité, le Tribunal fédéral a cependant reconnu que la question pouvait se poser de savoir si le choix de l'Administration fédérale des contributions de s'adresser à un débiteur solidaire plutôt qu'à un autre était opportun (cf. BÉGUIN/STOYANOV, op. cit., p 861). Traitant, sous l'empire de l'OJ (RO 1969 787), d'un recours de droit administratif (cf. art. 97 ss OJ) contre une décision rendue en première instance relative à la fixation d'une contribution publique ou d'une indemnité de droit public (cf. art. 104 let. c ch. 1 OJ), le Tribunal fédéral pouvait examiner la question de l'opportunité de la décision (ou de la décision sur opposition). En l'occurrence, la question du choix du débiteur solidaire par l'administration, qu'il s'agisse d'impôt anticipé ou d'impôt fédéral direct, est une question d'opportunité (et pas de proportionnalité comme le fait valoir le recourant), au contraire de l'obligation légale prévue par l'art. 759 al. 1 CO, disposition réglant expressément la mesure dans laquelle chaque responsable répond du dommage. Or, la LTF, au contraire de l'OJ, ne permet pas au Tribunal fédéral de traiter cette question. Pour cette raison, il n'y a pas à examiner plus avant le grief du recourant. Celui-ci ne fait au demeurant pas valoir une application arbitraire du droit de procédure cantonal par la Cour de justice sur ce point.

5.7. Sur le vu des considérants qui précèdent, le recours, en tant qu'il porte sur la responsabilité solidaire du recourant quant au paiement de la dette d'impôt fédéral direct de la société pour l'année 2004, doit être admis et la cause renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recours en matière d'IFD est rejeté pour le surplus.

II. Impôts cantonal et communal

6.

La présente cause concerne cinq dettes d'ICC. Une dette de 88'140 fr. pour l'année 2003, une dette de 1'923'951 fr. 20 pour l'année 2004, une dette de 16'333 fr. 15 pour l'année 2005, une dette de 10'670 fr. 95 pour l'année 2006 et une dette de 1'314 fr. 15 pour l'année 2007. Dès lors que l'art. 8 al. 1 de la loi genevoise du 23 septembre 1994 sur l'imposition des personnes morales (LIPM/GE; RSGE D 3 15) a une teneur identique à celle de l'art. 55 al. 1 LIFD et que la prescription du droit de percevoir les impôts cantonal et communal est une matière harmonisée (cf. art. 47 al. 2 LHID; arrêt 2C_1078/2016 du 18 décembre 2017 consid. 3.1 et les références citées), il peut être renvoyé, s'agissant de l'ICC, à la motivation développée en matière d'IFD (cf. arrêt 2C_472/2015 du 14 septembre 2016 consid. 4).

7.

Le recourant ayant cessé d'administrer la société durant l'année 2004 et ainsi de procéder à sa liquidation de fait, on doit en premier lieu retenir qu'il ne saurait être tenu responsable de l'absence de paiement des dettes fiscales des années 2005 à 2007 (cf. consid. 5.4 ci-dessus). Son recours doit donc être admis sur ce point. S'agissant des années 2003 et 2004, il convient tout d'abord d'examiner si ces deux dettes ne sont pas prescrites (cf. consid. 4 ci-dessus).

7.1. Aux termes de l'art. 47 al. 2 LHID, les créances d'impôt se prescrivent par cinq ans à compter de l'entrée en force de la taxation; en cas de suspension ou d'interruption de la prescription, celle-ci est acquise dans tous les cas dix ans après la fin de l'année au cours de laquelle la taxation est entrée en force. Cette disposition, tirée du titre 5 de la LHID, est applicable au canton de Genève, dès lors que, selon l'art. 72 al. 1 LHID, les cantons adaptent leur législation aux dispositions des titres 2 à 6 dans les huit ans qui suivent l'entrée en vigueur de la LHID, soit jusqu'au 31 décembre 2000 (cf. arrêt 2C_653/2014 du 15 janvier 2015 consid. 4.4). Par conséquent, même si les dispositions cantonales ne semblent rien prévoir quant à la prescription du droit de percevoir l'impôt (une telle disposition ayant été abrogée par le législateur genevois; cf. ancien art. 23 de la loi genevoise du 4 octobre 2001 de procédure fiscale [LPFisc/GE; RSGE D 3 17]), l'art. 47 al. 2 LHID est directement applicable (art. 72 al. 2 LHID). Celui-ci ayant une teneur identique à celle de l'art. 121 LIFD, il peut être renvoyé au considérant traitant de cette disposition (cf. consid. 4.1 ci-dessus).

7.2. Pour l'année fiscale 2003, la société a été taxée le 23 décembre 2005. Ici également, comme pour l'IFD, l'arrêt entrepris ne se prononce pas sur le montant de la dette fiscale. Toutefois, il mentionne que les impôts demeurés impayés par la société pour cette année fiscale sont de 88'140 fr. et représentent le solde du bordereau du 23 décembre 2005 (cf. consid. 18b de l'arrêt du 20 novembre 2012 et 26 de celui du 30 mai 2017). Or, ce bordereau n'a pas été contesté et est donc entré en force au plus tard durant le mois de janvier 2006 (cf. art. 48 al. 1 LHID; art. 39 al. 1 LPFisc/GE). La dette fiscale s'est donc prescrite à la fin de l'année 2016 (cf. art. 47 al. 2 LHID), si bien que le recourant ne saurait être tenu de s'en acquitter. La société a également fait l'objet d'un rappel d'impôt d'ICC pour l'année 2003. Au vu des faits ressortant de l'arrêt entrepris (cf. consid. 18b de l'arrêt du 20 novembre 2012 et 26 de celui du 30 mai 2017), on doit cependant retenir que la dette issue de cette taxation complémentaire a été éteinte et que le recourant ne saurait être recherché pour s'en acquitter.
Pour l'année fiscale 2004, le bordereau du 23 novembre 2007 a fait l'objet d'une réclamation le 30 novembre 2007. La décision sur réclamation ayant été rendue le 2 mars 2009 et n'ayant pas été contestée par la société, la prescription absolue du droit de percevoir la dette fiscale interviendra à la fin de l'année 2019 (cf. consid. 4.2.1 ci-dessus). S'agissant de la prescription relative, on peut renvoyer à ce qui a été dit en matière d'IFD (cf. consid. 4.2.1 i.f. ci-dessus).

7.3. En résumé, on retiendra que seule la dette d'impôts cantonal et communal de l'année 2004, pour un montant de 1'923'951 fr. 20 plus intérêts, peut encore être perçues par l'Administration fiscale. Au même titre que pour la dette d'IFD 2004, il convient toutefois d'admettre le recours en matière d'ICC et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants qui précèdent (cf. consid. 5.3.2, 5.4.2 et 5.5.2 ci-dessus).

8.

Partant, le recours est partiellement admis en tant qu'il concerne l'impôt fédéral direct et admis s'agissant des impôts cantonal et communal. Les arrêts entrepris sont annulés en tant qu'ils ont trait à la responsabilité solidaire du recourant pour le paiement des dettes fiscales d'IFD 2004, ainsi que d'ICC 2003, 2004, 2005, 2006 et 2007 de la société. S'agissant de la responsabilité du recourant pour le paiement des dettes d'ICC et d'IFD 2004 de la société, la cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus. Le recourant obtenant partiellement gain de cause devant le Tribunal fédéral, il convient de lui faire supporter des frais judiciaires réduits, le reste des frais devant être mis à la charge du canton de Genève dont l'intérêt patrimonial est en cause (art. 66 al. 1 et 4 LTF). En tant qu'il succombe partiellement, le canton de Genève sera condamné à verser au recourant des dépens réduits (art. 68 al. 1 LTF), aucun dépens ne lui étant alloué (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :

1.

Le recours est partiellement admis en tant qu'il concerne l'impôt fédéral direct. Les arrêts rendus les 20 novembre 2012 et 30 mai 2017 par la Cour de justice sont annulés dans la mesure où ils ont trait au paiement de la dette fiscale de l'année 2004 et la cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recours est rejeté pour le surplus.

2.

Le recours est admis en tant qu'il concerne les impôts cantonal et communal. Les arrêts rendus les 20 novembre 2012 et 30 mai 2017 par la Cour de justice sont annulés. Dans la mesure où ils ont trait au paiement de la dette fiscale de l'année 2004, la cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.

3.

Les frais judiciaires, arrêtés à 20'000 fr., sont mis pour 1'000 fr. à la charge du recourant et pour 19'000 fr. à la charge de la République et canton de Genève.

4.

La République et canton de Genève versera au recourant un montant de 15'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.

5.

Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale et à la Chambre administrative de la Cour de justice de la République et canton de Genève, ainsi qu'à l'Administration fédérale des contributions.

Lausanne, le 10 décembre 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse

Le Président : Seiler

Le Greffier : Tissot-Daguette