2C_89/2015
2C_90/2015
{T 0/2}
Arrêt du 23 octobre 2015
IIe Cour de droit public
Composition
MM. et Mme les Juges fédéraux Zünd, Président,
Aubry Girardin et Stadelmann.
Greffière : Mme Vuadens.
Participants à la procédure
A.X.________ et B.X.________,
représentés par Me Thierry F. Ador, avocat,
recourants,
contre
Administration fiscale cantonale du canton de Genève.
Objet
Impôt communal et cantonal 2003 à 2005, impôt fédéral direct 2003 à 2005,
recours contre l'arrêt de la Cour de justice de la République et canton de Genève, Chambre administrative, 1ère section, du 2 décembre 2014.
A.a. En 1996, B.X.________, domicilié à Genève, et son frère C.X.________ (art. 105 al. 2 LTF) ont obtenu de la Banque D.________ un prêt hypothécaire de 6'640'000 fr. pour leur permettre d'acquérir ensemble le capital-actions de la société immobilière E.________ SA (ci-après: la Société), propriétaire de la parcelle n° **** de la Commune de Genève. Le prêt était octroyé contre la cession à la Banque D.________, en pleine propriété, de deux cédules hypothécaires au porteur grevant la parcelle n° ****, l'une, de premier rang, de 6'000'000 fr. et l'autre, de deuxième rang, de 600'000 fr. B.X.________ est ainsi devenu propriétaire de la moitié des actions de la Société.
Gérant de fortune de profession, B.X.________ a par ailleurs été directeur, puis représentant de la société F.________ SA, de 1995 à 2009.
En décembre 2000, la Fondation de valorisation des actifs de la Banque D.________ (ci-après: la Fondation) a informé B.X.________ que la Banque D.________ lui avait cédé le prêt hypothécaire. En mars 2003, la Fondation a résilié le contrat de prêt avec effet immédiat. Elle dénonçait également au remboursement intégral les deux cédules hypothécaires pour le 21 octobre 2003.
Selon une convention de prêt hypothécaire datée du 15 août 2003, la banque G.________ (Suisse) a prêté à B.X.________ et C.X.________ la somme de 10'900'000 fr. dans un but de reprise de financement auprès de deux établissements tiers. Ce prêt était garanti par la cession de six cédules hypothécaires au porteur grevant une parcelle tierce et par la cession d'une cédule hypothécaire de premier rang grevant la parcelle n° **** de la commune de Genève.
Le 5 septembre 2003, la Fondation s'est engagée auprès des co-débiteurs à remettre les deux cédules hypothécaires grevant la parcelle n° **** dont elle était propriétaire et à signer une réquisition de radiation au porteur dès réception d'un montant de 6'793'893.25 fr. Ce montant correspondait à la dette de 6'376'857.75 fr. (état au 31 mars 2003), augmentée des intérêts au 12 septembre 2003.
A.b. Le 22 octobre 2004, B.X.________ et son épouse A.X.________ ont rempli leur déclaration fiscale pour l'année 2003.
Sous la rubrique "Autres déductions sur le revenu", ils ont déduit un montant de 248'347 fr. au titre de "perte s/ droits et obligations". Selon un tableau annexé à la déclaration, cette déduction était liée à l'immeuble sis sur la parcelle n° **** de la commune de Genève. Il en ressortait une "perte" de 3'476'857.75 fr., résultat de la différence entre le paiement dû à la Fondation (soit, en capital, 6'376'857.75 fr.) et la part de refinancement que la banque G.________ leur avait accordé en relation avec la parcelle n° ****, correspondant à 2'900'000 fr. Cette "perte" était amortie sur sept ans, à raison de 496'694 fr. par année, dont la moitié, soit 248'347 fr., était attribuée à B.X.________.
Le 31 mars 2007, A.X.________ et B.X.________ ont rempli leur déclaration fiscale pour les années 2004 et 2005 en faisant à nouveau valoir, comme pour 2003, la déduction d'un montant de 248'347 fr.
B.a. Le 24 avril 2007, l'Administration cantonale a procédé à la taxation des époux X.________ pour l'année fiscale 2003 tant pour l'impôt fédéral direct que l'impôt cantonal et communal, en procédant à diverses reprises, concernant notamment le montant de 248'347 fr., qui n'était pas admis en déduction, que ce soit pour l'impôt fédéral direct ou pour l'impôt cantonal et communal. Selon l'Administration cantonale, la somme de 3'476'857.75 fr. que le contribuable et son associé avaient payée à la Fondation en 2003 représentait le remboursement d'une dette, non déductible, et non pas une perte commerciale, aucune action de la Société n'ayant été vendue.
A.X.________ et B.X.________ ont élevé réclamation contre cette décision de taxation le 21 mai 2007.
Le 9 novembre 2009, l'Administration cantonale a rendu une décision sur réclamation dans laquelle elle a, notamment, confirmé son refus d'admettre la déduction de 248'347 fr. Le 9 décembre 2009, les intéressés ont recouru contre cette décision auprès de l'actuel Tribunal administratif de première instance du canton de Genève (ci-après: Tribunal administratif), contestant des points qui ne sont désormais plus litigieux et concluant à la déductibilité du montant de 248'347 fr. Ils sollicitaient également la révision de la taxation de l'année fiscale 2003: en sa qualité d'administrateur de F.________ SA, B.X.________ faisait partie des personnes poursuivies pénalement pour gestion déloyale en lien avec une affaire Z.________, pour un montant total de 31'063'000 fr, ce qui représentait 6'212'00 fr. par administrateur. Il fallait tenir compte de ce fait nouveau dans le cadre d'une révision.
B.b. Les 30 octobre 2009 et 12 mai 2010, l'Administration cantonale a procédé à l'imposition des époux X.________ pour l'année fiscale 2004, respectivement pour l'année fiscale 2005, sans reconnaître la déductibilité du montant de 248'347 fr. Les réclamations que les contribuables ont élevées contre ces décisions ont été rejetées par décisions sur réclamation du 15 décembre 2010. Les contribuables ont recouru contre ces décisions le 15 janvier 2011, notamment pour conclure à la déductibilité de 248'347 fr. pour chacune des périodes litigieuses, à la révision des taxations concernées, ainsi qu'à la remise des impôts dus.
B.c. Par jugement du 11 avril 2011 concernant la période fiscale 2003, le Tribunal administratif a confirmé que le montant de 248'347 fr. n'était pas déductible du revenu et a exclu la possibilité de procéder à une révision.
Par jugement du 16 décembre 2013 relatif aux périodes fiscales 2004 et 2005, cette instance a également confirmé la non-déductibilité de 248'347 fr. et considéré qu'une révision des taxations 2004 et 2005 ne pouvait entrer en ligne de compte. La demande de remise d'impôts était par ailleurs prématurée et partant irrecevable.
B.d. Le 30 mai 2011, les contribuables ont interjeté recours contre le jugement du 11 avril 2011 du Tribunal administratif auprès de la Cour de justice du canton de Genève, Chambre administrative (ci-après: la Cour de justice), concluant à la déduction de 248'347 fr. et à la révision de la taxation de la période fiscale 2003. Au cours de la procédure, ils ont demandé l'expertise de la parcelle n° **** de Genève et celle de la Société.
Le 20 janvier 2014, les intéressés ont contesté devant la même autorité le jugement du 16 décembre 2013 du Tribunal administratif relatif aux périodes fiscales 2004 et 2005, sollicitant également l'expertise de la parcelle n° **** de Genève et celle de la Société puis, par requête complémentaire du 16 juin 2014, leur propre audition, ainsi que celle des deux comptables.
Au cours d'une audience de comparution personnelle qui a concerné les deux causes, B.X.________ a exposé que, lorsque la banque G.________ avait procédé à l'opération de refinancement en lien avec la parcelle n° **** de la Commune de Genève en août 2003, elle lui avait accordé, ainsi qu'à son co-débiteur, un montant de 2'900'000 fr., ce qui correspondait à 80% de ce qu'elle estimait être la valeur de la parcelle à l'époque (soit 3'625'000 fr.). Il avait de ce fait "provisionné" la perte en la répartissant sur sept ans, sur les conseils de sa fiduciaire.
Au cours de la procédure, les contribuables ont encore produit des pièces, à savoir un rapport d'estimation de l'immeuble sis sur la parcelle n° **** de la commune de Genève effectué par un architecte, un projet de plan financier de H.________ du 14 mai 2003 pour l'acquisition de dite parcelle et une attestation de la banque G.________ du 27 mai 2014, selon laquelle celle-ci avait accordé à B.X.________ et à son associé un prêt de 2'900'000 fr., sur la base d'une valeur de gage estimée selon ses méthodes d'évaluation interne.
B.e. Par arrêt du 2 décembre 2014, la Cour de justice a joint les causes et rejeté, dans la mesure de leur recevabilité, les recours interjetés les 20 mai 2011 et 20 janvier 2014 contre les jugements du Tribunal administratif des 11 avril 2011 et 16 décembre 2013.
Agissant par la voie du recours en matière de droit public et du recours constitutionnel subsidiaire, A.X.________ et B.X.________ concluent principalement, sous suite de frais et dépens, à l'annulation de l'arrêt du 2 décembre 2014 de la Cour de justice et à l'admission de la déduction d'une perte commerciale, subsidiairement d'une provision, pour un montant de 248'347 fr. pour les années 2003, 2004 et 2005 tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal; subsidiairement, à l'annulation de l'arrêt du 2 décembre 2014 de la Cour de justice et au renvoi de la cause à cette autorité, alternativement au Tribunal administratif, pour décision dans le sens des considérants; plus subsidiairement, à ce qu'ils soient acheminés à prouver par toutes voies utiles les faits allégués dans le présent recours.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration cantonale et l'Administration fédérale des contributions se sont déterminées sur le recours et ont conclu à son rejet. Les recourants ont déposé d'ultimes observations.
Par décision du 19 février 2015, le Président de la Cour de céans a rejeté la requête d'effet suspensif contenue dans le recours.
I. Recevabilité et points de procédure
La Cour de justice a rendu un seul arrêt valant pour l'impôt cantonal et communal, d'une part, et pour l'impôt fédéral direct, d'autre part, ce qui est admissible, dès lors que les questions juridiques à trancher sont réglées de la même façon pour ces deux catégories d'impôts (ATF 135 II 260 consid. 1.3.1 p. 262 s.). Les recourants ont formé un recours qui contient les mêmes griefs et les mêmes conclusions pour ces deux impôts, ce qui est conforme à la jurisprudence (cf. ATF 135 II 260 consid. 1.3.2 et 1.3.3 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux arrêts sont rendus, la Cour de céans a ouvert deux dossiers, l'un concernant l'impôt cantonal et communal (2C_89/2015) et l'autre l'impôt fédéral direct (2C_90/2015). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (art. 71 LTF et 24 PCF [RS 273]).
2.1. Le recours est dirigé contre une décision finale (art. 90 LTF) qui a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (art. 82 let. a LTF) qui ne tombe sous le coup d'aucune des exceptions prévues à l'art. 83 LTF. La voie du recours en matière de droit public est donc ouverte (cf. également l'art. 146 de la loi fédérale sur l'impôt fédéral direct du 14 décembre 1990 [LIFD; RS 642.11] et l'art. 73 al. 1 de la loi fédérale sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14] pour ce qui concerne l'impôt cantonal et communal). Il a par ailleurs été déposé en temps utile compte tenu des féries (cf. art. 100 al. 1 et 46 al. 1 let. c LTF) et dans les formes requises (art. 42 LTF) par les destinataires de la décision entreprise, qui ont un intérêt digne de protection à son annulation ou à sa modification et qui ont de ce fait qualité pour recourir (cf. art. 89 al. 1 LTF). Il convient donc d'entrer en matière sur le recours, sous réserve de la conclusion subsidiaire tendant à ce que les recourants soient acheminés à prouver les faits qu'ils allèguent. Les recourants perdent ici de vue que le Tribunal fédéral est un juge du droit et non du fait (cf. art. 105 al. 1 LTF) et que des mesures probatoires ne sont qu'exceptionnellement ordonnées dans une procédure de recours (ATF 136 II 101 consid. 2 p. 104). Il n'y a pas de motif de faire exception ici, de sorte que cette conclusion est irrecevable. Le recours en matière de droit public étant recevable sous cette réserve, le recours constitutionnel subsidiaire formé par les recourants est en conséquence irrecevable (art. 113 LTF).
2.2. Les recourants demandent la production des dossiers cantonaux. La Cour de justice ayant annexé à sa détermination le dossier complet de la cause, conformément à l'art. 102 al. 2 LTF, cette requête est sans objet.
3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant, conformément au principe d'allégation (cf. art. 106 al. 2 LTF). L'acte de recours doit alors, sous peine d'irrecevabilité, contenir un exposé succinct des droits et principes constitutionnels violés et préciser de manière claire et détaillée en quoi consiste la violation (cf. ATF 139 I 229 consid. 2.2 p. 232 et les références citées; 138 I 232 consid. 3 p. 237; 136 II 304 consid. 2.5 p. 314).
3.2. L'examen du Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut être présenté devant le Tribunal de céans à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
II. Griefs formels
Parmi les griefs qu'ils formulent à l'encontre de l'arrêt attaqué, les recourants font valoir une violation de leur droit d'être entendus. Ils soutiennent que la Cour de justice n'aurait pas administré des preuves qu'ils avaient offertes et qui étaient, selon eux, essentielles au traitement de leur cause. Il convient d'examiner en premier lieu ce grief formel (cf. ATF 139 I 189 consid. 3 p. 191).
4.1. Tel qu'il est reconnu par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit pour l'intéressé de prendre connaissance du dossier et d'offrir des preuves pertinentes (ATF 140 I 285 consid. 6.3.1 p. 299; 135 II 286 consid. 5.1 p. 293). L'art. 29 al. 2 Cst. impose en particulier à l'autorité de donner suite à une offre de preuve lorsque celle-ci a été demandée en temps utile, dans les formes prescrites et qu'elle apparaît de nature à influer sur le sort de la décision à rendre. Il n'y a toutefois pas violation du droit à l'administration de preuves lorsque la mesure probatoire refusée est inapte à établir le fait à prouver, lorsque ce fait est sans pertinence ou lorsque, sur la base d'une appréciation non arbitraire des preuves dont elle dispose déjà, l'autorité parvient à la conclusion que les faits pertinents sont établis et que le résultat, même favorable au requérant, de la mesure probatoire sollicitée ne pourrait pas modifier sa conviction (ATF 140 I 285 consid. 6.3.1 p. 299; 136 I 229 consid. 5.3 p. 236 s.; 134 I 140 consid. 5.3 p. 148). En particulier, l'autorité de jugement peut renoncer à faire citer des témoins, qu'ils soient à charge ou à décharge, si, dans le cadre d'une appréciation anticipée des preuves non arbitraire, elle peut dénier à ces témoignages une valeur probante décisive pour le jugement (ATF 125 I 127 consid. 6c/cc p. 135 et 6c/ dd p. 135 s.; 124 I 274 consid. 5b p. 285; arrêt 6B_907/2009 du 3 novembre 2010 consid. 7.1).
4.2. Les recourants reprochent en premier lieu aux juges précédents d'avoir refusé de procéder à l'expertise de l'immeuble sis sur la parcelle n° **** de la commune de Genève et à celle de la Société. L'administration de ces preuves était, selon eux, essentielle pour démontrer la situation dans laquelle lui et son frère s'étaient trouvés en 2003, en raison de la diminution de la valeur de l'immeuble, qui les avait obligés à accepter un refinancement du prêt par la banque G.________ pour un montant de 2'900'000 fr. Les recourants font également grief à la Cour de justice d'avoir omis d'entendre I.________, comptable, qui aurait pu exposer le raisonnement "purement comptable" qui a été mis en place à compter de l'année 2003, ainsi que la nécessité de reporter sur sept ans la perte commerciale subie.
La pertinence de ce grief doit être examinée à la lumière de l'objet du litige au fond, qui a trait au point de savoir si les recourants étaient légitimés à déduire de leur revenu le montant de 248'347 fr. pour chacune des périodes fiscales concernées. Comme indiqué ci-dessus, cette déduction a été obtenue par la différence entre, d'une part, le capital (sans les intérêts) qui a été payé par B.X.________ et son frère à la Fondation en 2003 (6'376'857.75 fr), en remboursement du prêt qui leur avait été accordé en 1996 pour acquérir les actions de la Société, et, d'autre part, le montant du refinancement accordé à cet effet par la banque G.________ (2'900'000 fr.), soit 3'476'857 fr. Ce montant a ensuite été déduit du revenu des recourants après avoir été "amorti" sur une période de sept ans (soit 496'693 fr. par an), dont seule la moitié (soit 248'347 fr.) était déductible du revenu des recourants, l'autre moitié étant déductible dans le chef de son frère, co-actionnaire de la Société. Selon les recourants, le montant de 248'347 fr. est déductible à titre de perte, alternativement de provision, alors que la Cour de justice considère que les recourants n'ont fait que rembourser une dette, ce qui ne constitue pas une dépense déductible du revenu.
En l'espèce, comme on le verra ci-dessous (cf. consid. 7), aucune des offres de preuve apportées par les recourants n'est de nature à influer sur le sort de la décision à rendre en ce qui concerne la déductibilité du montant de 248'347 fr. En effet, quand bien même il serait établi que, comme ils l'allèguent, tant la parcelle n° **** de la commune de Genève que la Société ont perdu de la valeur en 2003, ces faits ne seraient pas propres à entraîner l'admissibilité du recours. Il en va de même des explications qu'auraient fournies le comptable quant au raisonnement qui a mené à la revendication de la déduction alléguée. Le grief de violation du droit d'être entendu est partant infondé et doit être rejeté.
III. Grief lié à l'établissement des faits et à l'appréciation des preuves
Invoquant l'art. 97 al. 1 LTF, les recourants se plaignent d'arbitraire dans l'établissement des faits et l'appréciation des preuves.
5.1. En vertu de cette disposition, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (ATF 137 I 58 consid. 4.1.2 p. 62) - ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 137 III 226 consid. 4.2 p. 234; 135 III 127 consid. 1.5 p. 129 s.)
5.2. Les recourants reprochent aux juges précédents de s'être essentiellement fondés sur le contrat de prêt hypothécaire conclu avec la Banque D.________ pour refuser les déductions invoquées et d'avoir ignoré le rapport d'estimation de la valeur de l'immeuble propriété de la Société, ainsi que l'attestation du 27 mai 2014 fournie par la banque J.________ (anciennement banque G.________), qui démontraient, selon eux, qu'ils avaient bien subi un "risque de perte commerciale réel et concret justifiant la provision comptabilisée". Ce risque était au demeurant confirmé par une proposition de financement avancée par la société d'assurance H.________ Suisse le 14 mai 2003.
5.3. La diminution alléguée de la valeur de l'immeuble n'est toutefois pas un fait de nature à entraîner l'admissibilité de la déduction invoquée (cf. consid. 7 ci-dessous). On ne peut donc reprocher aux juges précédents de ne pas en avoir tenu compte. Le grief tiré de l'art. 97 al. 1 LTF est de ce fait rejeté.
IV. Impôt fédéral direct
La première question à traiter porte sur le point de savoir si c'est à juste titre que la Cour de justice a déclaré le recours formé le 30 mai 2011 par les recourants s'agissant de l'impôt fédéral direct 2003 irrecevable pour tardiveté, aucune suspension de délai ne pouvant intervenir durant les féries en droit de l'impôt fédéral direct. Les recourants contestent cette décision d'irrecevabilité.
6.1. Conformément à l'art. 145 al. 2 LIFD, les art. 140 à 144 LIFD s'appliquent par analogie aux recours déposés en matière d'impôt fédéral direct devant la Cour de justice. Selon l'art. 140 al. 1 LIFD, le délai de recours est de 30 jours à compter de la notification de la décision attaquée. Passé ce délai, le recours n'est recevable que si le contribuable établit une cause d'empêchement au sens de l'art. 133 al. 3 LIFD. La LIFD ne prévoit pas de suspension de délais durant les féries (arrêts 2C_589/2013 du 17 janvier 2014 consid. 4, in RDAF 2014 II 78 et Pra 2014 p. 798; 2C_416/2013 du 5 novembre 2013 consid. 2.2, non publié in ATF 140 I 68, mais in RDAF 2014 II 40 et Pra 2014 p. 317; 2C_628/2010 du 28 juin 2011 consid. 3.1 non publié in 137 II 353, mais in RDAF 2011 II 405). La situation est ainsi différente de celle qui prévalait en 2011 en matière d'impôt cantonal et communal genevois: en effet, en vertu de l'art. 17A de la loi cantonale genevoise sur la procédure administrative (LPA; RSGE E 5 10), en vigueur lors du dépôt du recours devant la Cour de justice, les délais étaient suspendus durant les féries dans les litiges soumis aux règles de la loi sur la procédure fiscale, telles que ceux relevant de l'imposition des personnes physiques (cf. art. 1 let. a de la loi de procédure fiscale [LPFisc; RSGE D 3 17]).
6.2. Les recourants font valoir que la divergence qui existait entre le droit fédéral et le droit cantonal genevois en matière de suspension de délais durant les féries était une source de confusion évidente pour les contribuables qui, recevant une seule et même décision portant sur les deux types d'impôts, pouvaient légitimement en inférer qu'ils disposaient d'un seul délai de recours à son encontre. Ils soutiennent qu'il serait incohérent de considérer qu'il n'y avait pas de suspension de délai pour l'impôt fédéral direct, alors qu'il y en avait une pour l'impôt cantonal et communal, et soutiennent que la Cour de justice a versé dans l'arbitraire en retenant le contraire. Ils se prévalent également du principe de la bonne foi et font valoir, à titre subsidiaire, que la Cour de justice a fait preuve de formalisme excessif.
6.3. Il est douteux que la formulation des griefs de nature constitutionnelle répondent aux exigences de motivation accrues de l'art. 106 al. 2 LTF (cf. supra consid. 3.1). Ce point souffre toutefois de rester indécis, puisqu'ils doivent de toute manière être rejetés, pour les raisons exposées ci-après.
Le Tribunal fédéral a déjà constaté que l'absence de féries en droit fédéral, lorsque le droit cantonal en prévoit, a pour conséquence un défaut d'harmonisation des solutions fédérales et cantonales. Dans de telles situation, il a toutefois exclu d'appliquer à l'impôt fédéral direct des règles de procédure cantonale concernant la suspension des délais pendant les féries, parce que, d'une part, cela impliquerait un accroissement de la disparité des règles de procédure que le principe d'harmonisation cherchait justement à éviter, et que, d'autre part, cela ne correspondait pas au droit fédéral. Il a ajouté que si l'harmonisation devait entraîner une modification législative pour coordonner les différents délais de recours, celle-ci devait passer par une adaptation du délai cantonal au délai fédéral, et non l'inverse (arrêt 2C_628/2010 du 28 juin 2011 consid. 3.1 précité; cf. également arrêts 2C_479/2015 du 5 juin 2015 consid. 3.2; 2C_55/2014 du 6 juin 2014 consid. 4.1; 2C_589/2013 précité consid. 4; 2C_416/2013 précité consid. 2.2; 2C_948/2013 du 25 octobre 2013 consid. 4; 2C_407/2012 du 23 novembre 2012 consid. 2.4, in StE 2013 B 92.8 Nr. 17; 2C_503/2010 du 11 novembre 2010 consid. 2; 2C_331/2008 du 27 juin 2008 consid. 1; 2A.248/2003 du 8 août 2003 consid. 3). C'est du reste ce qui s'est produit dans le canton de Genève, où l'art. 17A LPA a été abrogé avec effet au 16 novembre 2013, l'art. 63 LPA excluant par ailleurs expressément depuis cette date l'application des féries dans les procédures soumises aux règles de la LPFisc.
La Cour de justice a ainsi correctement appliqué le droit fédéral, et les recourants ne sauraient le lui reprocher en invoquant l'arbitraire, la violation du principe de la bonne foi ou le formalisme excessif. Le fait qu'ils n'étaient pas représentés par un avocat lors du dépôt de leur recours ne leur est d'aucun secours. Par ailleurs, ils n'ont pas fait valoir de motif d'empêchement au sens de l'art. 133 al. 3 LIFD. C'est partant à bon droit que les juges précédents ont déclaré irrecevable leur recours en tant qu'il portait sur l'impôt fédéral direct de la période fiscale 2003. Au demeurant, comme exposé ci-après, les recourants n'auraient de toute façon pas obtenu gain de cause sur le fond s'agissant de la déduction litigieuse pour la période fiscale 2003.
Le deuxième objet du litige porte sur le point de savoir si les recourants étaient légitimés à déduire de leurs revenus un montant de 248'347 fr. pour chacune des périodes fiscales concernées.
Les recourants font ici valoir des déductions qui peuvent être invoquées par des personnes qui exercent une activité lucrative indépendante: dans leurs conclusions, ils soutiennent en effet que la déduction du montant de 248'347 fr. doit être admise au titre de "perte commerciale", subsidiairement de "provision", faisant ainsi valoir une violation arbitraire des art. 27 al. 2 let. b et 29 LIFD. Dans leur mémoire de recours, ils invoquent aussi une violation arbitraire de l'art. 211 LIFD et mentionnent par ailleurs, sans citer l'art. 28 LIFD, la notion d'amortissement. Leur mémoire de recours évoque pêle-mêle ces différentes notions, en juxtaposant pour une large partie des passages divers de jurisprudence et de doctrine, de sorte qu'il n'est pas aisé de saisir dans quelle mesure le droit fédéral aurait été violé selon eux. La Cour de céans examinera donc le litige librement en fonction des notions de droit fédéral invoquées et sans limiter son pouvoir d'examen à l'arbitraire allégué, s'agissant de l'application de la LIFD.
7.1. Les contribuables exerçant une activité lucrative indépendante (art. 18 al. 1 LIFD) peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel (art. 27 al. 1 LIFD). Font notamment partie de ces frais les pertes effectives sur des éléments de la fortune commerciale (art. 27 al. 2 let. b LIFD), les amortissements d'actifs (art. 27 al. 2 let. a et 28 LIFD) et les provisions (art. 27 al. 2 let. a et 29 LIFD).
Conformément à l'art. 31 al. 1 LIFD, les pertes des sept exercices précédant la période fiscale (art. 40) peuvent être déduites pour autant qu'elles n'aient pas pu être prises en considération lors du calcul du revenu imposable des années concernées. Cette disposition correspond matériellement à l'ancien art. 211 LIFD, en vigueur pour les périodes fiscales litigieuses, qui a été abrogé et remplacé par l'art. 31 al. 1 LIFD au 1er janvier 2014 (cf. ch. I 1 de la loi fédérale du 22 mars 2013 sur la mise à jour formelle du calcul dans le temps de l'impôt direct dû par les personnes physiques [RO 2013 2397; FF 2011 3381]).
Par ailleurs, l'art. 34 let. c LIFD dispose que les dépenses affectées au remboursement de dettes ne constituent pas des frais et dépenses déductibles. Peu importe que ces dépenses concernent la fortune privée ou commerciale du contribuable (cf. art. 18 al. 2 LIFD, PETER LOCHER, Kommentar zum DBG, 2004, n° 23 ad art. 34 DBG; FELIX RICHNER/ WALTER FREI/STEFAN KAUFMANN/HANS ULRICH MEUTER, Handkommentar zum DBG, 2e éd. 2009, n° 65 ad art. 34 DBG).
7.2. La Cour de justice a refusé les déductions invoquées au motif qu'elles ne représentaient que le remboursement d'une dette (art. 34 let. c LIFD). B.X.________ avait obtenu en 1996, avec son frère, un prêt hypothécaire de 6'640'000 fr. pour acquérir la totalité des actions de la Société. Lorsque ce prêt avait été dénoncé en 2003 par la Fondation, les codébiteurs avaient été obligés de rembourser leur dette, à hauteur de 6'376'857.75 fr. (intérêts non compris), ce qu'ils avaient effectué en septembre 2003, ayant à cet effet obtenu un refinancement à hauteur de 2'900'000 fr. par la banque G.________. Il en découlait que tant la part couverte par le refinancement que la part non couverte (soit 3'476'857.75 fr.) représentait bien le remboursement du solde de la dette contractée en 1996. Au surplus, les contribuables n'avaient pas prouvé avoir constitué une provision de 248'347 fr., une telle écriture n'apparaissant au demeurant pas dans les documents annexés à leurs déclarations fiscales.
7.3. Il est incontestable que le montant de 3'476'857.75 fr. que B.X.________ et C.X.________ ont payé à la Fondation en 2003 représente le remboursement d'une dette, ce qui ne constitue pas une dépense déductible (cf. art. 34 let. c LIFD), comme l'a constaté à juste titre la Cour de justice. Les recourants affirment toutefois que le contrat de prêt hypothécaire ne serait "qu'une conséquence qui ne peut être retenue dans le cadre de ce dossier". Ils soutiennent en effet qu'au vu de la diminution "drastique" de la valeur de l'immeuble, ils ont encouru en 2003 une perte déductible, respectivement qu'ils étaient légitimés à déduire une provision. Une telle position ne peut être suivie.
7.4. Il faut au préalable souligner que, lorsqu'ils soutiennent que les déductions qu'ils revendiquent sont justifiées par la diminution de la valeur de l'immeuble sis sur la parcelle n° **** de Genève, les recourants raisonnent comme si cet immeuble faisait partie de leur patrimoine, perdant de vue qu'il s'agit là d'un actif qui appartient à la Société et qu'ils ne sont, pour leur part, propriétaires que des titres de cette dernière. Or, les déductions qu'ils revendiquent, qui concernent toutes le revenu de l'activité lucrative indépendante (art. 18 al. 1 LIFD), supposent que les actions de la Société fassent partie de la fortune commerciale des recourants (art. 18 al. 2 LIFD). La Cour de justice, qui a centré son argumentation sur l'art. 34 let. c LIFD, n'a pas discuté cette question, et l'arrêt attaqué ne contient pas d'élément factuel qui permette de retenir une telle qualification (B.X.________ y est en effet présenté comme gérant de fortune salarié, sans qu'il soit fait référence à une activité accessoire de commerçant immobilier). Ce point souffre de rester incertain, car même si l'on admet que les actions font partie de la fortune commerciale des recourants, les griefs qu'ils forment à l'encontre de l'arrêt attaqué doivent de toute manière être rejetés, comme démontré ci-après.
7.5. Le principe de l'autorité du bilan commercial ou de déterminance exprimé à l'art. 58 LIFD implique, en tant que règle d'estimation du revenu, que le compte de résultat conforme au droit commercial est en principe déterminant en droit fiscal des personnes morales (ATF 137 II 353 consid. 6.2 p. 359; arrêts 2C_768/2014 du 31 août 2015 consid. 9.1; 2C_16/2015 du 6 août 2015 consid. 2.2.2). Cela s'applique également aux personnes physiques qui exercent une activité lucrative indépendante ( MARKUS REICH, in Kommentar zum schweizerischen Steuerrecht, I/2a, Bundesgesetz über die direkte Bundessteuer, Art. 1-82, 2
e éd. 2008, n° 21 ad art. 18 DBG; LOCHER, op. cit., n° 174 ad art. 18 DBG). L'art. 18 al. 3 LIFD renvoie du reste à l'art. 58 LIFD, applicable par analogie aux contribuables indépendants qui tiennent une comptabilité en bonne et due forme. Si, selon sa lettre, l'art. 18 al. 3 LIFD n'envisage que les contribuables tenant une comptabilité, cela ne signifie pas pour autant que les indépendants qui n'en tiennent pas seraient soumis à des principes différents en matière d'estimation du revenu ( REICH, in op. cit., n° 22 ad art. 18 DBG). A défaut de comptabilité tenue conformément à l'usage commercial, l'indépendant doit alors joindre à sa déclaration fiscale un état des actifs et des passifs, un relevé des recettes et des dépenses ainsi que des prélèvements et apports privés (cf. art. 125 al. 2 LIFD; LOCHER, op. cit., n° 178 ad art. 18 DBG; REICH, in op. cit., n° 22 ad art. 18 DBG).
L'exigence de comptabilisation apparaît également à l'art. 27 al. 2 let. b LIFD en relation avec les pertes effectives sur des éléments de fortune commerciale. A défaut de comptabilité tenue en bonne et due forme, ces pertes doivent alors figurer dans le relevé des recettes et des dépenses au sens de l'art. 125 al. 2 LIFD ( REICH, in op. cit., n° 43 ad art. 27 DBG). L'art. 28 al. 1 LIFD exige également que les amortissements soient comptabilisés ou, à défaut de comptabilité tenue selon l'usage commercial, qu'ils apparaissent dans un plan spécial d'amortissement. Quant aux provisions, elles doivent également être comptabilisées pour être admises (art. 29 al. 1 LIFD) ou, à défaut, figurer dans le relevé des recettes et des dépenses au sens de l'art. 125 al. 2 LIFD ( MARCO DUSS/MARCO GRETER/JULIA VON AH, Die Besteuerung Selbständigerwerbender, 2004, p. 82).
Les exigences auxquelles doivent répondre les pièces comptables requises par l'art. 125 al. 2 LIFD dépendent des circonstances du cas d'espèce, en particulier du type d'activité et de l'ampleur de cette dernière. Dans tous les cas, elles doivent être propres à garantir une saisie complète et fiable du revenu et de la fortune liés à l'activité lucrative indépendante et pouvoir être contrôlées dans des conditions raisonnables par les autorités fiscales (arrêt 2C_551/2012 du 16 mai 2013 consid. 3.1 et les références citées, in StE 2013 B 23.3 Nr. 8). Cette exigence est d'autant plus importante lorsque le contribuable entend alléguer des faits de nature à éteindre ou à diminuer sa dette fiscale (ATF 121 II 257 consid. 4c/aa p. 266; arrêts 2C_835/2012 du 1
er avril 2013 consid. 7.2.2, in RDAF 2013 II 399; 2C_651/2012 du 28 septembre 2012 consid. 4.1), ce qui lui incombe de prouver (ATF 133 II 153 consid. 4.3 p. 158; arrêts 2C_42/2015 10 septembre 2015; 2C_109/2015 du 1
er septembre 2015 consid. 4.1).
7.6. En l'espèce, les recourants ne tenaient pas de comptabilité en bonne et due forme. Ils n'ont pas non plus produit d'état des actifs et des passifs, de relevé des recettes et des dépenses ni de prélèvements et apports privés, comme l'exigeait l'art. 125 al. 2 LIFD. Ils se sont limités à déduire dans leurs déclarations fiscales un montant de 248'347 fr. sous la rubrique "pertes sur droits et obligations". Une telle manière de faire est manifestement insuffisante pour admettre ces déductions du revenu d'activité lucrative indépendante, que ce soit au titre de perte effective sur des éléments de la fortune commerciale, d'amortissement ou de provision. Il n'est partant pas nécessaire d'examiner si, matériellement, les conditions de l'une ou l'autre des dispositions y relatives étaient remplies.
7.7. Les recourants invoquent également une violation de l'ancien art. 211 LIFD. Ce grief est confus. Dans la mesure où ils soutiennent qu'ils étaient légitimés à déduire la perte durant sept ans, à raison de 248'347 fr. par année, il semble qu'ils entendent faire valoir l'art. 211 LIFD conjointement avec l'art. 27 al. 2 let. b LIFD (déduction des pertes effectives), voire avec l'art. 29 LIFD (provision), en répartissant la perte sur une période de sept ans. Quoi qu'il en soit, les recourants n'ont manifestement pas compris la teneur de l'art. 211 LIFD, perdant de vue que cette norme concerne la perte de l'exercice (cf. Robert Danon, in Commentaire romand, Impôt fédéral direct, 2008, n° 2 ad art. 67 LIFD) et non pas les pertes commerciales encourues en cours d'exercice. Le grief de violation de l'art. 211 LIFD est partant rejeté.
7.8. Il découle de ce qui précède que la Cour de justice n'a pas violé le droit fédéral en refusant aux recourant le droit de déduire 248'347 fr.
Les recourants soutiennent ensuite qu'ils seraient "surtaxés" si la "perte commerciale, alternativement la provision", n'étaient pas admise en déduction de leurs revenus. Cette critique n'est à nouveau pas claire. Les recourants évoquent peut-être ici une violation du principe de l'imposition selon la capacité contributive (art. 127 al. 2 Cst.). Or, s'agissant d'un grief de nature constitutionnelle, sa formulation doit répondre aux exigences de motivation accrue de l'art. 106 al. 2 LTF (cf. ci-dessus consid. 3.1). Tel n'est pas le cas en l'espèce, les recourants n'ayant pas même cité l'art. 127 al. 2 Cst. ni mentionné le principe d'imposition selon la capacité contributive dans leurs mémoire. Le grief est partant irrecevable.
Les recourants reprochent finalement à la Cour de justice de n'avoir pas procédé à la révision de la taxation de la période fiscale 2003. Ils se plaignent d'une violation arbitraire de l'art. 148 (recte: 147) al. 1 LIFD.
9.1. Selon l'art. 147 al. 1 LIFD, une décision ou un prononcé entré en force peut être révisé en faveur du contribuable notamment lorsque des faits importants ou des preuves concluantes sont découverts (lettre a) ou lorsque l'autorité qui a statué n'a pas tenu compte de faits importants ou de preuves concluantes qu'elle connaissait ou devait connaître ou qu'elle a violé de quelque autre manière l'une des règles essentielles de la procédure (lettre b).
Selon la lettre claire de l'art. 147 al. 1 LIFD, la révision suppose au préalable que l'on soit en présence d'une décision ou d'un prononcé qui soit entré en force.
9.2. Faisant valoir implicitement le motif de révision de l'art.147 al. 1 let. b LIFD, les recourants soutiennent que les autorités intimées avaient connaissance du fait que le recourant était poursuivi pour gestion déloyale dans le contexte dans une affaire Z.________ en tant qu'administrateur de F.________pour un montant correspondant à 6'212'000 fr. par administrateur, et qu'elles savaient également que les biens des recourants avaient été mis sous séquestre. Compte tenu de ces faits, une révision de leur taxation 2003 devait être effectuée.
9.3. En l'espèce, la Cour de justice a déclaré irrecevable la demande de révision que les recourants avaient déjà formulée devant le Tribunal administratif. Dès lors que la taxation pour la période fiscale 2003 était objet du recours devant les juges précédents, elle n'était pas entrée en force. La condition préalable à la révision d'une décision de taxation n'était partant pas remplie, de sorte que c'est à juste titre que les juges précédents ont déclaré irrecevable la demande des recourants. Il n'y a en conséquence pas lieu d'examiner s'il existait, sur le fond, un motif de révision. On peut toutefois relever que les motifs invoqués par les recourants ne sont de toute manière pas de nature à entraîner une révision de la taxation de l'année fiscale 2003: on ne voit en effet pas en quoi l'existence d'une poursuite pénale, quand bien même celle-ci aurait, à l'avenir, des conséquences sur la situation patrimoniale des intéressés, serait un fait de nature à influencer l'imposition des recourants en 2003, condition à l'application de l'art. 147 al. 1 LIFD ( HUGO CASANOVA, in Commentaire romand, Impôt fédéral direct, 2008, n° 5 ad art. 147 LIFD). Les recourants ne l'exposent du reste pas. Le grief de violation de l'art. 147 al. 1 LIFD est partant rejeté.
VI. Impôt cantonal et communal
10.1. En droit cantonal, la loi sur l'imposition des personnes physiques du 27 septembre 2009 (LIPP; RS/GE D 3 08) prévoit que les impôts relatifs aux périodes fiscales antérieures à 2010 demeurent régis par les dispositions de l'ancien droit, soit notamment la loi cantonale du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid (aLIPP-V).
Les notions cantonales de provisions (art. 3 al. 3 let. e aLIPP-V), de report des pertes des exercices (art. 3 al. 3 let. f aLIPP-V), de dépenses non déductibles telles que les sommes affectées au remboursement de dettes (art. 9 let. c aLIPP-V), d'amortissements (art. 3 al. 3 let. d aLIPP-V), ainsi que les obligations qui incombent aux personnes physiques exerçant une activité lucrative indépendante (art. 29 al. 2 LPFisc) correspondent à celles de l'impôt fédéral direct et à celles de la LHID (cf. art. 10 al. 1 let. a, b, c et al. 2 LHID et art. 42 al. 3 LHID). Partant, les considérations développées pour l'impôt fédéral direct trouvent également à s'appliquer à l'impôt cantonal et communal des périodes fiscales 2003 à 2005.
10.2. En ce qui concerne la question de la révision de la taxation de la période fiscale 2003, l'art. 55 LPFisc a une teneur identique à celles des art. 51 LHID et 147 al. 1 LIFD. Il peut dès lors aussi être renvoyé à la motivation exposée ci-dessus, qui vaut également pour l'impôt cantonal et communal de la période fiscale 2003.
Conséquences, ainsi que frais et dépens
Ce qui précède conduit au rejet du recours en matière de droit public, dans la mesure de sa recevabilité, et à l'irrecevabilité du recours constitutionnel subsidiaire. Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1et 5 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 3 LTF).
Les causes 2C_89/2015 et 90/2015 sont jointes.
Le recours constitutionnel subsidiaire est irrecevable.
Le recours en matière de droit public est rejeté, dans la mesure de sa recevabilité, en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 2003, 2004 et 2005.
Le recours en matière de droit public est rejeté, dans la mesure de sa recevabilité, en tant qu'il concerne l'impôt cantonal et communal des périodes fiscales 2003, 2004 et 2005.
Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge des recourants, solidairement entre eux.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 1ère section, et à l'Administration fédérale des contributions.
Lausanne, le 23 octobre 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Vuadens