Deductibility of unaccounted commercial losses after debt waiverGénéré par IA

{T 0/2}

2C_549/2012

2C_550/2012

Arrêt du 16 mai 2013

IIe Cour de droit public

Composition
MM. les Juges fédéraux Zünd, Président,
Donzallaz et Stadelmann.
Greffière: Mme Kurtoglu-Jolidon.

Participants à la procédure
A.X.________, représenté par
Maîtres Alexandre Faltin et Dominique Gay,
avocats,
recourant,

contre

Administration fiscale cantonale
du canton de Genève.

Objet
2C_549/2012
Impôts cantonal et communal 2004,

2C_550/2012
Impôt fédéral direct 2004,

recours contre l'arrêt de la Cour de justice
de la République et canton de Genève,
Chambre administrative, 2ème section, du 24 avril 2012.

Faits:

A.

A.a. A.X.________, domicilié dans le canton de Genève, exerce une activité lucrative indépendante dans l'immobilier. Durant les années quatre-vingt, il a acquis divers immeubles en nom propre, ainsi que des participations dans des sociétés immobilières, dont certains en association avec son frère B.X.________. Afin de financer ces acquisitions, A.X.________ et B.X.________ ont contracté des emprunts hypothécaires, principalement auprès de la Banque E.________ (aujourd'hui et ci-après : Banque L.________), pour un montant total de plus 18'000'000 fr. Le marché immobilier s'étant effondré au début des années nonante, A.X.________ n'a plus pu remplir ses obligations financières. Les contrats de prêts ont alors été résiliés, des poursuites engagées et les actifs immobiliers réalisés.

Le 24 janvier 2000, les frères X.________ et la SI Z.________, dont les précités étaient propriétaires, ont conclu une convention avec la Banque L.________. A.X.________ reconnaissait devoir à la banque 9'751'306 fr., ainsi que 6'075'709 fr. en qualité de codébiteur solidaire avec B.X.________, tandis que la SI Z.________ était redevable d'un montant de 565'319 fr. La Banque L.________ s'engageait à abandonner ses créances à l'encontre des trois débiteurs à condition que A.X.________ et B.X.________ lui versent la somme de 1'000'000 fr. par tranches dégressives échelonnées de juin 2000 à juin 2004. De plus, les frères X.________ s'engageaient à remettre à la banque le produit de la vente des biens immobiliers à réaliser.

Dans leur déclaration fiscale 2003, A.X.________ et son épouse ont fait état d'un revenu et d'une fortune imposables nuls. Ils y mentionnaient un bénéfice d'exploitation de 120'310 fr. et des dettes hypothécaires se montant à 16'191'214 fr.

Par courrier du 30 août 2004, la Banque L.________ a confirmé à A.X.________ que les conditions de la convention du 24 janvier 2000 avaient été respectées et qu'en conséquence elle abandonnait le solde de ses créances.

A.b. La déclaration fiscale 2004 des époux X.________ montrait un revenu imposable de 129'773 fr. pour l'impôt fédéral direct et de 111'486 fr. pour l'impôt cantonal; la fortune imposable était nulle. Les dettes hypothécaires se montaient à 6'845'729 fr. Les documents mentionnés ci-dessous étaient joints à la déclaration:

• un "compte d'exploitation de l'exercice 2004" faisant état des
  éléments suivants:

Produits fr.
Commissions encaissées 50'000.00
Charges
Frais de loyer, SI, téléphone et divers 6'000.00
Frais de véhicule, déplacement 6'000.00
Total des charges 12'000.00

Bénéfice de l'exercice 2004 38'000.00

• une "liste des actifs professionnels" énumérant sept sociétés immobilières et indiquant que les immeubles leur appartenant avaient été vendus aux enchères entre 1997 et 2002 mais que les dettes subsistaient (aucun montant n'était mentionné),

• un tableau détaillant les 6'845'729 fr. de dettes et les intérêts y relatifs afférents à l'activité lucrative indépendante de l'intéressé; La Banque L.________ ne figurait plus parmi les créanciers.

Sur demande de l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale), A.X.________ a, le 20 juillet 2006, fait parvenir à celle-ci la convention du 24 janvier 2000 passée avec la Banque L.________ et la lettre du 30 août 2004 de ladite banque.

Après que l'Administration fiscale eut demandé à deux reprises à A.X.________ de lui remettre une attestation de la Banque L.________ indiquant le montant total de l'abandon de créances dont il avait bénéficié en application de ladite convention, celui-ci a expliqué, par courriel du 20 février 2007, que cet abandon avait été largement compensé par des pertes immobilières. Le 1 er mars 2007, l'Administration fiscale a reçu les frères X.________ et leur avocat; elle leur a ensuite imparti un délai au 20 avril 2007 pour produire des pièces attestant l'absence de bénéfices lors des ventes immobilières forcées. Par courrier du 18 avril 2007, A.X.________ et B.X.________ ont détaillé leur situation: lors de l'effondrement du marché immobilier dans les années nonante, leurs immeubles gagés et les sociétés immobilières avaient fait l'objet de réalisations forcées, respectivement avaient été vidées de leur substance; ils avaient perdu la totalité de leurs fonds propres; la Banque L.________ avait accepté de renoncer au remboursement des dettes non couvertes par la vente de ces biens, moyennant un paiement supplémentaire de 1'000'000 fr.; les pertes immobilières, dues à l'effondrement du marché, avaient largement compensé cet abandon de créances; il n'était pas possible à A.X.________ et B.X.________ de fournir une comptabilité complète des transactions concernées; les acquisitions des parts de sociétés immobilières remontaient aux années quatre-vingt et les pièces y relatives n'avaient pas été conservées, s'agissant d'opérations remontant à plus de dix ans; de plus, l'essentiel des pièces avait été saisi par les offices des poursuites et faillites et les ventes avaient été opérées par ceux-ci; ils n'avaient donc pas accès aux informations utiles. Ils joignaient à leur courrier un tableau qui récapitulait les acquisitions opérées pour un prix global de 19'731'616 fr. et qui avaient été financées par des fonds étrangers à hauteur de 18'096'535 fr.; au moment de la signature de la convention avec la Banque L.________, les hypothèques avaient été globalement remboursées de 1'129'087 fr.; les fonds propres que A.X.________ et son frère avaient investis, soit 1'635'082 fr. avaient été perdus; leur perte était estimée à 3'764'169 fr. Aucune pièce n'était jointe à ce tableau.

A.c. Le 8 mai 2007, l'Administration fiscale a notifié aux époux X.________ un bordereau de taxation arrêtant le revenu imposable pour l'impôt fédéral direct 2004 à 10'726'500 fr.; l'impôt se montait à 1'233'547 fr. Le revenu imposable pour l'impôt cantonal et communal 2004 était de 10'709'586 fr., la fortune imposable était nulle; l'impôt s'élevait à 3'529'160 fr.

Selon l'Administration fiscale, l'abandon de créances en faveur de A.X.________, dont le calcul était annexé, atteignait 10'581'820 fr. et constituait un revenu imposable. Pour déterminer le montant de cet abandon, le fisc a pris en compte les sommes dues à la Banque L.________ selon la convention du 24 janvier 2000, desquelles il a soustrait le produit de la vente des biens immobiliers.

A.d. Par décisions du 2 octobre 2007, l'Administration fiscale a rejeté la réclamation des époux X.________ pour l'impôt fédéral et les impôts cantonal et communal. Aucun document probant ne confirmait que l'abandon de créances avait été compensé par les pertes prétendument subies et que A.X.________ et son frère avaient, en réalité, réalisé une perte globale de plus de 3'764'000 fr.

A.e. Le 22 novembre 2010, la Commission cantonale de recours en matière administrative du canton de Genève a rejeté le recours des époux X.________, tout en renvoyant la cause à l'Administration fiscale pour une reformatio in pejus. L'autorité de taxation avait, en effet, appris de l'Administration fédérale des contributions, alors que la cause était pendante, que A.X.________ avait bénéficié de prestations appréciables en argent de la société D.________ SA de 2001 à 2006 se montant, pour 2004, à 281'000 fr.; l'intéressé ne contestait ni le principe, ni le montant de la reprise. En ce qui concerne la perte de 3'764'169 fr., ladite Commission a estimé qu'elle n'avait été ni comptabilisée, ni mentionnée dans la déclaration d'impôt; A.X.________ admettait d'ailleurs n'avoir pas tenu de comptabilité et n'avait fourni aucune pièce comptable à l'appui de sa déclaration.

B.

Par arrêt du 24 avril 2012, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours de A.X.________ tant pour l'impôt fédéral direct que pour les impôts cantonal et communal 2004. Selon cette autorité judiciaire, l'intéressé n'ayant pas établi, par des pièces comptables probantes, l'existence des pertes commerciales dont il se prévalait, et qu'il ne parvenait d'ailleurs pas à chiffrer exactement, c'était à bon droit que l'Administration fiscale avait refusé d'en tenir compte. Les décisions de taxation litigieuses respectaient, en outre, le principe de l'imposition selon la capacité contributive.

C.

Agissant par la voie du recours en matière de droit public, A.X.________ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 24 avril 2012 de la Cour de justice et de renvoyer le dossier à l'Administration fiscale afin qu'elle établisse de nouveaux bordereaux 2004 dans le sens des considérants.

L'Administration fiscale conclut au rejet du recours, sous suite de frais. L'Administration fédérale des contributions se réfère aux déterminations de l'Administration fiscale et demande également le rejet du recours. La Cour de justice persiste dans les considérants et le dispositif de son arrêt.

Par ordonnance du 12 juillet 2012, le Président de la IIe Cour de droit public a octroyé l'effet suspensif au recours.

A.X.________ s'est encore prononcé par écriture du 14 septembre 2012.

Considérant en droit:

1.

La Cour de justice a rendu une seule décision valant pour l'impôt fédéral direct et les impôts cantonal et communal, ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. ATF 135 II 260 consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher au recourant d'avoir, dans son recours au Tribunal fédéral, pris des conclusions valant pour les deux catégories d'impôts (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'impôt fédéral direct (2C_550/2012) et l'autre les impôts cantonal et communal (2C_549/2012). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).

2.

2.1. L'arrêt attaqué concerne le revenu imposable de la période fiscale 2004. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'art. 83 LTF n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'art. 82 let. a LTF. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste l'existence de cette voie de droit pour l'impôt fédéral direct. S'agissant des impôts cantonal et communal, l'imposition du revenu (art. 7 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]) et la déduction des pertes résultant d'une activité lucrative indépendante (art. 10 al. 1 let. c LHID) étant des matières harmonisées, la voie du recours en matière de droit public est aussi réservée par l'art. 73 al. 1 LHID (cf. ATF 134 II 186 ss).

2.2. Pour le surplus, le recours remplit les conditions des art. 42 et 82 ss LTF et est, par conséquent, recevable.

I. Impôt fédéral direct

3.

Le recourant ne conteste pas que l'abandon de créances, octroyé par la banque en sa faveur dans le cadre de son activité de commerçant d'immeubles, constitue un revenu imposable (art. 18 al. 1 LIFD). En revanche, il prétend que cet abandon est compensé par la perte de 3'764'169 fr. qu'il aurait subie sur des éléments de sa fortune commerciale.

3.1. L'art. 25 LIFD prévoit que le revenu net se calcule en défalquant du total des revenus imposables les déductions générales et les frais mentionnés aux art. 26 à 33a LIFD.

Selon l'art. 27 LIFD, les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel (al. 1). Font notamment partie de ces frais les pertes effectives sur des éléments de la fortune commerciale, à condition qu'elles aient été comptabilisées (al. 2 let. b).

D'après l'art. 125 al. 2 LIFD, les personnes physiques dont le revenu provient d'une activité lucrative indépendante et les personnes morales doivent joindre à leur déclaration les extraits de comptes signés (bilan, compte de résultats) de la période fiscale ou, à défaut d'une comptabilité tenue conformément à l'usage commercial, un état des actifs et des passifs, un relevé des recettes et des dépenses, ainsi que des prélèvements et apports privés.

L'art. 125 al. 2 LIFD ne précise pas ce qu'il faut entendre par "état des actifs et des passifs, relevé des recettes et des dépenses ainsi que des prélèvements et apports privés". Les exigences auxquelles doivent répondre ces états dépendent des circonstances du cas d'espèce, en particulier du type d'activité et de l'ampleur de cette dernière. Dans tous les cas, ils doivent être propres à garantir une saisie complète et fiable du revenu et de la fortune liés à l'activité lucrative indépendante et pouvoir être contrôlés dans des conditions raisonnables par les autorités fiscales (RF 62/2007 p. 369 ss, 2A.300/2006 consid. 3.4; Archives 73 p. 656, 2A.272/2003; Martin Zweifel, in: Martin Zweifel/Peter Athanas, Kommentar zum schweizerischen Steuerrecht, I/2a, Bundesgesetz über die direkte Bundessteuer (DBG), 2ème éd., 2008, n° 28 ss ad art. 125 LIFD p. 296; cf. circulaire n° 2 de l'Administration fédérale des contributions publiée en janvier 1980 sur l'obligation de conserver les documents et pièces justificatives et d'établir des relevés et des états faite aux contribuables exerçant une activité lucrative indépendante, in Archives 48 p. 412). Il n'appartient pas aux autorités fiscales de rétablir la comptabilité défaillante du contribuable (RDAF 2007 II 252 consid. 4.1, 2C_295/2006).

Selon le principe de l'art. 8 CC, également applicable en matière fiscale, il incombe à celui qui fait valoir l'existence d'un fait de nature à éteindre ou à diminuer sa dette fiscale d'en apporter la preuve et de supporter les conséquences de l'échec de cette preuve (ATF 121 II 257 consid. 4c/aa p. 266 et les arrêts cités; RDAF 2009 II p. 560, 2C_199/2009 consid. 3.1).

3.2.

3.2.1. Le recourant a un statut d'indépendant puisqu'il est considéré comme un commerçant professionnel d'immeubles. Il doit donc tenir une comptabilité, ou du moins l'état de ses actifs et passifs, les relevés des recettes et des dépenses ainsi que des prélèvements et apports privés.

A l'appui de sa déclaration fiscale 2004, le recourant n'a fourni, outre la liste nominale de ses actifs professionnels (sans aucune donnée chiffrée), de ses dettes et des intérêts y relatifs, qu'un compte d'exploitation non signé et pour le moins succinct (cf. partie "Faits" let. Ab) qu'aucune pièce comptable ne vient corroborer. Ce compte fait état, pour l'exercice 2004, d'un bénéfice de 38'000 fr. Ce bénéfice a été reporté dans la déclaration fiscale, déclaration dans laquelle le recourant ne revendique pas la déduction d'une perte commerciale quelconque; il n'y mentionne du reste pas non plus l'abandon de créances de la banque en sa faveur. En conséquence, dans la mesure où le recourant requiert maintenant une perte de 3'764'169 fr., on doit constater que les relevés ne répondent pas aux exigences de l'art. 125 al. 2 LIFD puisqu'ils ne font pas ressortir cette dette - et qu'ils montrent, au contraire, un bénéfice de 38'000 fr. - et ne permettent dès lors pas une saisie complète et fiable du revenu et de la fortune du contribuable; en conséquence, l'autorité de taxation a dû effectuer des recherches auprès d'autres autorités pour déterminer la situation de celui-ci et ainsi pallier aux carences de ces relevés. Le recourant admet au demeurant n'avoir tenu qu'une comptabilité lacunaire, ce qui est pour le moins étonnant compte tenu de l'importance des montants investis. Quant au tableau annexé au courrier du 18 avril 2007 adressé à l'Administration fiscale, et qui fait état de la perte de 3'764'169 fr. (cf. partie "Faits" fin de la let. Ab), il n'a pas de valeur probante puisqu'il n'est étayé par aucune pièce. Or, il incombait au recourant d'apporter la preuve de cette perte (cf. consid. 3.1). De plus, ce tableau a été établi après la clôture de l'exercice 2004 et il n'est ni daté ni signé. Il ne prouve, au surplus, pas que la totalité des prêts hypothécaires a été consacrée à l'achat des actifs immobiliers.

En outre, d'après ce qu'il ressort du dossier, les ventes d'immeubles ayant engendré des pertes n'ont pas toutes été réalisées en 2004. Des actifs ont été vendus aux enchères avant cette année-là. Le recourant, qui a l'obligation de clôturer ses comptes à chaque période fiscale (art. 210 al. 3 LIFD), devait donc comptabiliser les pertes dans le compte actif des immeubles touchés et comme charge au compte de pertes et profits, lors de chaque exercice commercial où celles-ci sont survenues, puis les reporter dans la déclaration d'impôt de la période fiscale concernée (art. 210 al. 2 LIFD). Par la suite, il aurait pu déduire les pertes cumulées de ses éventuels bénéfices (art. 211 LIFD). Il appartenait aussi au recourant de clairement séparer ses affaires de celle de son frère puisqu'ils sont deux sujets fiscaux distincts. Or, bien que selon la convention du 24 janvier 2000, A.X.________ fût débiteur de la banque d'un montant de 9'751'306 fr. et B.X.________ d'un montant de 1'140'430 fr. et qu'ils ne fussent pas propriétaires des mêmes biens, ils revendiquent tous deux une perte identique de 3'764'169 fr.

3.2.2. Le recourant a prétendu, tout au long de la procédure, qu'il n'était pas en mesure de fournir une comptabilité complète des transactions concernées car les faits remontaient à plus de dix ans et qu'il n'était donc plus en possession des pièces; en outre, l'essentiel des ventes d'immeubles avait été opéré par différents offices de poursuites et faillites dans le cadre de ventes forcées (faillites ou poursuites en réalisation de gages), de sorte qu'il n'avait disposé des informations sur les ventes que tardivement et de manière totalement lacunaire; il lui était ainsi impossible de tenir une comptabilité.

Comme le relève l'intéressé, l'art. 126 al. 3 LIFD n'oblige les personnes physiques qui exercent une activité lucrative indépendante à conserver les livres ou les relevés prévus à l'art. 125 al. 2 LIFD, ainsi que les pièces justificatives, que durant dix ans. Toutefois, ce délai présuppose que le contribuable a remis, avec la déclaration d'une période fiscale donnée, les comptes correctement tenus de l'exercice concerné. Comme on l'a vu ci-dessus, tel n'a pas été le cas en l'espèce. Ce délai ne saurait servir de justification aux manquements du contribuable quant à ses devoirs en matière fiscale.

Quant à l'argument tiré du fait que les ventes ont été effectuées par les offices de poursuites et faillites, il n'est pas pertinent. Comme le souligne le recourant, ses immeubles ont été placés sous gérance légale (art. 101 al. 1 de l'ordonnance du 23 avril 1920 du Tribunal fédéral sur la réalisation forcée des immeubles [ORFI; RS 281.42]). Celle-ci a, notamment, pour conséquence l'indisponibilité des immeubles et le transfert des pouvoirs de gestion à l'office des poursuites et faillites (Valérie Défago Gaudin, L'immeuble dans la LP: indisponibilité et gérance légale, 2006, p. 71 ss, spéc. no 259 p. 72; cf. aussi Eduard Brand, Die betreibungsrechtliche Zwangsverwertung von Grundstücken im Pfandverwertungsverfahren, 2008, p. 65 ss, spéc. no 2.1 p. 76; Sylvain Marchand, La gérance d'immeubles, conventionnelle et légale, in: Séminaire sur le droit du bail, 2006, n° 6). Puisqu'il perçoit des fonds provenant de l'immeuble à mettre en vente (loyers, etc.) et effectue des paiements, le gérant légal a pour tâche de tenir une comptabilité. L'ordonnance du 5 juin 1996 du Tribunal fédéral sur les formulaires et registres à employer en matière de poursuite pour dettes et faillite et sur la comptabilité (Oform; RS 281.31) règle plus précisément la façon de procéder en la matière aux art. 14 ss. Un compte spécial est ouvert dans le grand livre pour chaque immeuble donnant lieu à l'encaissement de loyers ou dont l'office a assumé l'administration à la suite de la saisie (art. 15 des instructions de la Chambre des poursuites et faillites du Tribunal fédéral au sujet des formulaires et autres pièces concernant la réalisation forcée des immeubles des 7 octobre 1920/29 novembre 1976/22 juillet 1996, in: Bulletin des préposés aux poursuites et faillites 1996 p. 167). Or, la loi prévoit expressément que le débiteur, soit en l'espèce le recourant, peut consulter en tout temps le compte détaillé des recettes et dépenses (art. 21 ORFI). Ces dispositions s'appliquent aussi dans la poursuite en réalisation de gage (Défago Gaudin, op. cit., p. 164). L'intéressé pouvait donc se procurer les informations nécessaires à l'établissement de ses comptes (au sens large) pour tous ses immeubles. Si obtenir ces renseignements requerrait du temps, il lui appartenait d'en faire part au fisc et de requérir un délai pour le dépôt de sa déclaration fiscale. En ce qui concerne la période fiscale 2004, le recourant a simplement annexé à sa déclaration des documents lacunaires sans déclarer qu'ils étaient provisoires et qu'il devait obtenir des informations des offices afin d'être en mesure de clôturer ses comptes. Il ne prétend d'ailleurs pas avoir essayé de les obtenir en temps voulu. Il a tout de même produit des classeurs de pièces en 2008, devant la Commission cantonale de recours en matière administrative, ce qui démontre qu'il était possible de se les procurer.

3.3. En conclusion, la perte de 3'764'169 fr. n'a pas été comptabilisée. La condition de l'art. 27 al. 2 let. b LIFD n'est dès lors pas remplie et la perte n'est pas déductible du revenu imposable. Elle ne l'est pas non plus dans le cadre d'un éventuel assainissement comme revendiqué par le recourant (art. 31 al. 2 LIFD). En outre, le refus de porter la perte en déduction du revenu imposable ne viole pas le principe de l'imposition selon la capacité contributive (cf. art. 127 al. 2 Cst., ATF 131 II 562 consid. 3.7 p. 569 et les arrêts cités); ce principe ne saurait pallier les comptes défaillants du recourant et suppléer à l'absence de réalisation des conditions légales de la déduction des pertes.

4.

Le recourant estime, d'une part, qu'il serait contraire au principe de la proportionnalité d'exiger qu'il détermine le montant exact de ses pertes; il a établi que ce montant dépassait celui de l'abandon de créances, ce qui serait suffisant, étant donné qu'il n'est pas astreint à tenir une comptabilité au sens des art. 957 ss CO.

D'autre part, en considérant le tableau du 18 avril 2007 (cf. partie "Faits" fin de la let. Ab), qui fixe la perte à 3'764'169 fr., comme ayant été constitué trop tard et comme inapte à prouver la perte, le fisc aurait fait preuve de formalisme excessif.

4.1. Le contribuable doit remplir la formule de déclaration d'impôt de manière conforme à la vérité et complète (art. 124 al. 2 LIFD). Il doit ainsi faire tout ce qui est nécessaire pour assurer une taxation complète et exacte (art. 126 al. 1 LIFD). Lorsque le contribuable se heurte à une incertitude quant à un élément de fait, il ne doit pas la dissimuler, mais bien la signaler dans sa déclaration. Le contribuable porte ainsi la responsabilité de l'exactitude de sa déclaration (RDAF 2009 II 408, 2C_47/2009 consid. 5 et les références citées).

4.2. Comme on l'a vu ci-dessus, la perte alléguée ne ressortait pas de la déclaration fiscale 2004, ni des documents remis avec cette déclaration, puisqu'elle n'a pas été comptabilisée. Le tableau du 18 avril 2007, faisant état de la perte de 3'764'169 fr., fourni à la suite des demandes de renseignements du fisc, a été établi après la clôture de l'exercice 2004 et il n'est, de plus, pas probant puisqu'aucun justificatif ne l'accompagnait. Le recourant n'a ainsi pas rempli ses obligations et n'a pas prouvé le montant de la perte dont il demande la déduction. Le refus d'en tenir compte n'est que la conséquence de ces défaillances, et l'autorité de taxation n'a fait qu'appliquer les différentes dispositions légales qui imposaient au recourant, outre de comptabiliser cette perte, de déposer une déclaration d'impôt complète.

Dans ces conditions, le principe de proportionnalité a été respecté. Sans compter qu'il est pour le moins étonnant de prétendre à la déduction d'une perte sans pouvoir en chiffrer le montant exact.

4.3. Quant au principe de l'interdiction du formalisme excessif (art. 29 al. 1 Cst.), il protège contre l'application d'une règle de procédure qui n'est justifiée par aucun intérêt digne de protection, de sorte que, notamment, elle complique de manière insoutenable la mise en oeuvre du droit matériel (cf. ATF 134 II 244 consid. 2.4.2 p. 248; 132 I 249 consid. 5 p. 253 et les arrêts cités).

En l'espèce, en considérant que les comptes du recourant ne répondaient pas aux exigences de l'art. 125 al. 2 LIFD, que la perte de 3'764'169 fr. n'avait pas été comptabilisée et qu'ainsi les conditions de l'art. 27 al. 2 let. b LIFD n'étaient pas remplies, l'autorité précédente a appliqué le droit matériel. Le grief présenté comme une violation du principe de l'interdiction du formalisme excessif se confond, en réalité, avec les griefs relatifs à la violation de la LIFD qui ont été rejetés ci-dessus. Il doit par conséquent aussi être rejeté.

I I. Impôts cantonal et communal

5.

5.1. La présente cause a trait à la période fiscale 2004. Selon l'art. 72 al. 1 de la loi genevoise du 27 septembre 2009 sur l'imposition des personnes physiques (LIPP; RS/GE D 3 08), entrée en vigueur le 1 er janvier 2010 (art. 71 LIPP), cette loi s'applique pour la première fois aux impôts de la période fiscale 2010; les impôts relatifs aux périodes fiscales antérieures demeurent régis par les dispositions de l'ancien droit, même après l'entrée en vigueur de ladite loi. S'applique, dès lors, au présent litige, la loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques (aLIPP-V), en vigueur du 1er janvier 2001 au 31 décembre 2009 (art. 69 al. 1 let. e LIPP).

5.2. L'art. 10 al. 1 let. c LHID a la même teneur que l'art. 27 al. 1 et 2 let. b LIFD et prévoit donc que les pertes effectives, qui ont été comptabilisées et qui sont réalisées sur des éléments de la fortune commerciale des contribuables exerçant une activité lucrative indépendante, constituent des frais qui sont justifiés par l'usage commercial ou professionnel et peuvent être déduites. Cette règle s'impose en droit genevois même si elle n'est pas expressément reprise par l'art. 3 al. 3 aLIPP-V, qui prévoit uniquement que sont déduits du revenu provenant d'une activité lucrative indépendante les frais qui sont justifiés par l'usage commercial ou professionnel, tout en donnant une liste exemplative de ces frais parmi lesquels ne sont pas mentionnées les pertes effectives sur des éléments de la fortune commerciale. L'art. 3 al. 3 let. f aLIPP-V arrête, toutefois, que les pertes de sept exercices au plus précédant la période fiscale, pour la part qui n'a pas pu être déduite dans la taxation de l'impôt d'années antérieures, font partie des frais déductibles.

L'art. 42 al. 1 LHID, identique à l'art. 126 al. 1 LIFD qui impose au contribuable de faire tout ce qui est nécessaire pour assurer une taxation complète et exacte, est repris à l'art. 31 al. 1 de la loi genevoise du 4 octobre 2001 de procédure fiscale (LPFisc; RS/GE D 3 17), entrée en vigueur le 1 er janvier 2002, (cf. aussi art. 26 al. 2 LPFisc). De plus, l'art. 29 al. 2 LPFisc impose, conformément à l'art. 42 al. 3 LHID, aux personnes physiques, dont le revenu provient d'une activité lucrative indépendante, de joindre à leur déclaration, à chaque période fiscale, les extraits de comptes signés de la période concernée ou, à défaut d'une comptabilité tenue conformément à l'usage commercial, un état des actifs et des passifs, un relevé des recettes et des dépenses, ainsi que des prélèvements et apports privés; il a la même teneur que l'art. 125 al. 2 LIFD.

En conséquence, les considérations développées ci-dessus en matière d'impôt fédéral direct s'appliquent mutatis mutandis à l'impôt cantonal et communal et le recours doit également être rejeté en ce qui les concerne.

6.

Compte tenu ce qui précède, le recours doit être rejeté tant en ce qui concerne l'impôt fédéral direct que l'impôt cantonal et communal 2004.

Succombant, le recourant doit supporter un émolument judiciaire (cf. art. 66 al. 1 LTF). Il n'est pas alloué de dépens (cf. art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:

1.

Les causes 2C_ 549/2012 et 2C_ 550/2012 sont jointes.

2.

Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct (cause 2C_550/2012).

3.

Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal (cause 2C_549/2012).

4.

Les frais judiciaires, arrêtés à 14'000 fr., sont mis à la charge du recourant.

5.

Le présent arrêt est communiqué aux mandataires du recourant, à l'Administration fiscale cantonale et à la Cour de justice, Chambre administrative, 2 ème section, de la République et canton de Genève, ainsi qu'à l'Administration fédérale des contributions.

Lausanne, le 16 mai 2013

Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse

Le Président: Zünd

La Greffière: Kurtoglu-Jolidon