{T 0/2}
2C_551/2012
2C_553/2012
Arrêt du 16 mai 2013
IIe Cour de droit public
Composition
MM. les Juges fédéraux Zünd, Président,
Donzallaz et Stadelmann.
Greffère: Mme Kurtoglu-Jolidon.
Participants à la procédure
B.X.________, représenté par Maîtres Alexandre Faltin et Dominique Gay,
avocats,
recourant,
contre
Administration fiscale cantonale
du canton de Genève.
Objet
2C_551/2012
Impôts cantonal et communal 2004,
2C_553/2012
Impôt fédéral direct 2004,
recours contre l'arrêt de la Cour de justice
de la République et canton de Genève,
Chambre administrative, 2ème section, du 24 avril 2012.
A.a. B.X.________, domicilié dans le canton de Genève, exerce une activité lucrative indépendante dans l'immobilier. Durant les années quatre-vingt, il a acquis divers immeubles en nom propre, ainsi que des participations dans des sociétés immobilières, dont certains en association avec son frère A.X.________. Afin de financer ces acquisitions, B.X.________ et A.X.________ ont contracté des emprunts hypothécaires, principalement auprès de la Banque E.________ (aujourd'hui et ci-après : Banque L.________), pour un montant total de plus 18'000'000 fr. Le marché immobilier s'étant effondré au début des années nonante, B.X.________ n'a plus pu remplir ses obligations financières. Les contrats de prêts ont alors été résiliés, des poursuites engagées et les actifs immobiliers réalisés.
Le 24 janvier 2000, les frères X.________ et la SI Z.________, dont les précités étaient propriétaires, ont conclu une convention avec la Banque L.________. B.X.________ reconnaissait devoir à la banque la somme de 1'140'430 fr., ainsi que 6'075'709 fr. en qualité de codébiteur solidaire avec A.X.________, tandis que la SI Z.________ devait un montant de 565'319 fr. la Banque L.________ s'engageait à abandonner ses créances à l'encontre de ses trois débiteurs à condition que B.X.________ et A.X.________ lui versent la somme de 1'000'000 fr. par tranches dégressives échelonnées de juin 2000 à juin 2004. De plus, les frères X.________ s'engageaient à remettre à la banque le produit de la vente des biens immobiliers à réaliser.
Dans leur déclaration fiscale 2003, les époux X.________ ont fait état d'un revenu imposable pour l'impôt fédéral direct de 111'613 fr. et de 99'570 fr. pour les impôts cantonal et communal, ainsi que d'une fortune imposable nulle. Ils y mentionnaient des dettes hypothécaires se montant à 2'992'794 fr.
Par courrier du 30 août 2004, la Banque L.________ a confirmé à A.X.________ que les conditions de la convention du 24 janvier 2000 avaient été respectées par les débiteurs et qu'en conséquence elle abandonnait le solde de ses créances.
A.b. La déclaration fiscale 2004 des époux X.________ montrait un revenu net imposable de 204'364 fr. pour l'impôt fédéral direct et de 188'902 fr. pour l'impôt cantonal; la fortune imposable était nulle. Les dettes hypothécaires se montaient à 1'454'753 fr. Ils joignaient un tableau détaillant les dettes et les intérêts y relatifs afférents à l'activité lucrative indépendante de l'intéressé; la Banque L.________ ne figurait plus parmi les créanciers.
Après que l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale) eut demandé à deux reprises à B.X.________ de lui remettre une attestation de la Banque L.________ indiquant le montant total de l'abandon de créances dont il avait bénéficié en application de ladite convention, celui-ci a expliqué, par courriel du 20 février 2007, que l'abandon de créances avait été largement compensé par des pertes immobilières. Le 1 er mars 2007, l'Administration fiscale a reçu les frères X.________ et leur avocat; elle leur a ensuite imparti un délai au 20 avril 2007 pour produire des pièces attestant l'absence de bénéfices lors des ventes immobilières forcées. Par courrier du 18 avril 2007, B.X.________ et A.X.________ ont détaillé leur situation: lors de l'effondrement du marché immobilier dans les années nonante, leurs immeubles gagés et les sociétés immobilières avaient fait l'objet de réalisations forcées, respectivement avaient été vidées de leur substance; ils avaient perdu la totalité de leurs fonds propres; la Banque L.________ avait accepté de renoncer au remboursement des dettes non couvertes par la vente de ces biens, moyennant un paiement supplémentaire de 1'000'000 fr.; les pertes immobilières subies à cause de l'effondrement du marché avaient largement compensé cet abandon de créances; il n'était pas possible à B.X.________ et A.X.________ de fournir une comptabilité complète des transactions concernées; les acquisitions des parts de sociétés immobilières remontaient aux années quatre-vingt et les pièces y relatives n'avaient pas été conservées, s'agissant d'opérations remontant à plus de dix ans; de plus, l'essentiel des pièces avait été saisi par les offices des poursuites et faillites et les ventes avaient été opérées par ceux-ci; ils n'avaient donc pas accès aux informations utiles. Ils joignaient à leur courrier un tableau qui récapitulait les acquisitions opérées pour un prix global de 19'731'616 fr. et qui avaient été financées par des fonds étrangers à hauteur de 18'096'535 fr.; au moment de la signature de la convention avec la Banque L.________, les hypothèques avaient été globalement remboursées de 1'129'087 fr.; les fonds propres que le contribuable et son frère avaient investis, soit 1'635'082 fr. avaient été perdus; leur perte était estimée à 3'764'169 fr. Aucune pièce n'était jointe à ce tableau.
A.c. Le 8 mai 2007, l'Administration fiscale a notifié aux époux X.________ un bordereau de taxation arrêtant le revenu imposable pour l'impôt fédéral direct 2004 à 2'170'700 fr.; l'impôt se montait à 249'630 fr. Le revenu imposable pour l'impôt cantonal et communal 2004 était de 2'164'492 fr., la fortune imposable était nulle; l'impôt s'élevait à 681'408 fr.
Selon l'Administration fiscale, l'abandon de créances en faveur de B.X.________, dont le calcul était annexé, atteignait 1'970'944 fr. et constituait un revenu imposable. Pour déterminer le montant de cet abandon, le fisc a pris en compte les sommes dues à la Banque L.________ selon la convention du 24 janvier 2000, desquelles il a soustrait le produit obtenu de la vente des biens immobiliers.
A.d. Par décisions du 2 octobre 2007, l'Administration fiscale a rejeté la réclamation des époux X.________ pour l'impôt fédéral et les impôts cantonal et communal. Aucun document probant ne confirmait que l'abandon de créances avait été compensé par les pertes prétendument subies et que B.X.________ et son frère avaient, en réalité, réalisé une perte globale de plus de 3'764'000 fr.
A.e. Le 22 novembre 2010, la Commission cantonale de recours en matière administrative du canton de Genève a rejeté le recours des époux X.________. La perte de 3'764'000 fr. n'avait été ni comptabilisée, ni mentionnée dans la déclaration d'impôt; l'intéressé admettait d'ailleurs n'avoir pas tenu de comptabilité et n'avait fourni aucune pièce comptable à l'appui de sa déclaration.
Par arrêt du 24 avril 2012, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours de B.X.________ tant pour l'impôt fédéral direct que pour les impôts cantonal et communal 2004. L'intéressé n'avait jamais tenu de comptabilité régulière; en outre, il n'avait pas établi, par des pièces comptables probantes, l'existence des pertes commerciales dont il se prévalait, et qu'il ne parvenait pas à chiffrer exactement. C'était, dès lors, à bon droit que l'Administration fiscale avait refusé d'en tenir compte. Les décisions de taxation litigieuses respectaient, en outre, le principe de l'imposition selon la capacité contributive.
Agissant par la voie du recours en matière de droit public, B.X.________ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 24 avril 2012 de la Cour de justice et de renvoyer le dossier à l'Administration fiscale afin qu'elle établisse de nouveaux bordereaux 2004 dans le sens des considérants.
L'Administration fiscale conclut au rejet du recours, sous suite de frais. L'Administration fédérale des contributions se réfère aux déterminations de l'Administration fiscale et demande également le rejet du recours. La Cour de justice persiste dans les considérants et le dispositif de son arrêt.
Par ordonnance du 12 juillet 2012, le Président de la IIe Cour de droit public a octroyé l'effet suspensif au recours.
B.X.________ s'est encore prononcé par écriture du 14 septembre 2012.
La Cour de justice a rendu une seule décision valant pour l'impôt fédéral direct et les impôts cantonaux et communaux, ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. ATF 135 II 260 consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher au recourant d'avoir, dans son recours au Tribunal fédéral, pris des conclusions valant pour les deux catégories d'impôts (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'impôt fédéral direct (2C_553/2012) et l'autre les impôts cantonal et communal (2C_551/2012). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).
2.1. L'arrêt attaqué concerne le revenu imposable de la période fiscale 2004. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'art. 83 LTF n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'art. 82 let. a LTF. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste l'existence de cette voie de droit pour l'impôt fédéral direct. S'agissant des impôts cantonal et communal, l'imposition du revenu (art. 7 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]) et la déduction des pertes résultant d'une activité lucrative indépendante (art. 10 al. 1 let. c LHID) étant des matières harmonisées, la voie du recours en matière de droit public est aussi réservée par l'art. 73 al. 1 LHID (cf. ATF 134 II 186 ss).
2.2. Pour le surplus, le recours remplit les conditions des art. 42 et 82 ss LTF et est, par conséquent, recevable.
I. Impôt fédéral direct
Le recourant ne conteste pas que l'abandon de créances, octroyé par la banque en sa faveur dans le cadre de son activité de commerçant d'immeubles, constitue un revenu imposable (art. 18 al. 1 LIFD). En revanche, il prétend que cet abandon est compensé par la perte de 3'764'169 fr. qu'il aurait subie sur des éléments de sa fortune commerciale.
3.1. L'art. 25 LIFD prévoit que le revenu net se calcule en défalquant du total des revenus imposables les déductions générales et les frais mentionnés aux art. 26 à 33a LIFD.
Selon l'art. 27 LIFD, les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel (al. 1). Font notamment partie de ces frais les pertes effectives sur des éléments de la fortune commerciale, à condition qu'elles aient été comptabilisées (al. 2 let. b).
D'après l'art. 125 al. 2 LIFD, les personnes physiques dont le revenu provient d'une activité lucrative indépendante et les personnes morales doivent joindre à leur déclaration les extraits de comptes signés (bilan, compte de résultats) de la période fiscale ou, à défaut d'une comptabilité tenue conformément à l'usage commercial, un état des actifs et des passifs, un relevé des recettes et des dépenses, ainsi que des prélèvements et apports privés.
L'art. 125 al. 2 LIFD ne précise pas ce qu'il faut entendre par "état des actifs et des passifs, relevé des recettes et des dépenses ainsi que des prélèvements et apports privés". Les exigences auxquelles doivent répondre ces états dépendent des circonstances du cas d'espèce, en particulier du type d'activité et de l'ampleur de cette dernière. Dans tous les cas, ils doivent être propres à garantir une saisie complète et fiable du revenu et de la fortune liés à l'activité lucrative indépendante et pouvoir être contrôlés dans des conditions raisonnables par les autorités fiscales (RF 62/2007 p. 369 ss, 2A.300/2006 consid. 3.4; Archives 73 p. 656, 2A.272/2003; Martin Zweifel, in: Martin Zweifel/Peter Athanas, Kommentar zum schweizerischen Steuerrecht, I/2a, Bundesgesetz über die direkte Bundessteuer (DBG), 2ème éd., 2008, n° 28 ss ad art. 125 LIFD p. 296; cf. circulaire n° 2 de l'Administration fédérale des contributions publiée en janvier 1980 sur l'obligation de conserver les documents et pièces justificatives et d'établir des relevés et des états faite aux contribuables exerçant une activité lucrative indépendante, in Archives 48 p. 412). Il n'appartient pas aux autorités fiscales de rétablir la comptabilité défaillante du contribuable (RDAF 2007 II 252 consid. 4.1, 2C_295/2006).
Selon le principe de l'art. 8 CC, également applicable en matière fiscale, il incombe à celui qui fait valoir l'existence d'un fait de nature à éteindre ou à diminuer sa dette fiscale d'en apporter la preuve et de supporter les conséquences de l'échec de cette preuve (ATF 121 II 257 consid. 4c/aa p. 266 et les arrêts cités; RDAF 2009 II p. 560, 2C_199/2009 consid. 3.1).
3.2.
3.2.1. Le recourant a un statut d'indépendant puisqu'il est considéré comme un commerçant professionnel d'immeubles. Il doit donc tenir une comptabilité, ou du moins l'état de ses actifs et passifs, les relevés des recettes et des dépenses ainsi que des prélèvements et apports privés.
A l'appui de sa déclaration fiscale 2004, le recourant n'a produit que la liste de ses dettes et des intérêts y relatifs; aucune pièce comptable n'y était annexée. Dans cette déclaration fiscale, le recourant ne revendique pas la déduction d'une perte commerciale quelconque; il n'y mentionne du reste pas non plus l'abandon de créances de la banque en sa faveur. Il n'a ainsi fourni aucun document comptable quelconque contrairement à ce qu'exige l'art. 125 al. 2 LIFD. Le recourant n'a pas tenu de comptabilité, ni état de ses actifs et passifs et relevés des recettes et des dépenses, ainsi que des prélèvements et apports privés. En ce qui concerne le tableau annexé au courrier du 18 avril 2007 adressé à l'Administration fiscale, et qui fait état de la perte de 3'764'169 fr. (cf. partie "Faits" fin de la let. Ab), il n'a pas de valeur probante puisqu'il n'est étayé par aucune pièce. Or, il incombait au recourant d'apporter la preuve de cette perte (cf. consid. 3.1). De plus, ce tableau a été établi après la clôture de l'exercice 2004, sans compter qu'il n'est ni daté ni signé. Il ne prouve, au surplus, pas que la totalité des prêts hypothécaires a été consacrée à l'achat des actifs immobiliers.
En outre, d'après ce qu'il ressort du dossier, les ventes d'immeubles ayant engendré des pertes n'ont pas toutes été réalisées en 2004. Des actifs ont été vendus aux enchères avant cette année-là. Le recourant, qui a l'obligation de clôturer ses comptes à chaque période fiscale (art. 210 al. 3 LIFD), devait donc comptabiliser les pertes dans le compte actif des immeubles touchés et comme charge au compte de pertes et profits, lors de chaque exercice commercial où celles-ci sont survenues, puis les reporter dans la déclaration d'impôt de la période fiscale concernée (art. 210 al. 2 LIFD). Par la suite, il aurait pu déduire les pertes cumulées de ses éventuels bénéfices (art. 211 LIFD). Il appartenait aussi au recourant de clairement séparer ses affaires de celle de son frère puisqu'ils sont deux sujets fiscaux distincts. Or, bien que selon la convention du 24 janvier 2000, B.X.________ soit débiteur de la banque d'un montant de 1'140'430 et A.X.________ d'un montant de 9'751'306 fr. et qu'ils ne fussent pas propriétaires des mêmes biens, ils revendiquent tous deux une perte identique de 3'764'169 fr.
3.2.2. Le recourant a prétendu, tout au long de la procédure, qu'il n'était pas en mesure de fournir une comptabilité complète des transactions concernées car les faits remontaient à plus de dix ans et qu'il n'était donc plus en possession des pièces; en outre, l'essentiel des ventes d'immeubles avait été opéré par différents offices de poursuites et faillites dans le cadre de ventes forcées (faillites ou poursuites en réalisation de gages), de sorte qu'il n'avait disposé des informations sur les ventes que tardivement et de manière totalement lacunaire; il lui était ainsi impossible de tenir une comptabilité.
Comme le relève l'intéressé, l'art. 126 al. 3 LIFD n'oblige les personnes physiques qui exercent une activité lucrative indépendante à conserver les livres ou les relevés prévus à l'art. 125 al. 2 LIFD, ainsi que les pièces justificatives, que durant dix ans. Toutefois, ce délai présuppose que le contribuable a remis, avec la déclaration d'une période fiscale donnée, les comptes correctement tenus de l'exercice concerné. Comme on l'a vu ci-dessus, tel n'a pas été le cas en l'espèce. Ce délai ne saurait servir de justification aux manquements du contribuable quant à ses devoirs en matière fiscale.
Quant à l'argument tiré du fait que les ventes ont été effectuées par les offices de poursuites et faillites, il n'est pas pertinent. Comme le souligne le recourant, ses immeubles ont été placés sous gérance légale (art. 101 al. 1 de l'ordonnance du 23 avril 1920 du Tribunal fédéral sur la réalisation forcée des immeubles [ORFI; RS 281.42]). Celle-ci a, notamment, pour conséquence l'indisponibilité des immeubles et le transfert des pouvoirs de gestion à l'office des poursuites et faillites (Valérie Défago Gaudin, L'immeuble dans la LP: indisponibilité et gérance légale, 2006, p. 71 ss, spéc. no 259 p. 72; cf. aussi Eduard Brand, Die betreibungsrechtliche Zwangsverwertung von Grundstücken im Pfandverwertungsverfahren, 2008, p. 65 ss, spéc. no 2.1 p. 76; Sylvain Marchand, La gérance d'immeubles, conventionnelle et légale, in: Séminaire sur le droit du bail, 2006, no 6). Puisqu'il perçoit des fonds provenant de l'immeuble à mettre en vente (loyers, etc.) et effectue des paiements, le gérant légal a pour tâche de tenir une comptabilité. L'ordonnance du 5 juin 1996 du Tribunal fédéral sur les formulaires et registres à employer en matière de poursuite pour dettes et faillite et sur la comptabilité (Oform; RS 281.31) règle plus précisément la façon de procéder en la matière aux art. 14 ss. Un compte spécial est ouvert dans le grand livre pour chaque immeuble donnant lieu à l'encaissement de loyers ou dont l'office a assumé l'administration à la suite de la saisie (art. 15 des instructions de la Chambre des poursuites et faillites du Tribunal fédéral au sujet des formulaires et autres pièces concernant la réalisation forcée des immeubles des 7 octobre 1920/29 novembre 1976/22 juillet 1996, in: Bulletin des préposés aux poursuites et faillites 1996 p. 167). Or, la loi prévoit expressément que le débiteur, soit en l'espèce le recourant, peut consulter en tout temps le compte détaillé des recettes et dépenses (art. 21 ORFI). Ces dispositions s'appliquent aussi dans la poursuite en réalisation de gage (Défago Gaudin, op. cit., p. 164). L'intéressé pouvait donc se procurer les informations nécessaires à l'établissement de ses comptes (au sens large) pour tous ses immeubles. Si obtenir ces renseignements requerrait du temps, il lui appartenait d'en faire part au fisc et de requérir un délai pour le dépôt de sa déclaration fiscale. En ce qui concerne la période fiscale 2004, le recourant a simplement annexé à sa déclaration des documents lacunaires sans déclarer qu'ils étaient provisoires et qu'il devait obtenir des informations des offices afin d'être en mesure de clôturer ses comptes. Il ne prétend d'ailleurs pas avoir essayé de les obtenir en temps voulu. Il a tout de même produit des classeurs de pièces en 2008, devant la Commission cantonale de recours en matière administrative, ce qui démontre qu'il était possible de se les procurer.
3.3. En conclusion, la perte de 3'764'169 fr. n'a pas été comptabilisée. La condition de l'art. 27 al. 2 let. b LIFD n'est dès lors pas remplie et la perte n'est pas déductible du revenu imposable. Elle ne l'est pas non plus dans le cadre d'un éventuel assainissement comme revendiqué par le recourant (art. 31 al. 2 LIFD). En outre, le refus de porter la perte en déduction du revenu imposable ne viole pas le principe de l'imposition selon la capacité contributive (cf. art. 127 al. 2 Cst., ATF 131 II 562 consid. 3.7 p. 569 et les arrêts cités); ce principe ne saurait pallier les comptes défaillants du recourant et suppléer à l'absence de réalisation des conditions légales de la déduction des pertes.
Le recourant estime qu'il serait contraire au principe de la proportionnalité d'exiger qu'il détermine le montant exact de ses pertes; il a établi que ce montant dépassait celui de l'abandon de créances, ce qui serait suffisant, étant donné qu'il n'est pas astreint à tenir une comptabilité au sens des art. 957 ss CO. En considérant le tableau du 18 avril 2007 (cf. partie "Faits" fin de la let. Ab), qui fixe la perte à 3'764'169 fr., comme ayant été constitué trop tard et comme inapte à prouver la perte, le fisc aurait, en outre, fait preuve de formalisme excessif.
4.1. Le contribuable doit remplir la formule de déclaration d'impôt de manière conforme à la vérité et complète (art. 124 al. 2 LIFD). Il doit ainsi faire tout ce qui est nécessaire pour assurer une taxation complète et exacte (art. 126 al. 1 LIFD). Lorsque le contribuable se heurte à une incertitude quant à un élément de fait, il ne doit pas la dissimuler, mais bien la signaler dans sa déclaration. Le contribuable porte ainsi la responsabilité de l'exactitude de sa déclaration (RDAF 2009 II 408, 2C_47/2009 consid. 5 et les références citées).
4.2. Comme on l'a vu ci-dessus, la perte alléguée ne ressortait pas de la déclaration fiscale 2004, ni des documents remis avec cette déclaration, puisque le recourant ne tenait pas de comptabilité. Le tableau du 18 avril 2007, faisant état de la perte de 3'764'169 fr., fourni à la suite des demandes de renseignements du fisc, a été établi après la clôture de l'exercice 2004 et il n'est, de plus, pas probant puisqu'aucun justificatif ne l'accompagnait. Le recourant n'a ainsi pas rempli ses obligations et n'a pas prouvé le montant de la perte dont il demande la déduction. Le refus d'en tenir compte n'est que la conséquence de ces défaillances, et l'autorité de taxation n'a fait qu'appliquer les différentes dispositions légales qui imposaient au recourant, outre de comptabiliser cette perte, de déposer une déclaration d'impôt complète.
Dans ces conditions, le principe de proportionnalité a été respecté. Sans compter qu'il est pour le moins étonnant de prétendre à la déduction d'une perte sans pouvoir en chiffrer le montant exact.
4.3. Quant au principe de l'interdiction du formalisme excessif (art. 29 al. 1 Cst.), il protège contre l'application d'une règle de procédure qui n'est justifiée par aucun intérêt digne de protection, de sorte que, notamment, elle complique de manière insoutenable la mise en oeuvre du droit matériel (cf. ATF 134 II 244 consid. 2.4.2 p. 248; 132 I 249 consid. 5 p. 253 et les arrêts cités).
En l'espèce, en considérant que les comptes du recourant ne répondaient pas aux exigences de l'art. 125 al. 2 LIFD, que la perte de 3'764'169 fr. n'avait pas été comptabilisée et qu'ainsi les conditions de l'art. 27 al. 2 let. b LIFD n'étaient pas remplies, l'autorité précédente a appliqué le droit matériel. Le grief présenté comme une violation du principe de l'interdiction du formalisme excessif se confond, en réalité, avec les griefs relatifs à la violation de la LIFD qui ont été rejetés ci-dessus. Il doit par conséquent aussi être rejeté.
II. Impôts cantonal et communal
5.1. La présente cause a trait à la période fiscale 2004. Selon l'art. 72 al. 1 de la loi genevoise du 27 septembre 2009 sur l'imposition des personnes physiques (LIPP; RS/GE D 3 08), entrée en vigueur le 1 er janvier 2010 (art. 71 LIPP), cette loi s'applique pour la première fois aux impôts de la période fiscale 2010; les impôts relatifs aux périodes fiscales antérieures demeurent régis par les dispositions de l'ancien droit, même après l'entrée en vigueur de ladite loi. S'applique, dès lors, au présent litige, la loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques (aLIPP-V), en vigueur du 1er janvier 2001 au 31 décembre 2009 (art. 69 al. 1 let. e LIPP).
5.2. L'art. 10 al. 1 let. c LHID a la même teneur que l'art. 27 al. 1 et 2 let. b LIFD et prévoit donc que les pertes effectives, qui ont été comptabilisées et qui sont réalisées sur des éléments de la fortune commerciale des contribuables exerçant une activité lucrative indépendante, constituent des frais qui sont justifiés par l'usage commercial ou professionnel et peuvent être déduites. Cette règle s'impose en droit genevois même si elle n'est pas expressément reprise par l'art. 3 al. 3 aLIPP-V, qui prévoit uniquement que sont déduits du revenu provenant d'une activité lucrative indépendante les frais qui sont justifiés par l'usage commercial ou professionnel, tout en donnant une liste exemplative de ces frais parmi lesquels ne sont pas mentionnées les pertes effectives sur des éléments de la fortune commerciale. L'art. 3 al. 3 let. f aLIPP-V arrête, toutefois, que les pertes de sept exercices au plus précédant la période fiscale, pour la part qui n'a pas pu être déduite dans la taxation de l'impôt d'années antérieures, font partie des frais déductibles.
L'art. 42 al. 1 LHID, identique à l'art. 126 al. 1 LIFD qui impose au contribuable de faire tout ce qui est nécessaire pour assurer une taxation complète et exacte, est repris à l'art. 31 al. 1 de la loi genevoise du 4 octobre 2001 de procédure fiscale (LPFisc; RS/GE D 3 17), entrée en vigueur le 1 er janvier 2002, (cf. aussi art. 26 al. 2 LPFisc). De plus, l'art. 29 al. 2 LPFisc impose, conformément à l'art. 42 al. 3 LHID, aux personnes physiques, dont le revenu provient d'une activité lucrative indépendante, de joindre à leur déclaration, à chaque période fiscale, les extraits de comptes signés de la période concernée ou, à défaut d'une comptabilité tenue conformément à l'usage commercial, un état des actifs et des passifs, un relevé des recettes et des dépenses, ainsi que des prélèvements et apports privés; il a la même teneur que l'art. 125 al. 2 LIFD.
En conséquence, les considérations développées ci-dessus en matière d'impôt fédéral direct s'appliquent mutatis mutandis à l'impôt cantonal et communal et le recours doit également être rejeté en ce qui les concerne.
5.3.
Compte tenu ce qui précède, le recours doit être rejeté tant en ce qui concerne l'impôt fédéral direct que l'impôt cantonal et communal 2004.
Succombant, le recourant doit supporter un émolument judiciaire (cf. art. 66 al. 1 LTF). Il n'est pas alloué de dépens (cf. art. 68 al. 3 LTF).
Les causes 2C_ 551/2012 et 2C_ 553/2012 sont jointes.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct (cause 2C_553/2012).
Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal (cause 2C_551/2012).
Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge du recourant.
Le présent arrêt est communiqué aux mandataires du recourant, à l'Administration fiscale cantonale et à la Cour de justice, Chambre administrative, 2 ème section, de la République et canton de Genève ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 16 mai 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon