2C_189/2016
2C_190/2016
Arrêt du 13 février 2017
IIe Cour de droit public
Composition
MM. et Mme les Juges fédéraux Seiler, Président,
Aubry Girardin, Donzallaz, Stadelmann et Haag.
Greffière : Mme Kleber.
Participants à la procédure
contre
Administration fiscale cantonale du canton de Genève.
Objet
2C_189/2016
Impôt cantonal et communal 2004,
2C_190/2016
Impôt fédéral direct 2004,
recours contre l'arrêt de la Cour de justice de la République et canton de Genève, Chambre administrative, 1ère section, du 19 janvier 2016.
Les époux A.A.________ et B.A.________ sont domiciliés à C.________, dans le canton de Genève. A.A.________, architecte, né en 1936, a exercé sa profession en raison individuelle jusqu'à la fin des années 1990. Il a ensuite fondé la société D.________ Sàrl, inscrite au registre du commerce genevois le 5 octobre 2000. En 2004, A.A.________ était salarié de cette société.
En vertu d'une convention conclue le 29 janvier 1999 entre A.A.________ et la banque E.________ SA, celle-ci a abandonné le 31 janvier 2004, après un remboursement partiel de 30'000 fr. effectué par mensualités de 500 fr. jusqu'à cette date, le solde de quatre créances qu'elle avait envers le prénommé. Ces créances s'élevaient au moment de la conclusion de la convention à 220'896 fr. 60, 360'226 fr. 97, 762'361 fr. 58 et 1'934'434 fr. 83, soit au total 3'277'919 fr. 98.
Dans leur déclaration fiscale 2004, les époux A.________ ont indiqué un revenu brut de 105'024 fr., entièrement issu d'une activité dépendante et de rentes de l'assurance vieillesse et survivants.
B.a. Le 7 avril 2006, l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) a envoyé aux époux A.________ les bordereaux pour les impôts cantonal et communal (ci-après: ICC) et l'impôt fédéral direct (ci-après: IFD) pour la période fiscale 2004. Elle a arrêté l'ICC à 1'041'256 fr. 90 et l'IFD à 384'410 fr., montants calculés sur la base d'un revenu imposable de 3'327'559 fr. (ICC) et 3'342'700 fr. (IFD), incluant le total de l'abandon de créances consenti par E.________ SA moins les 30'000 fr. payés à titre d'acomptes.
Le 8 mai 2006, les époux A.________ ont formé une réclamation contre les bordereaux précités, au motif que l'abandon de créances ne constituait pas un revenu imposable dès lors que les prêts consentis par E.________ SA n'étaient pas liés à des opérations commerciales. Dans un courrier du 9 décembre 2009, l'Administration fiscale a proposé aux époux A.________ de déduire du montant imposable lié à l'abandon de créances la somme de 220'896 fr., car celle-ci correspondait à une dette privée, ainsi qu'un solde de pertes non compensées au moment de la cessation de l'activité de la raison individuelle de A.A.________ de 2'092'927 fr. Les contribuables ont persisté à contester la nature professionnelle des crédits faisant l'objet de l'abandon de créances et leur prise en compte dans leur revenu imposable en 2004. Par décisions sur réclamation du 6 décembre 2010, l'Administration fiscale, se référant à son précédent courrier, a émis deux nouveaux bordereaux de taxation, fixant l'ICC à 299'129 fr. 80 et l'IFD à 118'323 fr., montants calculés sur un revenu imposable de 1'013'735 fr. (ICC) et 1'028'900 fr. (IFD).
B.b. Le 23 décembre 2010, les époux A.________ ont porté les décisions du 6 décembre 2010 devant la Commission cantonale de recours en matière administrative, devenue le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif), qui, par jugement du 30 mai 2012, a rejeté le recours et renvoyé le dossier à l'Administration fiscale pour une
reformatio in pejus, dans le sens de la prise en compte de l'entier de l'abandon de créances, sans déduction, dans le calcul du revenu brut des époux A.________.
Contre ce jugement, les contribuables ont formé un recours auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Par arrêt du 28 mai 2013, celle-ci a jugé que l'abandon de créances constituait un revenu imposable au titre de l'ICC et de l'IFD 2004. Cela valait aussi bien pour les abandons concernant des dettes privées que pour les abandons concernant des dettes commerciales, cette distinction conservant toutefois une importance dans la mesure où seul le revenu provenant de l'abandon de créances liées à des dettes commerciales pouvait être compensé avec d'éventuelles pertes commerciales subies dans l'exercice ou reportées. En conséquence, la Cour de justice a partiellement admis le recours des époux A.________ et renvoyé la cause au Tribunal administratif, afin que celui-ci détermine la nature privée ou commerciale des prêts octroyés à A.A.________ et ayant fait l'objet de la convention du 29 janvier 1999.
Par arrêt du 17 juillet 2013 (causes 2C_623/2013 et 2C_624/2013 jointes), le Tribunal fédéral a prononcé l'irrecevabilité du recours formé par les époux A.________ à l'encontre de l'arrêt du 28 mai 2013, au motif que cet arrêt ne constituait pas une décision finale dès lors que le Tribunal administratif, auquel était renvoyé la cause, disposait d'une marge d'appréciation.
B.c. Le 2 septembre 2013, les époux A.________ ont sollicité la reprise de l'instruction devant le Tribunal administratif. Dans leurs écritures, ils ont persisté à considérer que l'abandon d'une créance de nature privée n'était pas imposable. Ils ont par ailleurs fait valoir que la déduction de pertes commerciales d'un montant de 2'092'927 fr. devait être admise sur l'entier de leur revenu.
Par jugement du 18 septembre 2014, le Tribunal administratif a rejeté le recours des époux A.________ et renvoyé le dossier à l'Administration fiscale pour nouvelles taxations dans le sens des considérants. L'entier de l'abandon de créances faisant l'objet de la convention du 29 janvier 1999 devait être intégré au revenu brut 2004 des contribuables. Après correction d'une erreur de l'Administration fiscale, le montant à intégrer au revenu était arrêté à 3'247'910 fr. (recte: 3'247'919 fr.). Selon le Tribunal administratif, il n'était pas nécessaire de se prononcer sur la nature privée ou commerciale des prêts faisant l'objet de la convention du 29 janvier 1999. En effet, les contribuables pouvaient prétendre en principe à un report de pertes commerciales sur l'ensemble de leur revenu. Les conditions autorisant le report de pertes n'étaient toutefois pas réunies en l'espèce, A.A.________ ayant cessé toute activité lucrative indépendante à la fin des années 1990.
Par arrêt du 19 janvier 2016, la Cour de justice a rejeté le recours formé par les époux A.________ contre le jugement du Tribunal administratif. Contrairement au Tribunal administratif, et bien qu'elle ait indiqué que la question n'était pas pertinente, elle a examiné la nature commerciale ou privée des prêts faisant l'objet de l'abandon de créances et a précisé que les quatre prêts devaient être considérés de la manière suivante: les premier (220'896 fr. 60) et quatrième (1'934'434 fr. 83) prêts étaient de nature privée; les deuxième (360'226 fr. 97) et troisième (762'361 fr. 58) prêts étaient de nature commerciale.
Agissant par la voie du recours en matière de droit public, A.A.________ (ci-après: le recourant 1) et B.A.________ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 19 janvier 2016, de dire qu'ils sont autorisés à déduire des pertes reportées de 2'092'92 7 fr. dans la détermination de leur revenu imposable 2004 et que les abandons de créances de nature privée dont ils ont bénéficié en 2004 ne constituent pas un revenu imposable; subsidiairement de dire qu'ils sont autorisés à déduire de ces abandons les pertes subies dans le cadre de la vente de leurs immeubles privés, et de renvoyer la cause à la Cour de justice pour nouvelle décision dans le sens des considérants.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale s'en remet à justice concernant la recevabilité du recours et conclut à son rejet. L'Administration fédérale des contributions se rallie au dispositif de l'arrêt attaqué et conclut au rejet du recours. Les époux A.________ ont déposé des observations.
Le Tribunal fédéral a rendu son jugement en séance publique le 13 février 2017.
I. Recevabilité
L'arrêt attaqué concerne le revenu imposable des recourants au titre de l'IFD et de l'ICC pour la période fiscale 2004. La Cour de justice a rendu un seul arrêt valant pour les deux catégories d'impôts, ce qui est admissible dès lors que les questions juridiques à trancher sont réglées de la même façon en droit fédéral et dans le droit cantonal harmonisé (ATF 135 II 260 consid. 1.3.1 p. 262 s.; cf. infra consid. 9). Dans ces circonstances, on ne peut reprocher aux recourants d'avoir formé un seul recours qui contient les mêmes griefs et des conclusions similaires pour ces deux catégories d'impôts (ATF 135 II 260 consid. 1.3.3 p. 264). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a ouvert deux dossiers, l'un concernant l'IFD (2C_190/2016), l'autre l'ICC (2C_189/2016). Comme l'état de fait et les griefs qu'invoquent les recourants sont identiques, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (art. 71 LTF et 24 PCF [RS 273]).
2.1. D'après l'art. 90 LTF, le recours est recevable contre les décisions qui mettent fin à la procédure (décisions finales). Un arrêt de renvoi constitue en principe une décision incidente contre laquelle le recours au Tribunal fédéral n'est ouvert qu'aux conditions des art. 92 et 93 LTF (ATF 134 II 124 consid. 1.3 p. 127). Un tel arrêt est néanmoins considéré comme final si l'autorité à laquelle l'affaire est renvoyée n'a aucune marge de manoeuvre, notamment lorsqu'il ne lui reste plus qu'à calculer le montant de l'impôt, en appliquant les règles définies dans la décision de renvoi (ATF 138 I 143 consid. 1.2 p. 148).
En l'espèce, le recours est dirigé contre un prononcé qui confirme le renvoi par le Tribunal administratif de la cause à l'Administration fiscale pour nouvelles taxations. Celle-ci ne dispose toutefois d'aucune marge de manoeuvre, le jugement du Tribunal administratif du 18 septembre 2014 déterminant précisément le montant de l'abandon de créances à prendre en compte dans le revenu brut des recourants pour l'année 2004 et niant le droit au report de pertes commerciales. Partant, en confirmant le jugement de première instance, l'arrêt de la Cour de justice du 19 janvier 2016 revêt un caractère final (arrêts 2C_416/2013 du 5 novembre 2013 consid. 2.4, non publié in ATF 140 I 68; 2C_1179/2012 du 13 mai 2013 consid. 1.1).
2.2. La décision attaquée a en outre été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (art. 82 let. a LTF) ne tombant sous le coup d'aucune des exceptions prévues à l'art. 83 LTF. La voie du recours en matière de droit public est partant ouverte. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste l'existence de cette voie de droit pour l'impôt fédéral direct. S'agissant des impôts cantonal et communal, l'imposition du revenu (art. 7 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]) et la déduction des pertes résultant d'une activité lucrative indépendante (art. 10 al. 1 let. c LHID; ancien art. 67 LHID [RO 2001 1050]) étant des matières harmonisées, la voie du recours en matière de droit public est aussi réservée par l'art. 73 al. 1 LHID (ATF 134 II 186 consid. 1.3 p. 188 s.).
2.3. Le recours a par ailleurs été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF), par les recourants, contribuables et destinataires de l'arrêt attaqué, qui ont un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'ils ont qualité pour recourir (art. 89 al. 1 LTF). Le présent recours est donc en principe recevable.
2.4. Selon l'art. 99 al. 2 LTF, les conclusions nouvelles sont irrecevables devant le Tribunal fédéral (ATF 142 I 155 consid. 4.4.3 p. 156). En l'occurrence, la conclusion subsidiaire des recourants tendant à ce qu'ils puissent déduire de l'abandon de créances de nature privée les pertes subies dans le cadre de la vente de leurs immeubles privés n'a pas été formulée devant les autorités judiciaires cantonales. La question de savoir si cette conclusion subsidiaire s'insère néanmoins dans les conclusions principales des recourants, dès lors que ceux-ci cherchent en définitive à réduire leur revenu imposable pour l'année 2004, peut demeurer indécise, dans la mesure où l'argument juridique à l'appui de cette conclusion, à savoir la prétendue violation du principe de l'égalité de traitement, se révèle infondé (cf. infra consid. 8).
3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, ainsi que la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (art. 95 let. a et 106 al. 1 LTF). En revanche, il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par la partie recourante, conformément au principe d'allégation (art. 106 al. 2 LTF; ATF 142 II 369 consid. 2.1 p. 372; 141 I 36 consid. 1.3 p. 41).
3.2. Le Tribunal fédéral n'est en principe pas lié par les motifs de l'autorité précédente ni par les moyens des parties. Il peut donc admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 139 II 404 consid. 3 p. 415; 138 III 537 consid. 2.2 p. 540).
3.3. L'examen du Tribunal fédéral se fonde sur les faits établis par l'autorité précédente (art. 105 al. 1 LTF; ATF 142 I 155 consid. 4.4.3 p. 156), sous réserve des cas prévus par l'art. 105 al. 2 LTF. Selon l'art. 97 al. 1 LTF, le recours peut critiquer les constatations de fait à la double condition que les faits aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF et que la correction du vice soit susceptible d'influer sur le sort de la cause (ATF 142 I 135 consid. 1.6 p. 144 s.), ce que la partie recourante doit rendre vraisemblable par une argumentation répondant aux exigences de l'art. 106 al. 2 LTF. La notion de "manifestement inexacte" figurant à l'art. 97 al. 1 LTF correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 140 III 264 consid. 2.3 p. 266; cf., pour la notion d'arbitraire, ATF 140 I 201 consid. 6.1 p. 205).
En l'occurrence, les recourants estiment que la Cour de justice a qualifié à tort de dette commerciale le troisième prêt (762'361 fr. 58) faisant l'objet de la convention du 29 janvier 1999. L'a rrêt querellé serait lacunaire s'agissant de l'établissement des faits relatifs à la nature privée ou commerciale de ce prêt, de sorte qu'il conviendrait de renvoyer la cause à la Cour de justice pour qu'elle procède à une instruction complémentaire. Les recourants ne démontrent toutefois pas en quoi les faits retenus seraient manifestement incomplets ou inexacts, ni en quoi la qualification de ce troisième prêt serait de nature à influer sur le sort du litige (cf. sur ce point,
infra consid. 5 et 6.6). Partant, le Tribunal fédéral se fondera exclusivement sur les faits résultant de l'arrêt entrepris.
La qualification du prêt litigieux en tant que dette commerciale ou privée sur la base des faits retenus par la Cour de justice est au demeurant une question de droit (arrêt 2C_276/2010 du 19 octobre 2010 consid. 1.4), que le Tribunal fédéral revoit d'office (art. 106 al. 1 LTF).
II. Impôt fédéral direct
La première question à trancher porte sur la qualification comme revenu imposable pour l'année 2004 de l'abandon de créances consenti par E.________ SA en faveur des recourants. Ceux-ci contestent que l'abandon des créances de nature privée dont ils ont bénéficié puisse constituer un revenu imposable. Ils se prévalent du principe de la capacité économique (art. 127 al. 2 Cst.).
4.1. La Cour de justice, interprétant la jurisprudence fédérale, a retenu que la totalité de l'abandon de créances résultant de la convention du 29 janvier 1999 constituait un revenu imposable indépendamment de la nature privée ou commerciale des dettes remises. Cette position n'est pas critiquable.
Dans un arrêt du 17 mars 2016 (ATF 142 II 197), rendu quelques semaines après l'arrêt attaqué, la Cour de céans a en effet confirmé qu'un abandon de créance par une banque est fiscalement considéré comme un revenu imposable pour le contribuable, que la dette remise soit privée ou commerciale (art. 16 al. 1 et 18 al. 1 LIFD; ATF 142 II 197 consid. 5.1 p. 200 et les références citées; cf. aussi arrêt 2C_454/2015 du 1er avril 2016 consid. 3). En particulier, l'abandon d'une créance privée ne constitue pas un gain en capital exonéré (art. 16 al. 3 LIFD; ATF 142 II 197 consid. 5.6 p. 204).
Le Tribunal fédéral a également précisé que l'imposition à la valeur nominale de l'abandon d'une créance privée par une banque est compatible avec les principes découlant de l'art. 127 al. 2 Cst. (ATF 142 II 197 consid. 5.5.3 p. 203 s., 6.3 p. 205 s.).
4.2. En l'espèce, sur le vu de la jurisprudence claire du Tribunal fédéral, l'arrêt attaqué, qui considère que l'abandon de créances en faveur des recourants survenu le 31 janvier 2004 en raison de la convention conclue avec E.________ SA le 29 janvier 1999 constitue un élément du revenu imposable des contribuables pour l'année 2004, ne viole ni le droit fédéral, ni l'art. 127 al. 2 Cst. Il suffit sur ce point de se référer à l'ATF 142 II 197.
Il s'ensuit que le recours doit être rejeté en ce qui concerne l'imposition de l'abandon de créances, étant encore précisé que la valeur nominale des créances abandonnées à prendre en compte dans le revenu brut des recourants n'est pas litigieuse en tant que telle.
L'abandon de créances dont ont bénéficié les recourants constituant un revenu imposable que la dette remise soit privée (art. 16 al. 1 LIFD) ou commerciale (art. 18 LIFD; ATF 142 II 197 consid. 5.1 p. 200), il n'est pas nécessaire, dans ce contexte, de déterminer, comme le demandent les recourants, si le troisième prêt faisant l'objet de la convention du 29 janvier 1999 est de nature privée et non commerciale comme le retient l'arrêt attaqué.
Le deuxième point litigieux concerne la déduction de pertes commerciales d'un montant de 2'092'927 fr. sur le revenu imposable 2004 des recourants.
Cet aspect du litige revient à se demander si la confirmation par la Cour de justice du refus de déduire du revenu imposable des contribuables pour la période fiscale 2004 les pertes non compensées au moment de la cessation en 1999 de l'activité de la raison individuelle du recourant 1 est conforme au droit. A cet égard, il s'agit d'examiner si la déduction des pertes reportées est admissible dans son principe, étant relevé que si les conditions auxquelles des pertes commerciales reportées peuvent être déduites sont réunies, ces pertes peuvent être compensées avec le revenu de l'activité indépendante, mais aussi avec d'autres revenus (arrêt 2C_33/2009 du 27 novembre 2009 consid. 2.1, in RF 65/2010 p. 318).
6.1. Dans son arrêt, la Cour de justice a considéré que les contribuables ne pouvaient pas déduire de pertes reportées de leur revenu imposable 2004, dès lors que le recourant 1 n'exerçait plus d'activité lucrative indépendante, même de liquidation, en 2004.
6.2. Les recourants estiment pour leur part qu'il est contradictoire et contraire à l'ancien art. 211 LIFD, ainsi qu'à l'art. 31 al. 2 LIFD, de taxer l'abandon d'une dette commerciale comme un revenu d'une activité lucrative indépendante tout en niant l'exercice d'une activité indépendante s'agissant du report de pertes. En outre, il ne serait pas exigé pour que le report de pertes soit possible que le contribuable tienne une comptabilité pendant toutes les périodes fiscales.
6.3. Les contribuables exerçant une activité lucrative indépendante (art. 18 al. 1 LIFD) peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel (art. 27 al. 1 LIFD). Font notamment partie de ces frais les pertes effectives sur des éléments de la fortune commerciale, à condition qu'elles aient été comptabilisées (art. 27 al. 2 let. b LIFD).
Conformément à l'ancien art. 211 LIFD (RO 1991 1184), applicable à la période litigieuse et dans le système
postnumerando annuel en vigueur à Genève depuis 2001 (arrêt 2C_835/2012 du 1er avril 2013 consid. 6, in RDAF 2013 II 399), les pertes des sept exercices précédant la période fiscale (ancien art. 209 LIFD) peuvent être déduites, à condition qu'elles n'aient pas été prises en considération lors du calcul du revenu imposable de ces années. Selon les textes allemand et italien de l'ancien art. 211 LIFD, il faut que les pertes n'aient pas pu être prises en compte et non seulement qu'elles ne l'aient pas été (arrêt 2C_33/2009 du 27 novembre 2009 consid. 2.1, in RF 65/2010 p. 318; cf. aussi le texte de l'art. 31 al. 1 LIFD en vigueur depuis le 1er janvier 2014 [RO 2013 2397], qui correspond matériellement à l'ancien art. 211 LIFD [arrêt 2C_87/2015 du 23 octobre 2015 consid. 6.1], et le texte de l'ancien art. 31 al. 1 LIFD [RO 1991 1184], équivalent de l'ancien art. 211 LIFD pour le système
praenumerando).
6.4. Il résulte des dispositions précitées et de la jurisprudence que le report de pertes n'est possible qu'aux conditions suivantes.
6.4.1. Tout d'abord, seules les pertes provenant d'une activité lucrative indépendante peuvent être reportées (arrêt 2C_33/2009 du 27 novembre 2009 consid. 2.1, in RF 65/2010 p. 318).
6.4.2. Ensuite, les pertes découlant d'une activité lucrative indépendante ne sont déductibles qu'aussi longtemps que le contribuable exerce l'activité indépendante ayant engendré les pertes commerciales dont il demande le report ou que si, ayant cessé cette activité indépendante, il en commence ou en poursuit une autre à la suite de la précédente (arrêts 2C_216/2016 du 15 novembre 2016 consid. 4.1; 2C_627/2014 du 8 janvier 2015 consid. 6.1; 2C_567/2012 du 15 mars 2013 consid. 6.2; 2C_33/2009 du 27 novembre 2009 consid. 3.3 et 3.4, in RF 65/2010 p. 318). La jurisprudence a précisé que les opérations de liquidation relèvent de l'exercice de l'activité lucrative indépendante (arrêts 2C_1050/2015 du 13 juin 2016 consid. 3.2, in Archives 85 p. 86; 2C_376/2011 du 27 avril 2012 consid. 6.3.2 et 6.3.5, in RF 67/2012 p. 511; 2C_33/2009 du 27 novembre 2009 consid. 3.4, in RF 65/2010 p. 318).
6.4.3. L'ancien art. 211 LIFD (et l'actuel art. 31 al. 1 LIFD) exige en outre que les pertes commerciales dont le report est demandé n'aient pas pu être prises en considération lors du calcul du revenu imposable des années précédentes. Il en découle que les pertes dont le report est demandé ne peuvent être déduites du revenu (ou du bénéfice) imposable du contribuable que si elles n'ont pas pu être compensées avec des revenus (ou des bénéfices) les années précédentes. Le contribuable ne peut ainsi pas choisir à son bon vouloir le moment du report de pertes; celles-ci doivent venir en déduction du revenu (ou du bénéfice) dès que possible (arrêts 2C_696/2013 du 29 avril 2014 consid. 3.1, in RF 69/2014 p. 650; 2C_1278/2012 du 14 octobre 2013 consid. 3.1, in RF 69/2014 p. 55; 2C_973/2012 du 4 octobre 2013 consid. 4.2, in RF 69/2014 p. 65; 2C_835/2012 du 1er avril 2013 consid. 7.2.3, in RDAF 2013 II 399; 2C_240/2011 du 8 avril 2011 consid. 2, in RF 66/2011 p. 679; 2C_220/2009 du 10 août 2009 consid. 8.1, in RF 64/2009 p. 886; 2A.587/2002 du 11 mars 2003 consid. 1.2, in RF 58/2003 p. 365; 2A.55/2002 du 30 octobre 2002 consid. 2.3, in RF 59/2004 p. 193; 2A.557/1996 du 4 février 2000 consid. 4b).
6.4.4. Pour être prises en considération, il faut également que les pertes commerciales dont le report est demandé aient été comptabilisées, comme l'impose explicitement l'art. 27 al. 2 let. b LIFD (arrêts 2C_835/2012 du 1er avril 2013 consid. 7.2.1 en lien avec l'ancien art. 211 LIFD; 2A.55/2002 du 30 octobre 2002 consid. 2.3, in RF 59/2004 p. 193 en lien avec l'ancien art. 31 LIFD; sur le devoir de comptabiliser les pertes en lien avec l'art. 27 al. 2 let. b LIFD, cf. arrêt 2C_87/2015 du 23 octobre 2015 consid. 6.5).
Les exigences comptables imposées au contribuable exerçant une activité lucrative indépendante découlent, du point de vue fiscal, de l'art. 125 al. 2 LIFD. D'après cette disposition, les personnes physiques dont le revenu provient d'une activité lucrative indépendante et les personnes morales doivent joindre à leur déclaration les extraits de comptes signés (bilan, compte de résultats) de la période fiscale ou, à défaut d'une comptabilité tenue conformément à l'usage commercial, un état des actifs et des passifs, un relevé des recettes et des dépenses, ainsi que des prélèvements et apports privés.
L'art. 125 al. 2 LIFD ne précise pas ce qu'il faut entendre par "état des actifs et des passifs, relevé des recettes et des dépenses ainsi que des prélèvements et apports privés". Les exigences auxquelles doivent répondre ces états dépendent des circonstances du cas d'espèce, en particulier du type d'activité et de l'ampleur de cette dernière. Dans tous les cas, ils doivent être propres à garantir une saisie complète et fiable du revenu et de la fortune liés à l'activité lucrative indépendante et pouvoir être contrôlés dans des conditions raisonnables par les autorités fiscales (arrêts 2C_551/2012 du 16 mai 2013 consid. 3.1 et les références citées, in StE 2013 B 23.3 Nr. 8; 2C_835/2012 du 1
er avril 2013 consid. 7.2.2). Cette exigence est d'autant plus importante lorsque le contribuable entend alléguer des faits de nature à éteindre ou à diminuer sa dette fiscale (ATF 121 II 257 consid. 4c/aa p. 266), ce qu'il lui incombe de prouver (ATF 133 II 153 consid. 4.3 p. 158; arrêt 2C_87/2015 du 23 octobre 2015 consid. 6.5 et les références citées).
6.4.5. Enfin, l'ancien art. 211 LIFD (et l'actuel art. 31 al. 1 LIFD) limite le report aux pertes des sept exercices précédant la période fiscale. Cette limitation temporelle ne vaut pas en cas d'assainissement (art. 31 al. 2 LIFD, également applicable au report de pertes fondé sur l'ancien art. 211 LIFD, cf. REICH/ZÜGER, in Kommentar zum Schweizerischen Steuerrecht, I/2b, 2e éd. 2008, no 2 ad art. 211 LIFD).
6.5. En l'occurrence, les recourants revendiquent la déduction de pertes non compensées au moment de la cessation de l'activité de la raison individuelle du recourant 1 en 1999 sur leur revenu imposable 2004.
Il résulte toutefois des faits constatés dans l'arrêt entrepris que les recourants n'ont pas fait valoir la déduction de ces pertes dans leurs déclarations fiscales 2001 à 2003. Il n'est en conséquence pas possible de déterminer si les pertes dont le report est demandé sur le revenu imposable 2004 auraient pu être déduites plus tôt comme l'exige l'ancien art. 211 LIFD (et l'actuel art. 31 al. 1 LIFD).
Les recourants n'ont pas non plus fait valoir le report de pertes dans leur déclaration fiscale 2004. Ils n'ont en outre pas documenté ces pertes, ni dans leurs déclarations fiscales de 2001 à 2003, ni dans leur déclaration fiscale 2004, ni au cours de la procédure. De plus, les recourants n'ont fourni ni comptabilité, ni état des actifs et passifs de la raison individuelle du recourant 1 avec leurs déclarations pour les années 2001 à 2003 et n'ont produit aucun bilan de liquidation avec leur déclaration fiscale 2004.
Pour la période fiscale 2004, les recourants n'ont déclaré qu'une activité lucrative dépendante, tout comme dans leurs déclarations d'impôt 2001 à 2003. Cela correspond certes au fait, non contesté en tant que tel, que le recourant 1 a cessé d'exercer comme architecte indépendant à la fin des années 90. Toutefois, en l'absence d'une activité lucrative indépendante s'étant poursuivie après 1999, le report de pertes n'est envisageable que si la raison individuelle du recourant 1 était encore en liquidation (cf.
supra consid. 6.4.2), ce qu'il appartenait aux recourants de démontrer dès lors qu'ils se prévalent de ce fait pour diminuer leur dette fiscale (cf.
supra consid. 6.4.4). A cet égard, il ne leur suffit pas d'alléguer que la convention du 29 janvier 1999 conclue avec E.________ SA, en tant qu'elle concerne le deuxième prêt (360'226 fr. 97), avait pour but d'assainir la situation de la raison individuelle du recourant 1, alors qu'aucun document comptable n'atteste de la liquidation de la raison individuelle du recourant 1. Il convient encore d'ajouter que les recourants n'ont pas remédié à ce défaut de documentation après que l'Administration fiscale les a informés qu'elle entendait qualifier certains prêts faisant l'objet de la convention du 29 janvier 1999 conclue avec E.________ SA de prêts commerciaux, ni à aucun autre moment de la procédure.
En définitive, les recourants demandent pour l'année 2004 la déduction de pertes qu'ils n'ont pas fait valoir les années précédentes et qu'ils n'ont pas documentées, à tout le moins entre 2001 et 2004. Ils se prévalent de la liquidation de la raison individuelle du recourant 1, mais n'apportent aucun élément propre à rendre compte de celle-ci. Dans ces circonstances, il y a lieu de retenir qu'une partie des conditions permettant le report de pertes fait défaut, de sorte que celui-ci ne peut pas être admis.
6.6. La qualification du troisième prêt faisant l'objet de la convention conclue avec E.________ SA n'a pas d'incidence sur la conclusion qui précède. Il n'est partant pas nécessaire de déterminer si ce prêt est de nature commerciale, comme l'a retenu la Cour de justice, ou privée, comme le prétendent les recourants.
6.7. Il résulte de ce qui précède qu'en confirmant le refus des autorités précédentes de déduire du revenu imposable des recourants pour la période 2004 les pertes non compensées au moment de la cessation de la raison individuelle du recourant 1 en 1999, la Cour de Justice n'a pas violé le droit fédéral, en particulier l'ancien art. 211 LIFD et l'art. 31 al. 2 LIFD invoqués par les recourants.
Les recourants estiment que reprocher au recourant 1 de ne pas avoir fourni de documentation depuis la cessation de son activité lucrative indépendante relève du formalisme excessif.
7.1. Le formalisme excessif est un aspect particulier du déni de justice prohibé par l'art. 29 al. 1 Cst. Il est réalisé lorsque la stricte application des règles de procédure ne se justifie par aucun intérêt digne de protection, devient une fin en soi et empêche ou complique de manière insoutenable la réalisation du droit matériel (ATF 142 IV 299 consid. 1.3.2 p. 304; 142 I 10 consid. 2.4.2 p. 11; 135 I 6 consid. 2.1 p. 9).
Dans le contexte de la déduction des pertes effectives sur des éléments de la fortune commerciale (cf. art. 27 al. 2 let. b LIFD), le Tribunal fédéral a déjà relevé que l'autorité qui refuse la déduction d'une perte aux motifs que les comptes du contribuable ne répondent pas aux exigences de l'art. 125 al. 2 LIFD et que la perte n'a pas été comptabilisée comme le requiert l'art. 27 al. 2 let. b LIFD, ne viole pas l'interdiction du formalisme excessif (arrêt 2C_551/2012 du 16 mai 2013 consid. 4.3; voir aussi arrêt 2C_87/2015 du 23 octobre 2015 consid. 6.6).
7.2. En l'occurrence, l'obligation procédurale opposée aux recourants (exigence de production des comptes annuels ou à tout le moins d'un état des actifs et passifs de la raison individuelle du recourant 1 depuis la cessation de l'activité indépendante en 1999, permettant de rendre compte de la liquidation et des pertes encore non compensées), fondée sur l'art. 125 al. 2 LIFD, vise à garantir l'application du droit matériel et non à le compliquer. Elle permet notamment d'éviter, conformément à la condition énoncée à l'ancien art. 211 LIFD selon laquelle les pertes commerciales ne peuvent être déduites que si elles n'ont pas pu être prises en considération lors du calcul du revenu imposable des années précédentes, que les contribuables puissent choisir à bien plaire le moment du report de pertes (cf. supra consid. 6.4.3, arrêt 2C_835/2012 du 1er avril 2013 consid. 7.2.3). On ne saurait en conséquence considérer que la confirmation par la Cour de justice du refus de déduire du revenu imposable 2004 des recourants les pertes non compensées en 1999 viole l'interdiction du formalisme excessif. Le grief des recourants doit partant être rejeté.
Dans un dernier grief, les recourants allèguent une violation du principe de l'égalité de traitement (art. 8 al. 1 Cst.). Ils soutiennent que la solution retenue par la Cour de justice consistant à imposer l'abandon d'une créance de nature privée lorsque la dette est liée à l'achat d'un logement conduit à une discrimination entre opération immobilière professionnelle et vente à perte d'un immeuble faisant partie de la fortune privée, le promoteur immobilier pouvant, contrairement à l'acheteur non professionnel, déduire de ce revenu la perte subie lors de la vente de l'immeuble.
8.1. Une décision viole le principe de l'égalité de traitement (art. 8 al. 1 Cst.) lorsqu'elle établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à réglementer ou lorsqu'elle omet de faire des distinctions qui s'imposent au vu des circonstances, c'est-à-dire lorsque ce qui est semblable n'est pas traité de manière identique et lorsque ce qui est dissemblable ne l'est pas de manière différente (ATF 141 I 235 consid. 7.1 p. 239 s. et les références citées). En matière fiscale, le principe de l'égalité de traitement est concrétisé par les principes de la généralité et de l'égalité de l'imposition, ainsi que par le principe de la proportionnalité de la charge fiscale fondée sur la capacité économique (ATF 141 I 235 consid. 7.1 p. 239). Selon les principes de l'égalité d'imposition et de l'imposition selon la capacité contributive, les contribuables qui sont dans la même situation économique doivent supporter une charge fiscale semblable; lorsqu'ils sont dans des situations de fait différentes qui ont des effets sur leur capacité économique, leur charge fiscale doit en tenir compte et y être adaptée (ATF 140 II 157 consid. 7.1 p. 160 ss).
8.2. En l'espèce, les recourants perdent de vue que, de par la loi, les contribuables exerçant une activité lucrative indépendante ne sont pas dans une situation semblable à celle des contribuables exerçant une activité lucrative dépendante du point de vue de la détermination du revenu imposable. Les situations n'étant pas semblables, les recourants ne peuvent prétendre à un traitement similaire de la fortune privée et de la fortune commerciale en ce qui concerne la déduction des pertes subies lors de la vente d'un immeuble. Au surplus, les recourants ne remettent pas en cause la distinction de régime opérée par la loi entre ces deux catégories de contribuables, laquelle ne méconnaît pas, de manière générale, le principe de l'égalité de traitement (DANIELLE YERSIN, L'égalité de traitement en droit fiscal, RDS 111/1992 II p. 260 s.).
Le grief des recourants tiré de la violation du principe de l'égalité de traitement doit partant être écarté.
III. Impôts cantonal et communal
En droit cantonal, la loi sur l'imposition des personnes physiques du 27 septembre 2009 (LIPP; RS/GE D 3 08) prévoit que les impôts relatifs aux périodes fiscales antérieures à 2010 demeurent régis par les dispositions de l'ancien droit (art. 72 al. 1 LIPP), soit en particulier par la loi du 22 septembre 2000 sur l'imposition des personnes physiques, Impôt sur le revenu (revenu imposable) (aLIPP-IV), la loi du 31 août 2000 sur l'imposition dans le temps des personnes physiques (aLIPP-II) et la loi du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid (aLIPP-V).
Les notions de revenu (art. 7 al. 1 LHID dans sa teneur en vigueur à la période fiscale litigieuse [RO 1991 1256]; art. 1 aLIPP-IV), de pertes déductibles (art. 10 al. 1 let. c LHID; art. 3 al. 3 let. a aLIPP-V), de période fiscale (ancien art. 63 LHID [RO 1991 1256]; art. 1 et 2 aLIPP-II) et de pertes à reporter (ancien art. 67 LHID; art. 3 al. 3 let. f aLIPP-V) de la LHID et du droit cantonal correspondent à celles de la loi sur l'impôt fédéral direct (arrêt 2C_973/2012 du 4 octobre 2013 consid. 5, in Archives 82 p. 308). Il en va de même s'agissant des obligations qui s'imposent aux contribuables, notamment lorsque le revenu provient d'une activité lucrative indépendante (art. 42 al. 1 et 3 LHID; art. 31 al. 1 de la loi genevoise du 4 octobre 2001 de procédure fiscale [LPFisc; RS/GE D 3 17, entrée en vigueur le 1er janvier 2002, cf. aussi art. 26 al. 2 LPFisc] et 29 al. 1 LPFisc). Partant, les considérations développées pour l'impôt fédéral direct trouvent à s'appliquer à l'impôt cantonal et communal de la période fiscale 2004 (arrêt 2C_551/2012 du 16 mai 2013 consid. 5.2). Il y a donc aussi lieu de rejeter le recours pour ce qui a trait aux impôts cantonal et communal.
IV. Conséquence, frais et dépens
Compte tenu de ce qui précède, les recours sont rejetés en ce qui concerne l'IFD et l'ICC 2004. Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer de dépens (art. 68 al. 1 et 3 LTF).
Les causes 2C_189/2016 et 2C_190/2016 sont jointes.
Le recours est rejeté en ce qui concerne l'impôt fédéral direct.
Le recours est rejeté en ce qui concerne l'impôt cantonal et communal.
Les frais judiciaires, arrêtés à 13'000 fr., sont mis à la charge des recourants, solidairement entre eux.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fiscale cantonale et à la Cour de justice, Chambre administrative, 1ère section, de la République et canton de Genève, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 13 février 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber