2C_874/2018
Arrêt du 17 avril 2019
IIe Cour de droit public
Composition
MM. les Juges fédéraux Seiler, Président,
Zünd et Donzallaz.
Greffier: M. Tissot-Daguette.
Participants à la procédure
contre
Administration fiscale cantonale de la République et canton de Genève.
Objet
Impôts cantonal et communal et impôt fédéral direct des périodes fiscales 2003 à 2012,
recours contre l'arrêt de la Chambre administrative de la Cour de justice de la République et canton de Genève du 21 août 2018 (ATA/858/2018).
B.X.________ et A.X.________ sont mariés et domiciliés dans le canton de Genève. Ils sont administrateurs et salariés de la société C.________ SA, dont le but statutaire est la fabrication de produits horlogers, ainsi que la taille de diamants et de pierres précieuses. A.X.________ est actionnaire unique de cette société. Depuis 2015, la fille du couple en est également administratrice. Le siège de la société et le domicile familial des époux X.________ se trouvent dans le même immeuble, propriété de A.X.________.
Pour les années 2002 à 2009, les époux X.________ ont été régulièrement imposés par l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale). Les décisions de taxation y relatives sont toutes entrées en force. Entre 2011 et 2013, les époux X.________ ont transmis à l'Administration fiscale leurs déclarations d'impôt pour les années 2010, 2011 et 2012. Le 22 novembre 2012, à la suite d'un contrôle des locaux de la société C.________ SA en lien avec la déclaration fiscale de celle-ci pour l'année 2008, l'Administration fiscale a informé les époux X.________ de l'ouverture d'une procédure de rappel et soustraction d'impôt pour les années 2002 à 2009 en raison de prestations appréciables en argent obtenues de la société précitée. Le 12 novembre 2015, l'Administration fiscale a informé les contribuables de l'ouverture d'une procédure de tentative de soustraction d'impôt pour les années 2010 à 2012, les époux ayant également perçu des prestations appréciables en argent de la part de la société C.________ SA durant ces années.
Le 8 avril 2014, l'Administration fiscale a clos la procédure en rappel et soustraction d'impôt des années 2002 à 2008 et notifié les décisions y relatives aux intéressés. Elle en a fait de même, le 25 avril 2016, pour la procédure concernant l'année 2009. Les 25 avril et 2 mai 2016, elle a adressé aux contribuables leurs taxations pour les années 2010, 2011 et 2012. Le 3 mai 2016 elle a clos la procédure en tentative de soustraction d'impôt des années 2010 à 2012. Les contribuables ont à chaque fois valablement élevé réclamation contre ces diverses décisions. Par décision unique du 15 novembre 2016, l'Administration fiscale a partiellement admis les réclamations des époux X.________. S'agissant des reprises, respectivement des taxations en matière d'impôt fédéral direct (ci-après: IFD) et d'impôts cantonal et communal (ci-après: ICC), l'Administration fiscale a requis des contribuables un total de 1'033'629 francs. Elle a en outre condamné les époux X.________ à s'acquitter d'amendes pour un montant total de 248'551 francs. Le 16 décembre 2016, les époux X.________ ont recouru contre la décision sur réclamation de l'Administration fiscale auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance). Ils ont demandé la jonction de leur procédure avec celle relative à la société C.________ SA, également pendante devant le Tribunal administratif de première instance. Dans sa réponse, l'Administration fiscale s'est déclarée prête à déduire de la fortune imposable des intéressés des années 2010 à 2012 les dettes d'impôt de ces trois années. Par jugement du 16 octobre 2017, le Tribunal administratif de première instance, après avoir refusé de joindre la cause avec celle de la société C.________ SA, a partiellement admis le recours des époux X.________ s'agissant des décisions de rappel d'impôt et d'amende pour l'IFD et l'ICC des années 2002 à 2009. Il a annulé les décisions de ces années dans la mesure où elles ne tenaient pas compte des intérêts sur les rappels d'impôt dans le cadre des revenus et de la fortune imposables des contribuables. Il a en outre annulé les amendes d'IFD et d'ICC de 2002 et 2003 puisque l'action pénale était prescrite. Il a finalement annulé la décision de rappel d'impôt de l'année 2008 puisqu'elle retenait un dividende dissimulé de 233'293 fr. au lieu de 202'465 fr. et rejeté le recours pour le surplus. Les époux X.________ ont contesté ce jugement le 17 novembre 2017 auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice), demandant en particulier que leur cause soit jointe à celle de la société C.________ SA, dont le jugement a été rendu le 16 octobre 2017 par le Tribunal administratif de première instance et qui a aussi été contesté devant la Cour de justice. Par acte du 20 novembre 2017, l'Administration fiscale a également recouru contre le jugement du Tribunal administratif de première instance du 16 octobre 2017 relatif aux époux X.________. Elle a demandé l'annulation dudit jugement en tant que celui-ci retenait, pour l'IFD et l'ICC 2008, un dividende dissimulé de 202'465 fr. en lieu et place d'un montant de 233'293 fr. et en tant qu'il admettait, pour les décisions de rappel d'impôt 2002 à 2009 et d'amende 2004 à 2009, la déduction des intérêts sur les rappels d'impôt dans le cadre des revenus et de la fortune imposables des époux X.________ pour chaque année fiscale concernée par le rappel d'impôt, ainsi qu'à la confirmation des décisions du 15 novembre 2016 et du jugement du Tribunal administratif de première instance pour le surplus. Par arrêt du 21 août 2018, après avoir refusé de joindre la cause avec celle de la société C.________ SA, la Cour de justice a partiellement admis le recours des époux X.________ et celui de l'Administration fiscale. Elle a annulé le jugement du Tribunal administratif de première instance en tant qu'il annulait les décisions de rappel d'impôt IFD et ICC 2008 du 15 novembre 2016 dans la mesure où elles retenaient un dividende dissimulé de 202'465 fr. au lieu de 233'293 fr., rétabli les décisions de rappel d'impôt IFD et ICC 2008, constaté la prescription du droit de procéder au rappel d'impôt pour l'IFD et l'ICC 2002 et confirmé le jugement du Tribunal administratif de première instance du 16 octobre 2017 pour le surplus.
Agissant par la voie du recours en matière de droit public, A.X.________ et B.X.________ demandent au Tribunal fédéral, sous suite de frais et dépens, outre la jonction de leur procédure avec celle de la société C.________ SA, principalement d'annuler l'arrêt de la Cour de justice du 21 août 2018 et la décision de l'Administration fiscale du 15 novembre 2016; subsidiairement de réduire le montant des dividendes dissimulés imputés à la société C.________ SA, prendre en compte une part privée de charges mixtes au titre des frais d'entretien des immeubles et admettre en déduction tous les montants effectivement dus au titre des amendes; plus subsidiairement de réduire les amendes à une quotité d'un tiers pour les années 2004 à 2009 et de deux tiers pour les années 2010 à 2012; plus subsidiairement de renvoyer la cause au Tribunal administratif de première instance ou à la Cour de justice pour instruction complémentaire.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale et l'Administration fédérale des contributions concluent toutes deux au rejet du recours. Dans des observations finales, A.X.________ et B.X.________ ont confirmé leurs conclusions.
1.1. L'arrêt attaqué constitue une décision finale (art. 90 LTF) rendue dans une cause de droit public par une autorité judiciaire supérieure de dernière instance cantonale (art. 82 let. a et 86 al. 1 let. d et al. 2 LTF) qui ne tombe sous le coup d'aucune des exceptions prévues à l'art. 83 LTF. Bien qu'il ne distingue pas, dans son dispositif, l'IFD de l'ICC, il ressort des motifs de l'arrêt entrepris que le rejet du recours qu'il prononce concerne à la fois les deux catégories d'impôt et, pour ce qui concerne l'ICC, du droit harmonisé (cf. art. 53 de la loi du 14 décembre 1990 sur l'harmonisation des impôts directs, des cantons et des communes [LHID; RS 642.14]). La voie du recours en matière de droit public est donc en principe ouverte en vertu des art. 82 ss LTF, 146 LIFD (RS 642.11) et 73 al. 1 LHID.
1.2. Le dépôt d'un seul acte de recours est autorisé dans la mesure où, comme en l'espèce, le recourant s'en prend clairement aux deux catégories d'impôts (cf. ATF 135 II 260 consid. 1.3.2 p. 264). L'arrêt attaqué ayant omis de distinguer, dans son dispositif, les deux catégories d'impôt, on ne peut reprocher au recourant de ne pas avoir formulé de conclusions séparées (cf. ATF 135 II 260 consid. 1.3.3 p. 264).
1.3. Dans la mesure où les recourants demandent l'annulation de la décision de l'Administration fiscale du 15 novembre 2016, leur conclusion est irrecevable en raison de l'effet dévolutif complet du recours auprès de la Cour de justice (ATF 136 II 539 consid. 1.2 p. 543). Au surplus, dans leur conclusion principale, les recourants demandent également l'annulation de l'arrêt attaqué. On peut comprendre à la lecture des motifs que, à titre principal, les recourants ne veulent payer aucun montant à titre de rappel d'impôt, ni être amendés en raison d'une soustraction fiscale. Il ressort en outre de leurs autres conclusions, qu'ils désirent subsidiairement une réduction du montant d'impôt et du rappel d'impôt, respectivement des amendes qui ont été prononcées à leur encontre. Il faut toutefois se demander si les conclusions principales du recours englobent les périodes de taxation 2010 à 2012, puisque, pour celles-ci, les recourants n'avaient pas été taxés précédemment et ne pouvaient donc pas faire l'objet d'un rappel d'impôt. Cette question peut cependant être laissée ouverte vu l'issue du recours.
1.4. Au surplus, le recours a été interjeté en temps utile (cf. art. 100 al. 1 LTF), par les destinataires de l'arrêt attaqué, qui ont qualité pour recourir (art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
Dans un premier grief, les recourants se plaignent d'une violation de l'art. 29 al. 1 Cst. en ce que la Cour de justice a refusé de joindre leur cause avec celle, également pendante devant elle, de la société C.________ SA. Ils requièrent en outre du Tribunal fédéral qu'il procède lui-même à la jonction de la présente procédure avec la procédure 2C_875/2018 relative à la société précitée.
2.1. La décision de joindre ou non des causes en droit administratif procède de l'exercice du pouvoir d'appréciation du juge, qui est large en la matière. Elle peut être ordonnée à tout stade de la procédure. Le Tribunal fédéral ne revoit en conséquence une décision dans ce domaine qu'en cas d'abus du pouvoir d'appréciation (arrêt 2C_850/2014 du 10 juin 2016 consid. 11.1 et les références, non publié in ATF 142 II 388). En outre, cette décision, lorsqu'elle est prise, comme en l'espèce, par une autorité de dernière instance cantonale, est fondée sur du droit de procédure cantonal. Or, sauf dans les cas cités expressément à l'art. 95 LTF, le recours devant le Tribunal fédéral ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels. Le Tribunal fédéral n'examine toutefois le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (art. 106 al. 2 LTF).
2.2. En l'occurrence, la Cour de justice a expliqué qu'elle refusait de joindre la cause des recourants avec celle de la société C.________ SA car, bien que celles-ci portent sur le même complexe de faits, la jonction des procédures ne se justifiait pas en présence de contribuables distincts, soumis à des dispositions légales différentes.
Pour leur part, les recourants sont d'avis que, dans la mesure où les causes portent sur le même complexe de fait et que les parties sont représentées par le même avocat, il convient de joindre les causes, les arguments de l'autorité précédente ne s'opposant pas à une telle jonction. Ils rappellent en outre que le recourant 1 est l'unique actionnaire de la société C.________ SA et que durant les périodes fiscales sous revue, les recourants en étaient les uniques administrateurs. Ils invoquent ainsi un formalisme excessif.
2.3. En l'occurrence, la décision de refuser la jonction de cause a été prise par la Cour de justice dans l'arrêt au fond, avec comme motivation principale le fait qu'il n'était pas justifié de joindre deux causes en matière fiscale lorsque les contribuables n'étaient pas les mêmes. Une telle approche ne procède d'aucun abus ou excès du pouvoir d'appréciation. Au contraire, même si les recourants étaient effectivement les seuls à être actionnaires, respectivement administrateurs de la société durant les années en cause, il n'est pas exclu que cette situation change et qu'un tiers se trouve impliqué dans l'organisation de la société et ait accès aux données fiscales des recourants. A ce propos, on peut s'étonner de l'argumentation des recourants qui mentionnent le fait qu'ils sont représentés par le même mandataire que la société. Cet argument n'est aucunement pertinent, dans la mesure où l'avocat est soumis au secret professionnel. Finalement, l'autorité précédente a également raison lorsqu'elle explique que les dispositions légales applicables aux contribuables, qui sont des personnes physiques, ne sont pas les mêmes que celles qui s'appliquent à la société, qui est une personne morale. Dans ces conditions, on ne peut qu'écarter le grief de formalisme excessif formulé par les recourants et refuser de joindre leur cause avec celle de la société C.________ SA.
3.1. L'objet de la contestation porté devant le Tribunal fédéral est déterminé par l'arrêt attaqué. L'objet du litige, délimité par les conclusions des parties (art. 107 al. 1 LTF), ne saurait s'étendre au-delà de l'objet de la contestation. Par conséquent, devant le Tribunal fédéral, le litige peut être réduit, mais ne saurait être ni élargi, ni transformé par rapport à ce qu'il était devant l'autorité précédente, qui l'a fixé dans le dispositif de l'arrêt entrepris (et qui est devenu l'objet de la contestation devant le Tribunal fédéral; ATF 142 I 155 consid. 4.4.2 p. 156 et les références).
3.2. En l'occurrence, la Cour de justice a été amenée à statuer sur divers éléments, déterminés par les conclusions des deux parties recourantes devant elle. Après avoir traité des griefs formels des contribuables recourants, elle a statué sur les conclusions de l'Administration fiscale et augmenté le montant de la reprise effectuée pour la période fiscale 2008, celui-ci passant de 202'465 fr. à 233'293 francs (consid. 5 de l'arrêt entrepris). Elle a ensuite examiné le recours des contribuables et, outre les questions de droit applicable (consid. 6 de l'arrêt entrepris) et de prescription (consid. 7 de l'arrêt entrepris), a exclu la déduction des frais d'entretien de leur immeuble pour les années en cause (aussi bien pour les cas de rappel d'impôt que de taxation), faute d'avoir été prouvés (consid. 8 de l'arrêt entrepris). L'autorité précédente a ensuite considéré que les contribuables remplissaient aussi bien les conditions objectives que subjectives de l'infraction de soustraction d'impôt pour les années 2004 à 2009 (consid. 10 de l'arrêt entrepris) et a exclu toute diminution de la quotité de l'amende pour ces périodes (consid. 11 de l'arrêt entrepris). La Cour de justice, qui a également confirmé les amendes pour tentative de soustraction d'impôt des années 2010 à 2012 (consid. 12 de l'arrêt entrepris), a finalement exclu la possibilité pour les contribuables de déduire les amendes de leur fortune imposable (consid. 13 ss de l'arrêt entrepris).
3.3. Dans leur recours au Tribunal fédéral, les contribuables demandent en substance la correction des montants qui leur sont imputés au titre de prestations appréciables en argent en cas d'admission du recours de la société, également pendant devant le Tribunal fédéral (cause 2C_875/2018). Ils désirent en outre que leurs frais d'entretien d'immeuble soient déductibles de leur revenu et contestent l'existence de l'élément subjectif de l'infraction de soustraction d'impôt, respectivement demandent une réduction de la quotité de l'amende. Ils sont encore d'avis que les amendes pour tentatives de soustraction d'impôt ne sauraient être prononcées avant que les décisions de taxation soient entrées en force et, finalement, requièrent la déduction des amendes de leur fortune imposable.
3.4. D'emblée, il faut constater que l'arrêt entrepris, outre pour l'année 2008, ne se prononce pas sur les montants, ni même sur le principe des reprises effectuées par l'Administration fiscale pour les périodes 2003 à 2009. Les recourants ne contestent d'ailleurs pas la reprise effectuée pour la période fiscale 2008, mais demandent une correction de toutes les années en cas d'admission du recours de la société par le Tribunal fédéral. Or, une telle conclusion sort de l'objet de la contestation et ne saurait être examinée. Au demeurant, dans la mesure où elle se fonde de toute façon sur des faits postérieurs à l'arrêt entrepris, en l'occurrence l'arrêt 2C_875/2018 relatif à la société, elle ne peut qu'être déclarée irrecevable. Il convient en revanche d'examiner les autres griefs.
En outre, la Cour de justice a d'ores et déjà constaté la péremption du droit de procéder au rappel d'impôt en matière d'IFD et d'ICC pour l'année 2002. Elle a également confirmé le jugement du Tribunal administratif de première instance en tant que celui-ci a constaté la prescription de l'action pénale pour les années 2002 et 2003. Ces éléments, hors de l'objet de la contestation, ne sauraient par conséquent faire l'objet du présent litige, raison pour laquelle il n'y a pas à les examiner.
En l'absence d'une réglementation expresse contraire, le droit applicable à la taxation est celui en vigueur pendant la période fiscale en cause. Le rappel d'impôt relevant du droit matériel, le droit applicable obéit aux mêmes règles (arrêt 2C_760/2017 du 15 juin 2018 consid. 3 et les références).
En matière d'IFD, la LIFD, entrée en vigueur le 1er janvier 1995, est ainsi applicable aux périodes litigieuses. L'ICC est régi par l'ancienne loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid (aLIPP-V/GE; abrogée au 31 décembre 2009; cf. art. 69 al. 1 let. e de la loi cantonale du 27 septembre 2009 sur l'imposition des personnes physiques [LIPP/GE; RSGE D 3 08]), par la LIPP/GE, par la loi genevoise de procédure fiscale du 4 octobre 2001 (LPFisc/GE; RSGE D 3 17), ainsi que par la LHID, entrée en vigueur le 1er janvier 1993, avec un délai pour les cantons au 31 décembre 2000 pour adapter leur législation (art. 72 al. 1 LHID).
La prescription ou la péremption sont des questions de droit matériel que le Tribunal fédéral examine d'office lorsqu'elles jouent en faveur du contribuable (cf. ATF 138 II 169 consid. 3.2 p. 171) tant pour l'IFD que l'ICC, lorsque celles-ci se fondent sur le droit fédéral (cf. ATF 138 II 169 consid. 3.4 p. 172; arrêts 2C_333/2017 du 12 avril 2018 consid. 8; 2C_12/2017 du 23 mars 2018 consid. 4.3, non publié in ATF 144 IV 136).
5.1. L'art. 152 al. 1 LIFD prévoit que le droit d'introduire une procédure de rappel d'impôt s'éteint dix ans après la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou pour laquelle la taxation entrée en force était incomplète. Le droit de procéder au rappel d'impôt s'éteint quinze ans après la fin de la période fiscale à laquelle il se rapporte (art. 152 al. 3 LIFD; cf. ATF 140 I 68 consid. 6.1 p. 73). Les art. 61 al. 1 et 3 LPFisc/GE et 53 al. 2 et 3 LHID posent les mêmes principes. La problématique peut donc être examinée conjointement pour l'IFD et l'ICC.
En l'occurrence, il ressort des faits de l'arrêt entrepris qu'un avis d'ouverture de la procédure de rappel d'impôt a été notifié aux recourants en novembre 2012 pour l'IFD et l'ICC 2002 à 2009. Le délai de péremption de dix ans des art. 152 al. 1 LIFD, 61 al. 1 LPFisc/GE et 53 al. 2 LHID a ainsi été respecté. En revanche, s'agissant du délai de péremption relatif au droit de procéder au rappel d'impôt pour l'année fiscale 2003 (art. 152 al. 3 LIFD, 61 al. 3 LPFisc/GE et 53 al. 3 LHID), celui-ci est survenu à la fin de la période fiscale 2018, si bien qu'à l'instar de l'année fiscale 2002, le droit de procéder au rappel d'impôt pour l'année 2003 est également périmé. Pour le droit de procéder au rappel d'impôt des années 2004 à 2009, celui-ci n'est ni prescrit, ni périmé.
5.2. S'agissant du droit de taxer les années fiscales 2010 à 2012 (ces années n'ayant pas fait l'objet d'un rappel d'impôt), l'art. 120 al. 1 phr. 1 LIFD, respectivement les art. 22 al. 1 phr. 1 LPFisc/GE et 47 al. 1 LHID, disposent que le droit de procéder à la taxation se prescrit par cinq ans à compter de la fin de la période fiscale. Selon les art. 120 al. 3 let. a et d LIFD et 22 al. 3 let. a et d LPFisc/GE, un nouveau délai de prescription commence à courir (a) lorsque l'autorité prend une mesure tendant à fixer ou faire valoir la créance d'impôt et en informe le contribuable ou une personne solidairement responsable avec lui du paiement de l'impôt, ainsi que (d) lorsqu'une poursuite pénale est introduite ensuite de soustraction d'impôt consommée ou de délit fiscal.
En l'occurrence, on peut se demander si les art. 120 al. 3 let. d LIFD et 22 al. 3 let. d LPFisc/GE s'appliquent également à la tentative de soustraction de l'art. 176 LIFD (art. 70 LPFisc/GE), bien qu'ils fassent expressément référence à la soustraction d'impôt consommée prévue à l'art. 175 LIFD (art. 69 LPFisc/GE). Si un auteur le préconise (cf. PETER LOCHER, Kommentar zum Bundesgesetz über die direkte Bundessteuer, III. Teil, 2015, n. 38 ad art. 120 LIFD), cette question peut être laissée ouverte puisque, comme le relèvent d'autres auteurs (cf. MASMEJEAN-FEY/VIANIN, in Commentaire romand, Impôt fédéral direct, Noël/Aubry Girardin [éd.], 2e éd. 2017, n. 19 ad art. 120 LIFD), l'information de l'ouverture d'une procédure pour tentative de soustraction d'impôt constitue une mesure par laquelle l'autorité fiscale signale au contribuable sa volonté de procéder par la suite à sa taxation et relève ainsi de toute façon d'un cas d'application de l'art. 120 al. 3 let. a LIFD, respectivement de l'art. 22 al. 3 let. a LPFisc/GE (cf. ATF 139 I 64 consid. 3.3 p. 68 et les références).
Ainsi, en informant les recourants de l'ouverture d'une procédure pour tentative de soustraction d'impôt pour les années 2010 à 2012 le 12 novembre 2015, l'Administration fiscale a fait courir un nouveau délai de prescription, raison pour laquelle aucune de ces trois années fiscales n'est prescrite à ce jour.
5.3. Avant le 1er janvier 2017, la poursuite pénale de la soustraction consommée se prescrivait dans tous les cas par quinze ans à compter de la fin de la période fiscale pour laquelle la taxation n'avait pas été effectuée ou l'avait été de façon incomplète, ce délai ne pouvant être prolongé (ancien art. 184 al. 1 let. b LIFD [RO 1991 1184]
cum art. 333 al. 6 let. b CP, en relation avec l'ATF 134 IV 328). Pour sa part, la poursuite de la tentative de soustraction se prescrivait par six ans à compter de la clôture définitive de la procédure au cours de laquelle la tentative de soustraction avait été commise (ancien art. 184 al. 1 let. a et al. 2 LIFD). Depuis le 1er janvier 2017, la poursuite pénale se prescrit, en cas de soustraction d'impôt consommée, au plus tôt, par dix ans à compter de la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée ou l'a été de façon incomplète (art. 184 al. 1 let. b ch. 1 LIFD). S'agissant de la tentative de soustraction, la poursuite pénale se prescrit toujours par six ans à compter de la clôture définitive de la procédure au cours de laquelle la tentative de soustraction a été commise (art. 184 al. 1 let. a LIFD). Selon l'art. 184 al. 2 LIFD actuellement en vigueur, la prescription ne court plus si une décision a été rendue par l'autorité cantonale compétente (art. 182 al. 1 LIFD) avant l'échéance du délai de prescription. L'art. 58 al. 1, al. 2 let. a et al. 3 LHID, en vigueur depuis le 1er janvier 2017, a un contenu identique à celui de l'art. 184 LIFD; il est directement applicable si les cantons n'ont pas adapté leur législation au 1er janvier 2017 (art. 72s LHID; cf. art. 77 LPFisc/GE dont l'al. 2 diffère de l'art. 58 al. 3 LHID). En vertu des art. 205f LIFD et 78f LHID, le nouveau droit est applicable au jugement des infractions commises au cours des périodes fiscales précédant le 1er janvier 2017 s'il est plus favorable que le droit en vigueur au cours de ces périodes fiscales (cf. arrêts 2C_333/2017 du 12 avril 2018 consid. 8.2; 2C_12/2017 du 23 mars 2018 consid. 4.3, non publié in ATF 144 IV 136).
En l'occurrence, en application du nouveau droit, la poursuite pénale de la soustraction d'impôt consommée reprochée aux recourants au cours des périodes fiscales 2004 à 2009 ne s'est pas prescrite, dès lors que l'Administration fiscale a rendu une décision le 8 avril 2014 pour les années 2002 à 2008 et le 25 avril 2016 pour l'année 2009, soit avant le délai de dix ans après la fin des périodes fiscales en cause. En application de l'ancien droit, la poursuite pénale des périodes fiscales 2004 à 2009 ne s'est pas non plus prescrite, dès lors que le 22 novembre 2012, l'Administration fiscale a informé les contribuables de l'ouverture de la procédure.
S'agissant de la poursuite pénale pour l'infraction de tentative de soustraction d'impôt reprochée aux recourants pour les périodes fiscales 2010 à 2012, le délai de prescription n'a pas encore commencé à courir, puisqu'en cas de litige, cela ne sera le cas qu'à partir du moment où le Tribunal fédéral aura statué sur ladite procédure (arrêt 2C_724/2010 du 27 juillet 2011 consid. 6.4 et les références).
Se prévalant d'arbitraire et de la maxime inquisitoire et citant en particulier les art. 29 al. 2 Cst., ainsi que 112 al. 1 let. b LTF, les recourants contestent l'établissement des faits effectué par la Cour de justice.
6.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF (ATF 142 I 155 consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; ATF 142 II 355 consid. 6 p. 358). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits invoqués de manière appellatoire sont irrecevables (ATF 141 IV 369 consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (art. 99 al. 1 LTF).
Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, d'avoir accès au dossier, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (ATF 142 III 48 consid. 4.1.1 p. 52 s.; 140 I 285 consid. 6.3.1 p. 299 et les références). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (ATF 140 I 285 consid. 6.3.1 p. 299 et les références).
6.2. En l'occurrence, les recourants estiment que la Cour de justice n'a pas établi à suffisance les faits en relation avec les frais d'entretien relatifs à leur immeuble et dont ils réclament la déduction dans le contexte de la procédure de rappel d'impôt pour les années 2004 à 2009, ces frais n'ayant pas été déclarés à titre personnel, mais déduits par la société. Les recourants considèrent qu'à ce propos, l'autorité précédente s'est limitée à accepter la version de l'Administration fiscale, sans autre vérification, ce qui les empêche d'argumenter correctement leur recours et les prive de critiquer le raisonnement de l'autorité cantonale, violant ainsi leur droit d'être entendus. Par ailleurs, ils sont également d'avis que, même si l'Administration fiscale a procédé à plusieurs visites de l'immeuble, la Cour de justice ne pouvait pas renoncer à effectuer un transport sur place, respectivement expliquer que des plans se trouvaient au dossier et ne rien décrire dans l'arrêt quant aux composantes du calcul de répartition des charges mixtes. Les recourants se plaignent finalement du fait que l'autorité précédente n'a pas établi ce qu'étaient leur conscience et leur volonté dans le cadre de l'infraction de soustraction d'impôt.
6.3. La Cour de justice a considéré en bref que les recourants, que ce soit pour la procédure de rappel d'impôt relative aux années 2004 à 2009 ou pour la procédure de taxation des années 2010 à 2012, n'avaient pas produit de moyens de preuve concernant les charges d'entretien de leur immeuble alors qu'ils supportaient le fardeau de la preuve s'agissant de fait diminuant leur dette fiscale. C'était à bon droit que l'Administration fiscale et le Tribunal administratif de première instance avaient refusé les déductions des frais d'entretien des immeubles dans le cadre du rappel d'impôt et n'avaient admis qu'une déduction forfaitaire pour les années 2010 à 2012. S'agissant de la demande tendant à un transport sur place, l'autorité précédente, en procédant à une appréciation anticipée de ce moyen de preuve, a jugé que cela n'était pas nécessaire en raison du fait que l'Administration fiscale l'avait déjà fait à deux reprises et que des plans des différentes parcelles se trouvaient au dossier. Quant à l'élément subjectif de l'infraction de soustraction d'impôt, la Cour de justice a considéré que les recourants "ne pouvaient ignorer la nécessité d'opérer une séparation entre ce qui relevait des aspects commerciaux et privés, ce d'autant qu'ils ont affirmé durant la procédure qu'ils savaient très bien séparer les frais commerciaux des leurs et que la société n'avait de loin pas pris en charge l'intégralité de ceux de la famille". Elle en a déduit que, dans ces circonstances, "l'on ne voit pas pour quel autre motif que pour obtenir une taxation moins élevée ils pouvaient considérer que la prise en charge de leurs nombreux frais privés pouvait avoir un caractère commercial".
6.4. En l'occurrence, dans la mesure où la Cour de justice a considéré que c'est en raison d'un manque de moyens de preuve que les déductions pour charge d'entretien devaient être refusées, on ne voit pas en quoi les éléments voulus par les recourants, par exemple en relation avec la répartition des charges entre eux et la société, auraient une quelconque incidence sur l'issue de la cause. Ils ne l'expliquent d'ailleurs pas. Il en va de même de la surface de leur immeuble ou de la vision locale demandée. Ces éléments ne constituent pas des moyens de preuve attestant des montants acquittés pour l'entretien de l'immeuble, que ce soit durant les années 2004 à 2009 ou durant les années 2010 à 2012. Les recourants ne se plaignent d'ailleurs à aucun moment de la répartition des frais d'entretien opérée par la Cour de justice pour les taxations des années 2010 à 2012. On ne voit ainsi pas en quoi les faits retenus par l'autorité précédente auraient empêché les recourants de contester valablement l'arrêt entrepris. Au contraire, on constate à la lecture de leur recours, qu'ils ont parfaitement compris les arguments de la Cour de justice et qu'ils les ont contesté valablement. Finalement, et pour autant qu'il s'agisse d'une question d'établissement des faits, sur le vu des motifs de l'autorité précédente reproduits ci-dessus, on ne voit pas non plus en quoi celle-ci aurait établi l'élément subjectif de l'infraction de soustraction d'impôt sans qu'il soit possible de comprendre la conscience et la volonté des recourants.
6.5. Entièrement mal fondé, les griefs d'établissement inexact des faits et de violation du droit d'être entendu doivent être écartés. Le Tribunal fédéral vérifiera ainsi la correcte application du droit sur la seule base des faits retenus par l'autorité précédente.
En matière fiscale, les règles générales du fardeau de la preuve ancrées à l'art. 8 CC, destinées à déterminer qui doit supporter les conséquences de l'échec de la preuve ou de l'absence de preuve d'un fait, impliquent que l'autorité fiscale doit établir les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette fiscale ou la suppriment (cf. ATF 140 II 248 consid. 3.5 p. 252).
I. Impôt fédéral direct (rappel d'impôt et taxation)
8.1. Aux termes de l'art. 151 al. 1 LIFD, lorsque des moyens de preuve ou des faits jusque-là inconnus de l'autorité fiscale lui permettent d'établir qu'une taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts. Le rappel d'impôt est soumis à des conditions objectives. Il faut d'abord qu'une taxation n'ait, à tort, pas été établie ou soit restée incomplète, de sorte que la collectivité publique a subi une perte fiscale. Le rappel d'impôt suppose ensuite l'existence d'un motif de rappel. A cet égard, l'art. 151 al. 1 LIFD envisage en premier lieu la découverte de moyens de preuve ou de faits jusque là inconnus de l'autorité fiscale. Il y a ainsi motif à rappel d'impôt lorsque l'autorité découvre des faits ou des moyens de preuve qui ne ressortaient pas du dossier dont disposait l'autorité fiscale au moment de la taxation. Le rappel d'impôt ne peut porter que sur les points pour lesquels l'autorité fiscale dispose de nouveaux éléments (arrêt 2C_760/2017 du 15 juin 2018 consid. 6.1 et les références).
8.2. Se fondant sur l'art. 32 al. 2 phr. 1 LIFD, qui dispose que le contribuable qui possède des immeubles privés peut déduire les frais nécessaires à leur entretien, les frais de remise en état d'immeubles acquis récemment, les primes d'assurances relatives à ces immeubles et les frais d'administration par des tiers, les recourants demandent la prise en compte, pour les années 2004 à 2009 concernées par le rappel d'impôt, des frais d'entretien de leur immeuble. Selon eux, puisque ces frais, dont la déduction a été refusée à la société, étaient à leur charge, il convenait de leur donner la possibilité de les déduire de leurs revenus imposables pour les années en cause. Ils se fondent sur la jurisprudence selon laquelle la procédure de rappel d'impôt sert à mettre le contribuable dans la situation qui aurait dû être la sienne si, lors de la procédure de taxation ordinaire, l'autorité avait eu connaissance de tous les faits et moyens de preuve pertinents (cf. arrêt 2C_662/2014 du 25 avril 2015 consid. 6.3).
La Cour de justice a relevé que les charges en cause n'avaient pas fait l'objet de la procédure de rappel d'impôt relative aux recourants et que devait se poser la question de leur connexité avec les éléments justifiant le rappel. Elle a toutefois laissé la question de la connexité ouverte, puisque les recourants n'ont pas apporté de preuves relatives aux charges en cause.
8.3. Cette dernière approche doit être confirmée (cf. à ce propos ATF 144 II 359), dans la mesure où, faute d'être prouvés, les montants des charges ne sauraient de toute façon pas être déduits du revenu imposable des recourants. Il s'agit en effet de faits diminuant la dette fiscale, dont le fardeau de la preuve revient aux contribuables. Certes, comme ceux-ci le relèvent, ils auraient prétendument produits les documents pertinents dans le cadre de la procédure de rappel d'impôt relative à la société. Toutefois, la Cour de justice a expressément mentionné que, contrairement aux allégations des recourants, les pièces justificatives ne figuraient pas au dossier de la société pour les années 2004 à 2009. Or, il s'agit-là d'un fait que les recourants ne contestent pas, ou à tout le moins pas à suffisance. Au demeurant, même si des pièces avaient figuré au dossier de la société, il n'appartenait pas à la Cour de justice d'aller les consulter, puisqu'il s'agit de deux contribuables distincts (cf. consid. 2 ci-dessus relatif à la jonction des causes). En outre, l'autorité précédente mentionne justement qu'il revenait aux recourants de produire leurs moyens de preuve dans le cadre de la présente procédure, en plus de celle relative à la société. Si l'on peut regretter qu'elle n'ait pas attiré l'attention des recourants sur leur obligation de participation avant de rendre son arrêt, il n'en demeure pas moins que le Tribunal administratif de première instance, comme le mentionnent les contribuables, avait déjà utilisé cet argument. Ainsi, même s'il fallait admettre une violation de leur droit d'être entendus, ce qui est d'emblée douteux, force serait de constater que cette violation serait de toute façon guérie, dès lors que les recourants avaient la possibilité de produire tous les moyens de preuve qu'ils estimaient nécessaires devant la Cour de justice.
Quant à la procédure de taxation, contrairement à ce que semblent penser les recourants, la Cour de justice a bel et bien examiné leur grief relatif à la déduction des charges d'entretien de leur immeuble pour les années 2010 à 2012. A l'instar de ce que celle-ci a jugé pour le rappel d'impôt des années 2004 à 2009, elle a également considéré que les contribuables n'avaient pas apporté la preuve des dépenses consenties, alors qu'ils supportaient le fardeau de la preuve pour ce moyen diminuant leur dette fiscale. Il n'est donc nullement question de déni de justice. Par conséquent, il est possible de renvoyer à ce qui a été dit ci-dessus en relation avec le rappel d'impôt quant à la déduction des charges effectivement supportées par les contribuables. En outre, ceux-ci ne contestent pas la déduction admise par l'Administration fiscale et confirmée par l'autorité précédente. Il ne ressort aucunement de l'arrêt entrepris que cette déduction serait contraire au droit, raison pour laquelle elle peut être confirmée.
II. Impôt fédéral direct (soustraction)
Dans leurs griefs relatifs à l'infraction de soustraction d'impôt consommée, les recourants contestent en premier lieu avoir agi de manière fautive. S'il fallait tout de même retenir leur culpabilité, ils requièrent une diminution de la quotité de leur amende. En relation avec l'infraction de tentative de soustraction d'impôt, les recourants contestent la possibilité de prononcer une peine, faute de procédure de taxation entrée en force.
10.1. Selon l'art. 175 LIFD, est notamment puni d'une amende le contribuable qui, intentionnellement ou par négligence, fait en sorte qu'une taxation ne soit pas effectuée alors qu'elle devrait l'être, ou qu'une taxation entrée en force soit incomplète (al. 1); en règle générale, l'amende est fixée au montant de l'impôt soustrait; si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut au plus être triplée (al. 2). Pour qu'il y ait soustraction au sens de cette disposition, il faut donc qu'il y ait soustraction d'un montant d'impôt en violation d'une obligation légale incombant au contribuable et une faute de ce dernier.
10.1.1. En l'espèce, les déclarations fiscales des années 2004 à 2009 des recourants étaient incomplètes au sens de l'art. 124 al. 2 LIFD, puisqu'elles ne mentionnaient pas, à titre de revenu, les avantages appréciables en argent acquittés par la société en faveur des recourants. En 2012, l'Administration fiscale s'est aperçue de l'absence de ces éléments de revenu après que les taxations des années 2004 à 2009 furent toutes entrées en force. Par conséquent, les éléments objectifs de la soustraction réprimée à l'art. 175 al. 1 LIFD sont réunis, la base d'imposition ayant été indûment réduite et, par conséquent, l'impôt acquitté étant insuffisant, ce qui n'est au demeurant pas contesté.
10.1.2. L'infraction de l'art. 175 al. 1 LIFD comprend un élément subjectif: elle doit avoir été commise intentionnellement ou par négligence. Comme susmentionné, les recourants maintiennent ne pas avoir agi fautivement en ne déclarant pas les avantages appréciables en argent acquittés par la société. Ils estiment à ce propos qu'ils ont rempli leurs déclarations d'impôt seuls et qu'ils ignoraient la nécessité de séparer les charges privées des charges de la société. Pour eux, toutes les charges d'entretien de leur immeuble devaient être supportées par la société.
10.1.3. Les notions d'intention et de négligence de l'art. 175 LIFD sont identiques à celles de l'art. 12 al. 2 et 3 CP (dans sa version applicable depuis le 1er janvier 2008). Ainsi, agit intentionnellement quiconque commet un crime ou un délit avec conscience et volonté. L'auteur agit déjà intentionnellement lorsqu'il tient pour possible la réalisation de l'infraction et l'accepte au cas où celle-ci se produirait (art. 12 al. 2 CP). En outre, commet un crime ou un délit par négligence quiconque, par une imprévoyance coupable, agit sans se rendre compte ou sans tenir compte des conséquences de son acte. L'imprévoyance est coupable quand l'auteur n'a pas usé des précautions commandées par les circonstances et par sa situation personnelle (art. 12 al. 3 CP), par quoi l'on entend sa formation, ses capacités intellectuelles et son expérience professionnelle. Si le contribuable a des doutes sur ses droits ou obligations, il doit faire en sorte de lever ce doute ou, au moins, en informer l'autorité fiscale (ATF 135 II 86 consid. 4.3 p. 91 et les références). Etablir la conscience et la volonté relève de la constatation des faits qui lie le Tribunal fédéral (cf. art. 105 al. 1 LTF). En revanche, vérifier si l'autorité s'est fondée sur la notion exacte d'intention (ou de négligence) est une question de droit que le Tribunal fédéral revoit librement (arrêt 2C_129/2018 du 24 septembre 2018 consid. 9.1 et les références).
10.1.4. En l'espèce, il ressort des faits de l'arrêt entrepris que les recourants ont affirmé durant la procédure qu'ils savaient très bien séparer les frais commerciaux des leurs et que la société n'avait de loin pas pris en charge l'intégralité de ceux de la famille. Il ressort également de l'arrêt précité le fait que, lors d'un contrôle TVA de la société intervenu en 2005, les recourants ont été rendus attentifs au sujet de la nécessité de procéder à une séparation entre les frais privés et les frais commerciaux. Sur la base de ces éléments, on ne saurait faire grief à la Cour de justice d'avoir retenu que les recourants avaient agi intentionnellement ou, à tout le moins, par dol éventuel. Le fait d'avoir été avertis de l'obligation de procéder à la séparation des biens privés et commerciaux et le fait qu'ils aient eux mêmes affirmé savoir procéder à une telle séparation suffit à reconnaître l'élément subjectif de l'infraction. Sur la base de ces faits, les recourants devaient reconnaître que les frais d'entretien de la piscine ou de la cour extérieure de l'immeuble, au même titre que les dépenses de carte de crédit, l'acquisition de produits de luxe ou le paiement d'un voyage d'étude pour leur fille n'avaient aucun caractère commercial. Le fait que les recourants aient, comme ils l'affirment, une formation de gemmologue et aucune connaissances en droit comptable ou fiscal n'y change rien. Ils sont en effet administrateurs de la société depuis de très nombreuses années et bénéficient de ce fait d'une grande expérience, élément qui, ajouté à ceux présentés ci-dessus, exclut toute notion de négligence.
10.2.
10.2.1. Le montant de l'impôt soustrait constitue le premier élément de fixation de la peine. Celle-ci doit ensuite être fixée selon le degré de faute de l'auteur. En présence d'une infraction intentionnelle sans circonstances particulières, l'amende équivaut en règle générale au montant de l'impôt soustrait. En cas de faute grave, l'amende doit donc en principe être supérieure à une fois l'impôt soustrait et peut être au plus triplée (cf. art. 175 al. 2 LIFD). La quotité précise de l'amende doit par ailleurs être fixée en tenant compte des dispositions de la partie générale du CP. Ainsi, conformément à l'art. 106 al. 3 CP, l'amende doit être fixée en tenant compte de la situation de l'auteur, afin que la peine corresponde à la faute commise. Les principes régissant la fixation de la peine prévus à l'art. 47 CP s'appliquent. En droit pénal fiscal, les éléments principaux à prendre en considération sont le montant de l'impôt éludé, la manière de procéder, les motivations, ainsi que les circonstances personnelles et économiques de l'auteur. Les circonstances atténuantes de l'art. 48 CP sont aussi applicables par analogie en droit pénal fiscal (pour tout ce qui précède, ATF 144 IV 136 consid. 7.2.1 s. et les références).
10.2.2. En l'occurrence, on ne saurait suivre les recourants lorsqu'ils affirment avoir été sanctionnés deux fois pour la même faute, une amende ayant été prononcée contre eux et une autre contre la société. S'agissant de deux personnes différentes, cela ne justifie aucunement une réduction de la quotité de la peine. Bien plus, comme l'a jugé la Cour de justice, en fixant la peine aux deux tiers de l'impôt soustrait, il ne saurait être question d'excès ou d'abus du pouvoir d'appréciation de l'Administration fiscale. Celle-ci a pris en compte tous les éléments présentés ci-avant, en particulier le caractère intentionnel de l'infraction, ainsi que la durée durant laquelle les recourants ont trompé les autorités fiscales et les montants soustraits pour fixer la peine. Leur bonne collaboration a en outre également été considérée.
10.3. Aux termes de l'art. 176 LIFD, celui qui tente de se soustraire à l'impôt sera puni d'une amende (al. 1). L'amende est fixée aux deux tiers de la peine qui serait infligée si la soustraction avait été commise intentionnellement et consommée (al. 2). La tentative de soustraction se situe entre les actes préparatoires d'une soustraction, qui ne sont pas punissables, et la soustraction consommée (art. 175 LIFD), qui l'est. Le comportement illicite réprimé correspond, sur le plan objectif, à celui de la soustraction fiscale au sens de l'art. 175 LIFD. Dans la procédure de taxation, il suffit que le contribuable donne à l'autorité fiscale des renseignements inexacts, en particulier en fournissant une déclaration d'impôt incomplète et qui n'est pas conforme à la vérité au sens de l'art. 124 al. 2 LIFD. Pour qu'il y ait tentative, l'autorité de taxation doit découvrir que les renseignements fournis sont inexacts avant que la décision de taxation ne soit entrée en force, car, ensuite, la soustraction est consommée (arrêt 2C_722/2017 du 13 décembre 2017 consid. 9.2 et les références).
10.4. Les recourants soutiennent qu'une tentative de soustraction ne peut être établie qu'une fois la taxation entrée en force et que les amendes, si elles devaient être maintenues, ne pourraient être prononcées qu'une fois la taxation définitivement arrêtée.
Une fois de plus, les recourants ne sauraient être suivis. On relèvera d'abord, en renvoyant à ce qui a été mentionné ci-dessus en relation avec l'infraction de soustraction d'impôt (cf. consid. 10.1 ci-dessus), que les recourants remplissent les conditions objectives et subjectives de l'infraction de tentative de soustraction d'impôt. Ils ont en particulier procédé à de fausses déclarations pour les années 2010 à 2012 et ces périodes fiscales n'ont pas encore fait l'objet de taxations définitives. Pour le surplus, on ne voit pas où ils désirent en venir avec leur affirmation relative à l'entrée en force des taxations. On ne peut que constater que les taxations 2010 à 2012 entrent en force avec le présent arrêt et que, de ce fait, c'est de manière pleinement justifiée que l'autorité précédente a confirmé la condamnation des recourants. S'agissant de la quotité de le peine, il peut également être renvoyé à ce qui a été présenté précédemment (cf. consid. 10.3 ci-dessus).
III. Impôts cantonal et communal
Concernant les conditions du rappel d'impôt, les art. 53 al. 1 phr. 1 LHID et 59 al. 1 LPFisc/GE correspondent à l'art. 151 al. 1 LIFD (cf. arrêt 2C_760/2017 du 15 juin 2018 consid. 7.3 et références). En outre, pour ce qui relève des frais nécessaires à l'entretien des immeubles, la teneur de l'art. 32 al. 2 LIFD correspond à celle des art. 9 al. 3 LHID et 34 let. d LIPP/GE. Par conséquent, les considérations développées pour l'impôt fédéral direct concernant le rappel d'impôt et la déduction des frais d'entretien des immeubles s'appliquent aussi à l'impôt cantonal et communal pour les périodes fiscales sous examen (rappel d'impôt et taxation). En outre, d'un point de vue des impôts cantonal et communal, les dispositions de la LHID (art. 56 al. 1 et 2 LHID) et du droit cantonal genevois (art. 69 et 70 LPFisc/GE) relatives à la soustraction d'impôt ont des teneurs et une portée similaires à celles de la LIFD (cf. arrêt 2C_125/2018 du 24 septembre 2018 consid. 10.1). Il s'ensuit que les motifs qui ont conduit à l'admission partielle du recours en matière d'impôt fédéral direct (dans la mesure où la période fiscale 2003 est prescrite) s'appliquent également en matière d'impôt cantonal et communal. Les griefs des recourants doivent par conséquent être écartés pour le surplus.
Finalement, les recourants sont encore d'avis que les amendes auxquelles ils ont été condamnés doivent être déduites de leur fortune imposable.
12.1. Selon l'art. 13 al. 1 LHID, l'impôt sur la fortune a pour objet l'ensemble de la fortune nette. L'art. 46 LIPP/GE et l'art. 1 de l'ancienne loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Impôt sur la fortune (aLIPP-III/GE; RS/GE D 3 13) sont identiques et prévoient que l'impôt sur la fortune a pour objet l'ensemble de la fortune nette après déductions sociales. Les art. 56 LIPP/GE et 13 aLIPP-III/GE ont aussi la même teneur. D'après ces articles, sont déduites de la fortune brute les dettes chirographaires ou hypothécaires justifiées par titres, extraits de comptes, quittances d'intérêts ou déclaration du créancier (art. 56 al. 1 LIPP/GE et art. 13 al. 1 let. a aLIPP-III/GE). En outre, il ne peut être déduit que les dettes effectivement dues par le contribuable (art. 56 al. 2 LIPP/GE et art. 13 al. 2 aLIPP-III/GE). La définition de la fortune nette de l'art. 13 al. 1 LHID s'impose aux cantons, qui ne peuvent soumettre à l'impôt un élément n'entrant pas dans celle-ci (cf. ATF 136 II 256 consid. 3.1 p. 259; arrêt 2C_258/2017 du 2 juillet 2018 consid. 7.2 et les références).
Selon la jurisprudence rendue en application de l'art. 13 al. 1 LHID, l'impôt sur la fortune a pour objet la différence positive entre les actifs et les dettes du contribuable (ATF 138 II 311 consid. 3.3.1 p. 318; arrêt 2C_258/2017 du 2 juillet 2018 consid. 7.3 et les références). Le contribuable peut déduire de sa fortune les dettes effectives. Les dettes prescrites, simplement possibles, futures ou correspondant à des expectatives ne sont en principe pas déductibles. En revanche, l'échéance de la dette ne constitue pas une condition à la déductibilité de celle-ci (ATF 138 II 311 consid. 3.3.2 p. 319; arrêt 2C_258/2017 du 2 juillet 2018 consid. 7.2 et les références).
12.2. Le Tribunal fédéral n'a jamais eu à examiner le point de savoir si une personne physique peut déduire des amendes fiscales de sa fortune. Il a cependant déjà traité de cette question en relation avec la déduction de sanctions à caractère pénal du bénéfice de personnes morales (ATF 143 II 8), ainsi que du revenu d'indépendants (ATF 70 I 250). A cette occasion, il est arrivé à la conclusion que la déduction d'amendes conduirait dans les faits à réduire la peine. La diminution du bénéfice net imposable et du montant de l'impôt sur le bénéfice y consécutive aurait en effet pour conséquence qu'une partie de l'amende serait indirectement supportée par la collectivité. Le Tribunal fédéral a exclu qu'il s'agisse-là de la volonté du législateur et a considéré que si cela avait été le cas, celui-ci l'aurait expressément prévu dans une disposition, ce qu'il n'a pas fait (ATF 143 II 8 consid. 7.3 p. 24).
En l'occurrence, pour une personne physique exerçant une activité dépendante, les amendes constituent des dépenses d'utilisation du revenu qui ne sauraient être déductibles de celui-ci (cf. art. 34 let. a LIFD, art. 38 let. a LIPP/GE et art. 9 let. a de l'ancienne loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid [aLIPP-V/GE; RSGE D 3 16]; cf. arrêt 2C_276/2018 du 15 juin 2018 consid. 2.5.2). S'agissant des personnes physiques exerçant une activité indépendante ou des personnes morales, la déduction d'amendes du revenu, respectivement du bénéfice est exclue car cette déduction n'est pas justifiée par l'usage commercial (cf. art. 27 al. 1 LIFD
a contrarioet 30 LIPP/GE
a contrario, respectivement art. 3 al. 3 aLIPP-V/GE
a contrarioet 10 al. 1 LHID
a contrario; art. 59 al. 1 let. a LIFD, ainsi que 25 al. 1 let. a LHID et 13 al. 1 let. a LIPM). En revanche, rien n'exclut d'emblée la déduction d'amendes fiscales de la fortune imposable. En effet, comme on l'a vu, toutes les dettes sont déductibles de la fortune, indépendamment de leur cause. La seule obligation est que la dette soit effective, c'est-à-dire en particulier qu'il ne s'agisse pas d'une dette future. Ainsi, au contraire de la créance fiscale, qui, dans le système d'imposition postnumerando, est déductible de la fortune de la période fiscale qu'elle concerne (arrêt 2C_489/2018 du 13 juillet 2018 consid. 3.2.1 et les références), l'amende fiscale, en raison du principe de la présomption d'innocence, ne saurait être effective avant que la condamnation n'entre en force. Cela signifie en l'espèce, que les amendes fiscales en cause ne peuvent être déduites de la fortune imposable des recourants pour les périodes 2004 à 2012, dès lors que ces amendes ne constituaient que des dettes futures qui ne sont devenues exigibles que lors de l'entrée en force de la condamnation, avec le présent arrêt. Le grief des recourants doit par conséquent être écarté.
Les considérants qui précèdent conduisent à l'admission partielle du recours, tant en matière d'IFD que d'ICC. Succombant dans une très large mesure, les recourants doivent supporter la plus grande partie des frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF), le solde étant à la charge du canton de Genève, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu (art. 66 al. 1 et 4 LTF). En tant qu'il succombe partiellement, le canton de Genève sera condamné à verser aux recourants des dépens réduits (art. 68 al. 1 LTF), aucun dépens ne lui étant alloué (art. 68 al. 3 LTF). Il ne se justifie en outre pas de répartir autrement les frais de la procédure antérieure (cf. art. 67 LTF), puisqu'au moment du prononcé de l'arrêt entrepris, la période fiscale 2003 n'était pas encore prescrite.
Le recours est partiellement admis, dans la mesure où il est recevable, en tant qu'il concerne l'impôt fédéral direct et l'arrêt de la Cour de justice du 21 août 2018 est annulé dans la mesure où il a trait à la période fiscale 2003. Le recours est rejeté pour le surplus.
Le recours est partiellement admis, dans la mesure où il est recevable, en tant qu'il concerne les impôts cantonal et communal et l'arrêt de la Cour de justice du 21 août 2018 est annulé dans la mesure où il a trait à la période fiscale 2003. Le recours est rejeté pour le surplus.
Les frais judiciaires, arrêtés à 7'000 fr., sont mis pour 6'000 fr. à la charge des recourants, solidairement entre eux, et pour 1'000 fr. à la charge du canton de Genève.
La canton de Genève versera aux recourants la somme de 1'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fiscale cantonale et à la Chambre administrative de la Cour de justice de la République et canton de Genève, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 17 avril 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette