Somatoform pain disorder not disabling; damages claim rejectedGénéré par IA

{T 7}
I 299/06

Arrêt du 4 avril 2007
IIe Cour de droit social

Composition
MM. les Juges U. Meyer, Président,
Borella et Kernen.
Greffier: M. Wagner.

Parties
G.________,
recourant, représenté par Me Jacques Micheli, avocat, place Pépinet 4, 1003 Lausanne,

contre

Office de l'assurance-invalidité pour le canton de Vaud, avenue Général-Guisan 8, 1800 Vevey,
intimé.

Objet
Assurance-invalidité,

recours de droit administratif contre le jugement du Tribunal des assurances du canton de Vaud du 9 novembre 2005.

Faits:
A.
A.a G.________, né le 2 juillet 1957, a exercé divers emplois en qualité de maçon ou de jardinier-paysagiste, en dernier lieu comme chef d'équipe (maçon).
Le 5 décembre 1995, G.________ a déposé une demande de prestations de l'assurance-invalidité, en requérant une orientation professionnelle. Dans un rapport médical du 14 janvier 1996, le docteur T.________, médecin généraliste, a posé le diagnostic de lombalgies basses en relation avec un trouble statique (scoliose dorso-lombaire sinistro-convexe). Il indiquait que le patient avait présenté une incapacité de travail de 100 % entre le 14 novembre et le 21 décembre 1995.
Du 9 juin au 4 juillet 1997, G.________ a effectué un stage d'observation professionnelle au COPAI. Dans un rapport du 1er septembre 1997, le docteur M.________, médecin-conseil, a retenu que des travaux lourds de manoeuvre n'étaient plus adaptés, alors que dans une activité légère de manutention ou dans un travail à l'établi ne nécessitant qu'une simple mise au courant, celui-ci pourrait travailler à plein temps, avec des rendements de l'ordre de 60 % au départ, pour commencer sous forme de réentraînement. On pouvait espérer, avec le temps, une augmentation du rendement.
Le 16 février 1998 G.________ a commencé un stage d'évaluation auprès de l'entreprise R.________ SA, qui s'est achevé plus tôt que prévu le 27 février 1998. Selon un rapport intermédiaire du 12 mars 1998, le chef d'atelier était de l'avis qu'un travail dans l'économie n'était pas envisageable.
L'Office de l'assurance-invalidité pour le canton de Vaud a confié une expertise médicale au docteur H.________, spécialiste FMH en médecine interne et spécialiste des maladies rhumatismales à P.________. Dans un rapport du 17 avril 2001, ce médecin a posé les diagnostics de cervicolombalgies chroniques invalidantes d'allure commune et de trouble somatoforme douloureux chronique. Théoriquement, d'un point de vue rhumatologique, la capacité de travail pour des travaux légers - manutention simple adaptée aux possibilités intellectuelles du patient, ne comprenant pas de mouvements en porte-à-faux répétitifs, ni le port de charges supérieures à 15 kg - était de 60 % depuis mai 1995.
Dans un rapport d'examen SMR du 14 mai 2001, les docteurs V.________, médecin-chef, et L.________, spécialiste FMH en médecine générale, ont considéré que le trouble somatoforme douloureux chronique était l'atteinte principale à la santé de l'assuré. A leur avis, il était légitime d'admettre une pleine capacité de travail dans une activité adaptée, ceci en l'absence d'élément probant permettant de retenir le taux de 60 % fixé par le docteur H.________.
Le 20 mars 2002, dans un projet de décision, l'Office de l'assurance-invalidité pour le canton de Vaud a avisé G.________ qu'il présentait une invalidité de 11.55 %, ce que celui-ci a contesté dans une lettre du 9 avril 2002, en requérant la mise en oeuvre d'une expertise pluridisciplinaire.
Les médecins du SMR ont procédé à un examen clinique pluridisciplinaire le 14 juin 2002. Dans un rapport du 21 juin 2002, les docteurs L.________, A.________, spécialiste FMH en rhumatologie, et B.________, psychiatre FMH, ont posé le diagnostic de rachialgies communes sur troubles statiques et dégénératifs mineurs et de trouble somatoforme (F45.8 [CIM-10]) sans comorbidité psychiatrique. Ils concluaient à une capacité de travail de 100 % pour toute activité et en particulier pour l'activité exercée auparavant, dès le 14 novembre 1995.
Dans un nouveau projet de décision du 7 novembre 2002, l'office AI a informé G.________ qu'il résultait de l'expertise pluridisciplinaire effectuée par les médecins du SMR que sa capacité de travail était entière dans n'importe quelle activité, notamment dans son activité habituelle. Il ne présentait pas une atteinte à la santé entravant durablement sa capacité de gain et susceptible de fonder un droit à des prestations de l'assurance-invalidité.
Par lettre du 9 décembre 2002, G.________ a contesté toute valeur probante à l'expertise des médecins du SMR. Il demandait qu'une nouvelle expertise soit confiée à l'Hôpital X.________ ou à la Clinique Y.________. Dans un courrier du 12 décembre 2002, il a produit une communication des ateliers P.________ où il a travaillé depuis le 30 mars 1998, au début à 100 %, puis à 50 % à partir du 11 décembre 2001.
Par décision du 24 janvier 2003, l'office AI a rejeté la demande du 5 décembre 1995.
Dans un mémoire du 25 février 2003, G.________ a formé opposition contre cette décision. Il réitérait sa requête tendant à la mise en oeuvre d'une nouvelle expertise médicale.
Par décision du 25 avril 2003, l'office AI a partiellement admis l'opposition en ce sens que la décision du 24 janvier 2003 était annulée, l'instruction devant être complétée par une expertise pluridisciplinaire à la Clinique Y.________. La prétention serait à nouveau examinée après exécution de cette mesure d'instruction complémentaire.
A.b Du 25 au 27 août 2003, G.________ a séjourné à la Clinique Y.________. Les médecins ont procédé à des radiographies complémentaires des rachis cervical et lombaire. Une évaluation des capacités fonctionnelles liées au travail a été effectuée par le docteur I.________, chef du service de réadaptation générale (rapport du 1er septembre 2003). Le docteur F.________, médecin-chef du service psychosomatique, a procédé à une expertise psychiatrique. Dans un rapport du 1er septembre 2003, le docteur U.________ a posé les diagnostics de syndrome douloureux somatoforme persistant probable (F45.4), de lombalgies communes (M54.5) et de troubles statiques et dégénératifs rachidiens très modérés (M40.2). Au terme de leur entretien de synthèse, les médecins ayant participé à l'expertise estimaient de façon unanime qu'il n'y avait pas d'atteinte à la santé susceptible de limiter de façon significative la capacité de travail du patient dans l'une des activités légères proposées par l'assurance-invalidité. Ils ne s'écartaient pas sur ce point des avis médicaux émis jusqu'ici, y compris de ceux des médecins traitants et de l'expert H.________. Pas plus que ces médecins, ils ne retenaient de déficience physique ni de singularité psychique susceptible de limiter la capacité de travail dans une activité adaptée, comportant des limitations maintes fois décrites en termes de port de charges (15 kg) et de positions (porte-à-faux).
Par décision du 24 octobre 2003, l'office AI a informé G.________ que selon l'expertise de la Clinique Y.________ du 1er septembre 2003, sa capacité de travail était entière dans n'importe quelle activité, notamment dans son activité habituelle. Attendu qu'il ne présentait pas d'atteinte à la santé entravant durablement sa capacité de gain et susceptible de fonder un droit à des prestations de l'assurance-invalidité, sa demande du 5 décembre 1995 était rejetée.
Dans un mémoire du 25 novembre 2003, G.________ a formé opposition contre la décision du 24 octobre 2003, en concluant à la réforme de celle-ci en ce sens qu'il était mis au bénéfice d'une rente entière d'invalidité dès le 1er janvier 1997. A titre subsidiaire, il demandait que l'instruction soit complétée par une expertise pluridisciplinaire à confier à la l'Hôpital X.________ et, à titre plus subsidiaire, qu'il soit mis au bénéfice de mesures de réadaptation professionnelle à partir du 1er janvier 2004. Reprochant à l'office AI d'avoir déclenché et favorisé sa désinsertion professionnelle, il présentait une demande en réparation du dommage tendant au paiement immédiat de la somme de 349'963 fr. avec intérêts à 5 % l'an depuis le 25 novembre 2003.
Dans un document du 27 avril 2004, le docteur O.________, spécialiste FMH en médecine interne, a avisé l'office AI que la situation du patient était en train d'évoluer vers un état dépressif persistant à l'origine d'une aggravation des douleurs somatiques, devenues chroniques et résistantes à toute approche. Le 12 mai 2004, G.________ a produit un rapport du 16 avril 2004 du docteur C.________, spécialiste FMH en médecine physique et spécialiste en rhumatologie, indiquant que le patient présentait des blocages mécaniques douloureux importants, qui s'inscrivaient également dans le cadre d'un syndrome ou d'un trouble somatoforme douloureux devenu chronique avec état dépressif.
Par décision du 27 mai 2004, l'office AI a rejeté l'opposition, dans la mesure où elle était recevable.
A.c Dans un projet de décision du 22 juin 2004, l'office AI a informé G.________ de son rejet de sa demande en réparation du dommage déposée le 25 novembre 2003.
Le 8 juillet 2004, G.________ a maintenu sa demande en réparation du dommage.
Par décision du 19 juillet 2004, l'office AI a rejeté la demande en réparation du dommage.
B.
Dans un mémoire du 1er juillet 2004, G.________ a formé recours contre la décision sur opposition du 27 mai 2004 devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de frais et dépens, à la réforme de celle-ci en ce sens qu'il était mis au bénéfice d'une rente entière d'invalidité. A titre subsidiaire, il concluait à l'annulation de la décision attaquée, la cause étant renvoyée à l'office AI pour instruction complémentaire comportant une nouvelle expertise pluridisciplinaire. Il produisait notamment un rapport du 15 juin 2004 du docteur D.________, chef de clinique, et de la doctoresse E.________, médecin assistant du Centre de Consultation Psychiatrique et Psychothérapique (CCPP) W.________, indiquant les diagnostics principaux (DSM IV) de trouble dépressif majeur chronique, épisode actuel sévère avec caractéristiques mélancoliques, et de trouble douloureux.
Dans un mémoire non daté, parvenu au Tribunal des assurances du canton de Vaud le 14 septembre 2004, G.________ a formé recours contre la décision du 19 juillet 2004 rejetant sa demande en réparation du dommage, dont il demandait la réforme en ce sens qu'il était mis au bénéfice de mesures de réadaptation professionnelle dès le 1er janvier 2004 et que l'office AI était condamné à lui verser avec effet immédiat la somme de 349'963 fr. avec intérêts à 5 % l'an à partir du 25 novembre 2003.
Le 7 janvier 2005, le tribunal a ordonné la jonction des causes.
Lors d'une audience du 24 mars 2005 devant le Président du Tribunal des assurances, J.________, médecin, P.________, assistante sociale, et N.________, maître socio-professionnel chez P.________, ont été entendus en qualité de témoins. G.________ a déposé une requête incidente d'expertise complémentaire, qui a été rejetée par décision du juge instructeur du 20 mai 2005.
Par jugement du 9 novembre 2005, notifié à G.________ le 27 février 2006, le Tribunal des assurances a rejeté les recours.
C.
Dans un mémoire du 28 mars 2006, G.________ a interjeté un recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à la réforme de celui-ci en ce sens qu'il était mis au bénéfice d'une rente entière à compter du 1er janvier 1997, alternativement qu'il était reconnu créancier de l'office AI de la somme de 349'963 fr. avec intérêts à 5 % l'an dès le 25 novembre 2003. A titre subsidiaire, il demandait que la décision attaquée soit annulée, la cause étant renvoyée au Tribunal des assurances du canton de Vaud pour nouvelle décision dans le sens des considérants. Il sollicitait l'assistance judiciaire gratuite.
Dans sa réponse du 28 avril 2006, l'Office de l'assurance-invalidité pour le canton de Vaud a conclu au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1.
1.1 La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L' acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; ATF 132 V 393 consid. 1.2 p. 395).
1.2 La loi fédérale du 16 décembre 2005 modifiant la loi fédérale sur l'assurance-invalidité est entrée en vigueur le 1er juillet 2006 (RO 2006 2003), apportant des modifications qui concernent notamment la procédure conduite devant le Tribunal de céans (art. 132 al. 2 et 134 OJ). Toutefois, le présent cas n'est pas soumis au nouveau droit, du moment que le recours de droit administratif a été formé avant le 1er juillet 2006 (ch. II let. c des dispositions transitoires relatives à la modification du 16 décembre 2005).
2.
Le litige concerne le droit éventuel du recourant à une rente d'invalidité et porte sur le caractère invalidant des troubles de santé dont celui-ci est atteint. Dans la procédure de recours concernant l'octroi ou le refus de prestations d'assurance, le pouvoir d'examen de la Cour de céans n'est pas limité à la violation du droit fédéral - y compris l'excès et l'abus du pouvoir d'appréciation - mais s'étend également à l'opportunité de la décision attaquée. Le tribunal n'est alors pas lié par l'état de fait constaté par la juridiction inférieure, et il peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci (art. 132 OJ).
Le litige a trait également à la prétention en responsabilité du recourant à l'encontre de l'office intimé. Dans cette mesure, il n'a pas pour objet l'octroi ou le refus de prestations d'assurance. Dès lors le Tribunal de céans doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ; ATF 133 V 14 consid. 4 p. 17).
3.
3.1 La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de nombreuses dispositions légales dans le domaine de l'assurance-invalidité. La décision sur opposition du 27 mai 2004 de refus de toute prestation de l'assurance-invalidité est postérieure à l'entrée en vigueur de la LPGA. Conformément au principe général de droit transitoire, selon lequel - même en cas de changement des bases légales - les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits, il y a lieu d'examiner le droit à une rente au regard de l'ancien droit pour la période jusqu'au 31 décembre 2002 et en fonction de la nouvelle réglementation légale après cette date (ATF 130 V 445 et les références; cf. aussi ATF 130 V 329).
Pour les mêmes motifs, les dispositions de la novelle du 21 mars 2003 modifiant la LAI (4ème révision), entrée en vigueur le 1er janvier 2004, sont applicables.
3.2 En vertu de l'art. 4 al. 1 LAI (dans sa teneur en vigueur jusqu'au 31 décembre 2002), l'invalidité est la diminution de la capacité de gain, présumée permanente ou de longue durée, qui résulte d'une atteinte à la santé physique, ou mentale provenant d'une infirmité congénitale, d'une maladie ou d'un accident.
Selon l'art. 7 LPGA, est réputée incapacité de gain toute diminution de l'ensemble ou d'une partie des possibilités de gain de l'assuré sur un marché du travail équilibré dans son domaine d'activité, si cette diminution résulte d'une atteinte à sa santé physique, mentale ou psychique et qu'elle persiste après les traitements et les mesures de réadaptation exigibles. D'après l'art. 8 al. 1 LPGA, est réputée invalidité l'incapacité de gain totale ou partielle qui est présumée permanente ou de longue durée.
Les définitions de l'incapacité de travail, de l'incapacité de gain, de l'invalidité, de la méthode de comparaison des revenus et de la révision (de la rente d'invalidité et d'autres prestations durables) contenues dans la LPGA correspondent aux notions précédentes dans l'assurance-invalidité telles que développées à ce jour par la jurisprudence (ATF 130 V 343).
3.3 Les atteintes à la santé psychique peuvent, comme les atteintes physiques, entraîner une invalidité au sens de l'art. 4 al. 1 LAI en liaison avec l'art. 8 LPGA. On ne considère pas comme des conséquences d'un état psychique maladif, donc pas comme des affections à prendre en charge par l'assurance-invalidité, les diminutions de la capacité de gain que l'assuré pourrait empêcher en faisant preuve de bonne volonté; la mesure de ce qui est exigible doit être déterminée aussi objectivement que possible (ATF 102 V 165; VSI 2001 223 consid. 2b p. 224 et les références [I 138/98]; cf. aussi ATF 127 V 294 consid. 4c in fine p. 298).

La reconnaissance de l'existence d'une atteinte à la santé psychique, soit aussi de troubles somatoformes douloureux persistants, suppose d'abord la présence d'un diagnostic émanant d'un expert (psychiatre) et s'appuyant lege artis sur les critères d'un système de classification reconnu (ATF 130 V 396 consid. 5.3 et consid. 6 p. 398 s.). Comme pour toutes les autres atteintes à la santé psychique, le diagnostic de troubles somatoformes douloureux persistants ne constitue pas encore une base suffisante pour conclure à une invalidité. Au contraire, il existe une présomption que les troubles somatoformes douloureux ou leurs effets peuvent être surmontés par un effort de volonté raisonnablement exigible. Le caractère non exigible de la réintégration dans le processus de travail peut résulter de facteurs déterminés qui, par leur intensité et leur constance, rendent la personne incapable de fournir cet effort de volonté. Dans un tel cas, en effet, l'assuré ne dispose pas des ressources nécessaires pour vaincre ses douleurs. La question de savoir si ces circonstances exceptionnelles sont réunies doit être tranchée de cas en cas à la lumière de différents critères. Au premier plan figure la présence d'une comorbidité psychiatrique importante par sa gravité, son acuité et sa durée. D'autres critères peuvent être déterminants. Ce sera le cas des affections corporelles chroniques, d'un processus maladif s'étendant sur plusieurs années sans rémission durable (symptomatologie inchangée ou progressive), d'une perte d'intégration sociale dans toutes les manifestations de la vie, d'un état psychique cristallisé, sans évolution possible au plan thérapeutique, résultant d'un processus défectueux de résolution du conflit, mais apportant un soulagement du point de vue psychique (profit primaire tiré de la maladie, fuite dans la maladie), de l'échec de traitements ambulatoires ou stationnaires conformes aux règles de l'art (même avec différents types de traitement), cela en dépit de l'attitude coopérative de la personne assurée (ATF 130 V 352). Plus ces critères se manifestent et imprègnent les constatations médicales, moins on admettra l'exigibilité d'un effort de volonté (Meyer-Blaser, Der Rechtsbegriff der Arbeitsunfähigkeit und seine Bedeutung in der Sozialversicherung, in: Schmerz und Arbeitsunfähigkeit, St. Gall 2003, p. 77).

Si les limitations liées à l'exercice d'une activité résultent d'une exagération des symptômes ou d'une constellation semblable, on conclura, en règle ordinaire, à l'absence d'une atteinte à la santé ouvrant le droit à des prestations d'assurance. Au nombre des situations envisagées figurent la discordance entre les douleurs décrites et le comportement observé, l'allégation d'intenses douleurs dont les caractéristiques demeurent vagues, l'absence de demande de soins, les grandes divergences entre les informations fournies par le patient et celles ressortant de l'anamnèse, le fait que des plaintes très démonstratives laissent insensible l'expert, ainsi que l'allégation de lourds handicaps malgré un environnement psychosocial intact (voir Kopp/Willi/Klipstein, Im Graubereich zwischen Körper, Psyche und sozialen Schwierigkeiten, in: Schweizerische Medizinische Wochenschrift 1997, p. 1434, avec référence à une étude approfondie de Winckler et Foerster; voir sur l'ensemble du sujet ATF 131 V 49).
4.
4.1 Le recourant ne voit pas que le docteur F.________ ait examiné si les critères ci-dessus (supra, consid. 3.3), dont l'existence permet d'admettre le caractère non exigible de la reprise du travail, étaient réalisés. Pour ce motif, il conteste que l'expertise psychiatrique du 11 septembre 2003 ait pleine valeur probante. A cet égard, il relève que ce spécialiste a indiqué qu'il n'y avait pas d'état dépressif manifeste, ce qui est démenti par les docteurs D.________ et E.________ dans leur rapport du 15 juin 2004, lesquels font état d'un trouble dépressif majeur chronique.
4.2 En ce qui concerne la valeur probante d'un rapport médical, ce qui est déterminant c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (ATF 125 V 351 consid. 3a p. 352, 122 V 157 consid. 1c p. 160 et les références).
4.3 L'expertise médicale de la Clinique Y.________ du 1er septembre 2003 se base sur l'anamnèse et l'examen clinique effectués par le docteur U.________, l'expertise psychiatrique du docteur F.________, l'évaluation des capacités physiques liées au travail par le docteur I.________ et la physiothérapeute S.________, le dossier de l'assurance-invalidité, les documents d'imagerie fournis par l'assuré et les radiographies complémentaires des rachis cervical et lombaire du 27 août 2003.
Il en ressort que le docteur U.________ a procédé à un examen clinique approfondi. Il a pris en compte les plaintes exprimées par le recourant. L'expertise médicale du 1er septembre 2003 a été établie en pleine connaissance de l'anamnèse et du dossier médical. Les points litigieux ont fait l'objet d'une étude circonstanciée. La description du contexte médical et l'appréciation de la situation médicale sont claires.
Les reproches du recourant à l'encontre de l'expertise psychiatrique du docteur F.________ sont mal fondés. Ce médecin a examiné le recourant le 27 août 2003. A ce moment-là, il n'a pas observé de trouble de la personnalité significatif, ni de comorbidité psychiatrique, tel un état dépressif, propre à expliquer un retrait professionnel. Dans son rapport du 11 septembre 2003, ce spécialiste a expliqué pourquoi il tenait le diagnostic de syndrome douloureux somatoforme persistant pour seulement probable. Même si ce diagnostic était retenu, il n'avait pas le caractère de gravité justifiant une quelconque incapacité de travail, mais devait être considéré comme léger tout au plus.
On doit ainsi admettre que les conclusions des médecins de la Clinique Y.________ sur le caractère non invalidant des troubles de santé dont est atteint le recourant et sur sa capacité de travail dans une activité adaptée sont dûment motivées. Leur expertise remplit donc toutes les conditions auxquelles la jurisprudence soumet la valeur probante d'un tel document (ATF 125 V 351 consid. 3a p. 352, 122 V 157 consid. 1c p. 160 déjà cités).
4.4 En revanche, le rapport des docteurs D.________ et E.________ du 15 juin 2004 ne saurait avoir pleine valeur probante. En outre, ce document est postérieur à la décision sur opposition du 27 mai 2004. Il s'agit là d'un document sommaire. Il n'y a aucune discussion en ce qui concerne le diagnostic, de sorte que l'on ignore sur quels éléments ces médecins se sont fondés pour retenir un trouble dépressif majeur chronique et un trouble douloureux. Ils n'ont pas non plus pris position par rapport à l'expertise psychiatrique du docteur F.________. A l'examen, les éléments du rapport sont purement subjectifs, les docteurs D.________ et E.________ ayant simplement reproduit les plaintes du patient.
5.
5.1 Les premiers juges ont considéré que les critères, dont l'existence permet d'admettre le caractère non exigible de la reprise du travail, n'étaient pas réalisés, au regard notamment de l'absence de toute comorbidité psychiatrique. Ainsi, un effort de volonté en vue de surmonter la douleur et tendant à la réintégration dans un processus de travail était assurément exigible de la part de l'assuré. Ils ont retenu une capacité de travail entière dans l'activité habituelle comme dans toute autre activité.
5.2 Au sujet de la comorbidité psychiatrique (supra, consid. 3.3), on rappellera que les états dépressifs (pris en tant que comorbidité psychiatrique) constituent généralement des manifestations (réactives) d'accompagnement des troubles somatoformes douloureux, de sorte qu'ils ne sauraient faire l'objet d'un diagnostic séparé (ATF 130 V 352 consid. 3.3.1 in fine p. 358; Meyer-Blaser, op. cit., p. 81, note 135), sauf à présenter les caractères de sévérité susceptibles de les distinguer sans conteste d'un tel trouble (arrêt Y. du 5 octobre 2006 [I 582/05] et D. du 20 avril 2006 [I 805/04]; voir également F.________, A propos de l'article de Jean Pirrotta «Les troubles somatoformes douloureux du point de vue de l'assurance-invalidité», in SZS/RSAS 2006 p. 135). Avec les premiers juges, il y a lieu de retenir l'absence de toute comorbidité psychiatrique.
5.3 Les autres critères consacrés par la jurisprudence, dont l'existence permet d'admettre le caractère non exigible de la reprise du travail, ne sont pas non plus réalisés. On ne voit pas que le recourant réunit en sa personne plusieurs de ces critères (ou du moins pas dans une mesure très marquée) qui fondent un pronostic défavorable en ce qui concerne l'exigibilité d'une reprise d'activité professionnelle.
Le critère des affections corporelles chroniques, d'un processus maladif s'étendant sur plusieurs années sans rémission durable (symptomatologie inchangée ou progressive) n'est pas réalisé. Les médecins de la Clinique Y.________ ont relevé, lors de l'examen clinique, un comportement douloureux, l'assuré cherchant à communiquer constamment sa douleur. Il n'y avait pas, toutefois, de limitation fonctionnelle objective. Selon le bilan d'imagerie, les troubles statiques et dégénératifs étaient très modérés; en réalité, ces anomalies n'étaient manifestement pas de nature à provoquer un état douloureux chronique. L'évaluation des capacités physiques liées au travail s'est inscrite dans le prolongement direct de l'examen clinique, le recourant ne participant pas pleinement à l'évaluation et sa volonté de donner le maximum étant insuffisante. Le niveau de cohérence des performances était faible. En résumé, on pouvait affirmer que par un comportement que n'explique pas une atteinte organique, l'assuré interdisait toute évaluation objective de ses performances.
Il n'y a pas non plus de perte d'intégration sociale dans toutes les manifestations de la vie. Dans leur examen de la situation socioprofessionnelle du recourant, les médecins de la Clinique Y.________ ont relevé l'isolement social du recourant et l'éloignement de sa famille. Toutefois, ils n'ont pas accrédité une diminution de participation basée sur une déficience. En effet, «les ressources qui lui permettent de mener une existence autonome sont ...suffisantes pour envisager une activité adaptée».
A aucun moment, les médecins consultés par le recourant n'ont évoqué l'existence d'un état psychique cristallisé, sans évolution possible au plan thérapeutique, résultant de l'échec de traitements ambulatoires ou stationnaires conformes aux règles de l'art.
Enfin, on ne voit pas au dossier que chez le recourant l'apparition d'un syndrome douloureux somatoforme persistant résulterait d'une libération du processus de résolution du conflit, mais apportant un soulagement du point de vue psychique (profit primaire tiré de la maladie, fuite dans la maladie). Les médecins ne font mention d'aucune source de conflit intrapsychique ni de situation conflictuelle externe permettant d'expliquer le développement du trouble somatoforme douloureux et son aboutissement jusqu'à une interruption totale de l'activité lucrative.
Il apparaît ainsi que le syndrome douloureux somatoforme persistant ne se manifeste pas avec une sévérité telle que, d'un point de vue objectif, seule une mise en valeur limitée de la capacité de travail du recourant puisse être raisonnablement exigée de lui.
La requête du recourant tendant à la mise en oeuvre d'une nouvelle expertise psychiatrique doit ainsi être rejetée.
5.4 En ce qui concerne la situation du recourant sur le plan physique, il y a lieu de s'en tenir aux constatations des médecins de la Clinique Y.________, qui ne sont pas remises en cause par le docteur C.________ dans son rapport du 16 avril 2004 ni par le docteur O.________ dans sa communication du 27 avril 2004. Celui-ci présente des lombalgies communes et des troubles statiques et dégénératifs rachidiens très modérés.
Dans le rapport d'expertise du 1er septembre 2003, le docteur U.________ n'a pas retenu de déficience physique susceptible de limiter la capacité de travail dans une activité adaptée, comportant les limitations fonctionnelles admises par les médecins du SMR dans leur rapport du 14 mai 2001 (travaux de manutention légers, sans mouvements en porte-à-faux ni charges supérieures à 15 kg). Sur ce point, les médecins de la Clinique Y.________ s'écartent donc de l'avis des médecins du SMR dans leur rapport du 21 juin 2002, selon lequel le recourant présenterait une capacité de travail de «100 % pour toute activité et en particulier l'activité exercée auparavant». La Cour de céans fait siennes les conclusions du docteur U.________, dont la pertinence n'est pas sérieusement mise en doute. Ainsi, à la différence des premiers juges, il y a lieu de retenir une capacité de travail entière dans une activité adaptée, qui tienne compte des limitations fonctionnelles décrites ci-dessus.
6.
Il convient d'évaluer l'invalidité du recourant.
6.1 Pour évaluer le taux d'invalidité, le revenu que l'assuré aurait pu obtenir s'il n'était pas invalide (revenu sans invalidité) est comparé avec celui qu'il pourrait obtenir en exerçant l'activité qui peut raisonnablement être exigée de lui après les traitements et les mesures de réadaptation, sur un marché du travail équilibré (revenu d'invalide). C'est la méthode ordinaire de comparaison des revenus (jusqu'au 31 décembre 2002: art. 28 al. 2 LAI; du 1er janvier au 31 décembre 2003: art. 1 al. 1 LAI en corrélation avec l'art. 16 LPGA; depuis le 1er janvier 2004: art. 28 al. 2 LAI en corrélation avec l'art. 16 LPGA).
Pour procéder à la comparaison des revenus, il convient de se placer au moment de la naissance du droit à la rente; les revenus avec et sans invalidité doivent être déterminés par rapport à un même moment et les modifications de ces revenus susceptibles d'influencer le droit à la rente survenues jusqu'au moment où la décision est rendue doivent être prises en compte (ATF 129 V 222, 128 V 174). En l'espèce, le recourant a présenté une incapacité de travail durable de 100 % dès le 14 novembre 1995 (rapport d'examen SMR du 14 mai 2001). La naissance du droit à la rente remonte au plus tôt au 14 novembre 1996 (art. 29 al. 1 let. b LAI). Il y a donc lieu de se reporter à l'année 1996.
6.2 Le revenu sans invalidité s'évalue, en règle générale, d'après le dernier salaire que l'assuré a obtenu avant l'atteinte à la santé, en tenant compte de l'évolution des circonstances à l'époque où est né le droit à la rente. Compte tenu des capacités professionnelles de l'assuré et des circonstances personnelles le concernant, on prend en considération ses chances réelles d'avancement compromises par le handicap, en posant la présomption que l'assuré aurait continué d'exercer son activité sans la survenance de son invalidité. Des exceptions ne peuvent être admises que si elles sont établies au degré de la vraisemblance prépondérante (ATF 129 V 224 consid. 4.3.1 et la référence). On ne saurait s'écarter du dernier salaire que l'assuré a obtenu avant l'atteinte à la santé pour le seul motif que celui-ci disposait, avant la survenance de son invalidité, de meilleures possibilités de gain que celles qu'il mettait en valeur et qui lui permettaient d'obtenir un revenu modeste (ATF 125 V 157 consid. 5c/bb et les arrêts cités); il convient toutefois de renoncer à s'y référer lorsqu'il ressort de l'ensemble des circonstances du cas que l'assuré, sans invalidité, ne se serait pas contenté d'une telle rémunération de manière durable (AJP 2002 1487; RCC 1992 p. 96 consid. 4a).
Ainsi que cela ressort du rapport intermédiaire de l'office AI du 12 mars 1998, le recourant, s'il avait poursuivi son activité de chef d'équipe (maçon) auprès de l'entreprise W.________, aurait pu réaliser avec une pleine capacité de travail un revenu annuel brut de 59'345 fr. (4'565 fr. x 13) en 1998. Etant donné qu'en 1998, l'évolution des salaires dans la construction a été de 0.4 % par rapport à l'année précédente, et qu'en 1997 elle l'a été de 0.2 % (La Vie économique, 4- 2004, p. 87, Tableau B10.2), il y a lieu de retenir un revenu sans invalidité de 58'991 fr. (valeur 1996).
6.3 En ce qui concerne le revenu d'invalide du recourant, on ne saurait se fonder sur son activité en atelier protégé (P.________, mécanique), qui n'est pas déterminante dans le calcul. En effet, on peut raisonnablement exiger de lui qu'il exerce avec une pleine capacité de travail une activité adaptée, qui tienne compte des limitations fonctionnelles (supra, consid. 5.5; rapport du 1er septembre 2003 de la Clinique Y.________, p. 12).
Il est possible d'évaluer le revenu d'invalide en se fondant sur les données statistiques ressortant de l'Enquête suisse sur la structure des salaires (ATF 126 V 75 consid. 3b/aa et bb p. 76 s.). On se réfère alors à la statistique des salaires bruts standardisés, en se fondant toujours sur la médiane ou valeur centrale (ATF 124 V 321 consid. 3b/bb p. 323; VSI 1999 p. 182 consid. 3b p. 184 s. [I 593/98]).
Compte tenu de l'activité de substitution raisonnablement exigible de la part du recourant dans un emploi adapté à son état de santé - travaux de manutention légers, sans mouvement en porte-à-faux ni charges supérieures à 15 kg (rapport SMR du 14 mai 2001; rapport intermédiaire de l'office AI du 6 juillet 2001) -, le salaire de référence est celui auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé (RAMA 2001 n° U 439 p. 347 [U 240/99]), à savoir 4'294 fr. par mois (tous secteurs confondus) - valeur en 1996 - part au 13ème salaire comprise (L'enquête suisse sur la structure des salaires 1996, p. 17, Tableau TA1, niveau de qualification 4), soit 51'528 fr. par année. Ce salaire hypothétique représente, compte tenu du fait que les salaires bruts standardisés se basent sur un horaire de travail de quarante heures, soit une durée hebdomadaire inférieure à la moyenne usuelle dans les entreprises en 1996 (41.9 heures; La Vie économique, 4-2004, p. 86, Tabelle B9.2) un revenu annuel de 53'976 fr. (51'528 fr. x 41.9 : 40).
La mesure dans laquelle les salaires ressortant des statistiques doivent être réduits, dépend de l'ensemble des circonstances personnelles et professionnelles du cas particulier (limitations liées au handicap, âge, années de service, nationalité/catégorie d'autorisation de séjour et taux d'occupation) et résulte d'une évaluation dans les limites du pouvoir d'appréciation. Une déduction globale maximum de 25 % sur le salaire statistique permet de tenir compte des différents éléments qui peuvent influencer le revenu d'une activité lucrative (ATF 126 V 75 consid. 5b/aa-cc p. 79 s.; voir aussi ATF 129 V 472 consid. 4.2.3 p. 481; VSI 2002 p. 64 consid. 4b p. 70 s.[I 82/01]). Dans le cas particulier, seuls les critères de limitation liés aux années de service et à la nationalité sont remplis, de sorte que seule une déduction de 10 %, au plus, apparaît justifiée.
Compte tenu d'un abattement de 10 %, le revenu annuel d'invalide évalué sur la base des statistiques salariales est ainsi de 48'578 fr. (valeur 1996).
6.4 La comparaison des revenus ([58'991 - 48'578] x 100 : 58'991) donne une invalidité de 18 % (le taux de 17,65 % étant arrondi au pour cent supérieur [ATF 130 V 121 consid. 3.2 p. 122 s.; SVR 2004 UV Nr. 12 p. 44 [U 173/02]), taux qui ne confère pas de droit à une rente d'invalidité (art. 28 al. 1 LAI). Sur ce point, le recours est mal fondé.
7.
La prétention en responsabilité du recourant à l'encontre de l'office intimé se base sur l'art. 78 LPGA.
7.1 Aux termes de l'art. 78 LPGA, les corporations de droit public, les organisations fondatrices privées et les assureurs répondent, en leur qualité de garants de l'activité des organes d'exécution des assurances sociales, des dommages causés illicitement à un assuré ou à des tiers par leurs organes d'exécution ou par leur personnel (al. 1). L'autorité compétente rend une décision sur les demandes en réparation (al. 2). La responsabilité subsidiaire de la Confédération pour les institutions indépendantes de l'administration ordinaire de la Confédération est régie par l'art. 19 de la loi du 14 mars 1958 sur la responsabilité (al. 3). Les dispositions de la présente loi s'appliquent à la procédure prévue aux al. 1 et 3. Il n'y a pas de procédure d'opposition. Les art. 3 à 9, 11, 12, 20, al. 1, 21 et 23 de la loi du 14 mars 1958 sur la responsabilité sont applicables par analogie (al. 4).
7.2 La responsabilité instituée par l'art. 78 LPGA est subsidiaire en ce sens qu'elle ne peut intervenir que si la prétention invoquée ne peut pas être obtenue par les procédures administrative et judiciaire ordinaires en matière d'assurances sociales ou en l'absence d'une norme spéciale de responsabilité du droit des assurances sociales, comme par exemple les art. 11 LAI, 6 al. 3 LAA ou encore 18 al. 6 LAM (voir Kieser, ATSG-Kommentar, Zurich 2003, notes 3 et 4 ad art. 78). Elle suppose qu'une personne assurée ou un tiers ait subi un dommage (ATF 133 V 14 consid. 5 p. 17).

7.3 Le recourant reproche à l'office AI un retard à statuer et un comportement contradictoire et contraire à la bonne foi, ce qui aurait entraîné une désinsertion professionnelle durable, voire définitive de sa part. A l'appui de ses griefs, il se fonde sur le fait que la demande de prestations a été déposée le 5 décembre 1995 et que le premier projet de décision est intervenu le 20 mars 2002. Entre le rapport intermédiaire de l'office AI du 12 mars 1998 et le projet de refus de rente du 20 mars 2002, aucune opération ou mesure d'instruction n'aurait été prise, ce qui «correspond à 3 ans d'inactivité totale de l'office AI, alors que l'assuré avait la certitude que son droit à une rente allait être reconnu en raison de ses atteintes à la santé attestées par l'ensemble des rapports au dossier jusqu'à cette date».
7.4 Les faits invoqués ci-dessus par le recourant étant antérieurs au 1er janvier 2003, on peut se demander si l'art. 78 LPGA est applicable dans le cas particulier (voir ATF 133 V 14 consid. 2 p. 17 et les références). Cette question peut toutefois demeurer indécise.
7.5
7.5.1 Le caractère raisonnable de la durée de la procédure s'apprécie en fonction des circonstances particulières de la cause, lesquelles commandent généralement une évaluation globale. Entre autres critères sont notamment déterminants le degré de complexité de l'affaire, l'enjeu que revêt le litige pour l'intéressé ainsi que le comportement de ce dernier et celui des autorités compétentes (ATF 124 I 142 consid. 2c, 119 Ib 325 consid. 5b et les références). A cet égard, il appartient au justiciable d'entreprendre ce qui est en son pouvoir pour que l'autorité fasse diligence, que ce soit en l'invitant à accélérer la procédure ou en recourant, le cas échéant, pour retard injustifié (ATF 107 Ib 158 s. consid. 2b et c). Cette obligation s'apprécie toutefois avec moins de rigueur en procédure pénale et administrative (Haefliger/Schürmann, op. cit., p. 203-204; Auer/Malinverni/Hottelier, Droit constitutionnel suisse, vol. II, n. 1243). On ne saurait par ailleurs reprocher à une autorité quelques temps morts; ceux-ci sont inévitables dans une procédure (ATF 124 et 199 cités ci-dessus). Une organisation déficiente ou une surcharge structurelle ne peuvent cependant justifier la lenteur excessive d'une procédure (ATF 122 IV 103 consid. I/4 p. 111; 107 Ib 165 consid. 3c); il appartient en effet à l'Etat d'organiser ses juridictions de manière à garantir aux citoyens une administration de la justice conforme aux règles (ATF 119 III 3 consid. 3; Jörg Paul Müller, op. cit., p. 506 s.; Haefliger/Schürmann, op. cit., p. 204 s.; Auer/Malinverni/Hottelier, op. cit., n° 1244 s.).
7.5.2 En l'espèce, il s'est écoulé huit ans et demi entre le dépôt de la demande du 5 décembre 1995 et la décision sur opposition du 27 mai 2004. Cet allongement de la procédure est dû en bonne partie à l'échec du stage d'observation professionnelle au COPAI en 1997 et du stage d'évaluation auprès de l'entreprise R.________ SA en 1998 et à l'instruction du dossier sur le plan médical.
Depuis le 30 mars 1998, le recourant a travaillé aux ateliers P.________. Quatre années se sont écoulées entre le rapport intermédiaire du 12 mars 1998 et le projet de refus de rente du 20 mars 2002. Toutefois, à l'époque du rapport intermédiaire, l'office AI n'aurait pas pu trancher le litige au fond sans complément d'instruction sur le plan médical. Cela ressort d'une note interne de la doctoresse K.________ du 30 novembre 2000, dans laquelle ce médecin a jugé qu'il était nécessaire de confier une expertise au docteur H.________ en ce qui concerne l'atteinte rachidienne, mais aussi pour savoir s'il suspectait une atteinte psychiatrique qui pourrait être à l'origine de l'échec du stage au COPAI.
De son côté, le recourant a multiplié les requêtes d'expertise médicale à partir du 9 avril 2002 (cf. ses lettres des 9 décembre 2002, 25 février et 25 novembre 2003). Son comportement n'est donc pas étranger à l'allongement de la procédure. Il n'apparaît pas non plus qu'il ait entrepris une quelconque démarche pour faire accélérer celle-ci.
Enfin, la cause présentait certaines difficultés, qui se sont révélées après coup, à la suite de l'examen clinique du 14 juin 2002 auquel ont procédé les médecins du SMR.
Compte tenu de l'ensemble des circonstances, et bien que l'on puisse considérer que la limite du tolérable pour un litige de cette nature est proche, le laps de temps de huit ans et demi qui s'est écoulé entre le dépôt de la demande du 5 décembre 1995 et la décision sur opposition du 27 mai 2004 n'apparaît pas excessif au point de constituer un retard injustifié probibé par les art. 29 al. 1 Cst. et 6 § 1 CEDH. Ceci, en dépit de l'exigence de célérité, qui ne peut l'emporter sur la nécessité d'une instruction complète (ATF 129 V 411 consid. 1.2 p. 416 et l'arrêt cité), et de l'enjeu de la cause pour l'assuré.

7.6 L'argument de la désinsertion professionnelle provoquée par un comportement contradictoire et contraire à la bonne foi de l'office AI ne résiste pas à l'examen. Ainsi que l'ont constaté les premiers juges, le recourant est entré aux ateliers P.________ de sa propre initiative, où il a travaillé depuis le 30 mars 1998. S'il y a eu désinsertion professionnelle de sa part, elle ne saurait être imputable à l'intimé. En outre, le rapport intermédiaire de l'office AI du 12 mars 1998 était adressé à sa division administrative. Ce document ne contenait aucun engagement vis-à-vis du recourant.
7.7 On n'est donc pas en présence d'un acte illicite de la part de l'office AI. Les conclusions du recourant tendant au versement par l'intimé de la somme de 349'963 fr. avec intérêts à 5 % l'an à partir du 25 novembre 2003 sont dès lors mal fondées.
8.
Le recourant, qui succombe, ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en corrélation avec l'art. 135 OJ). Représenté par un avocat, il demande à être mis au bénéfice de l'assistance judiciaire gratuite. En l'état du dossier, on peut admettre qu'il remplit les conditions de l'assistance judiciaire gratuite (art. 152 al. 1 et 2 en liaison avec l'art. 135 OJ; ATF 125 V 201 consid. 4a p. 202, 371 consid. 5b p. 372 et les références). L'attention du recourant est cependant attirée sur le fait qu'il devra rembourser la caisse du Tribunal s'il devient ultérieurement en mesure de le faire (art. 152 al. 3 OJ; SVR 1999 IV n°6 p. 15 [I 521/97]).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Il n'est pas perçu de frais de justice.
3.
L'assistance judiciaire est accordée. Les honoraires de Me Jacques Micheli, avocat à Lausanne, sont fixés à 2'500 fr. (y compris la taxe sur la valeur ajoutée) pour la procédure fédérale et seront supportés par la caisse du Tribunal.
4.
Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 4 avril 2007
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier: