Développement de la politique qualité de la Cour des comptes

By 18 February 2013

La mise en place et le développement de la politique qualité de la Cour des comptes – Chapitre 4 :

Au cœur de la démarche de certification des comptes de l’État pour la Cour des comptes, se trouve le système de contrôle qualité. Cette partie de l’audit est nouvelle pour la Cour des comptes qui a dû mettre en place un système de contrôle qualité spécifique pour la certification.

On pourrait ainsi parler d’un besoin nouveau pour l’institution supérieure de contrôle française mais pour autant, il serait excessif de définir la qualité en elle-même comme un élément nouveau. En effet, la qualité préexistait à l’exercice de certification des comptes ou d’audit financier des comptes, l’aspect novateur est donc plus précisément la mise en place et la mise en œuvre d’un système d’assurance et de contrôle.

La Cour des comptes dispose en effet, au sein même de son organisation, de systèmes pouvant être qualifiés de système de contrôle qualité qui sont antérieurs à l’audit financier des comptes de l’État. Il s’agit de deux particularités importantes, les principes de collégialité et de contradiction présentés dans la section 3 du chapitre 1. La collégialité consiste en une prise de décision sollicitant tous les conseillers maîtres lors d’une séance intitulée « Chambre du Conseil »167. Elle permet aux principaux rapports de la Cour, dont l’acte de certification, d’être soumis aux critiques et observations des membres de la Cour avant leurs adoptions. La contradiction permet également de soumettre l’acte de certification à des critiques et observations mais cette fois plus en amont, c’est-à-dire tout au long de la réalisation de l’audit financier. Les procédures de la Cour obéissent en effet au principe du contradictoire selon lequel elle reçoit les remarques des organismes contrôlés sur ses observations provisoires avant d’établir ses observations définitives168. Dans le cadre de l’audit financier, cette contradiction s’effectue directement entre l’auditeur, la Cour des comptes et l’audité, la DGFiP169. Le deuxième élément pouvant se rapporter à un système de contrôle qualité préexistant à l’exercice d’audit financier est représenté par une structure importante qui exerce la fonction de ministère public près la Cour des comptes, le Parquet dirigé par le Procureur général. Aux termes de l’article R. 112-9, le Procureur général « surveille l’exécution des travaux de la Cour », cette compétence générale fait du Parquet un acteur essentiel du dispositif de qualité (le Parquet est présenté en section 3 du chapitre 1).

167 Article R. 141-8 du Code des juridictions financières : « Le rapporteur présente son rapport devant la formation compétente. Le contre-rapporteur fait connaître son avis sur chacune des propositions formulées. Si le rapport a été communiqué au procureur général, lecture est donnée des conclusions de ce dernier (…). La formation délibère ensuite; elle rend une décision sur chaque proposition ».

Le besoin de la Cour des comptes n’est donc pas un besoin d’amélioration de la qualité en tant que telle mais plutôt un besoin d’organisation du système de contrôle qualité (composé des deux piliers de la qualité en audit, le contrôle et l’assurance qualité) répondant aux recommandations des normes internationales d’audit et pouvant supporter la comparaison avec les systèmes de contrôle qualité mis en œuvre par les institutions supérieures de contrôle étrangères (tels qu’ils sont présentés dans la section 3 et conclusion du chapitre 1). L’étude de la mise en œuvre de la politique qualité et de son développement peut donc être riche d’enseignements pour une organisation aussi atypique que peut l’être une juridiction financière française considérée comme une institution souveraine. Cette étude fondée sur la grille de lecture proposée en chapitre 3, si elle est en premier lieu purement factuelle car présentant les différentes phases de la construction de la politique qualité, doit ensuite présenter une analyse des évolutions et changements afin d’enrichir son contenu. De plus, le déploiement est présenté en fonction de la vision des acteurs de l’audit financier, selon une approche chronologique et longitudinale.

L’objet de ce chapitre est ainsi d’apporter une réponse aux questions de recherche suivantes170 :
– Quels sont les outils et les procédures de contrôle et d’assurance qualité ?
– Quelle est la perception des critères explicatifs de la qualité de l’audit par les acteurs de l’audit ?
– Comment caractériser et conceptualiser les changements de la politique qualité de la Cour ?

168 Ce principe issu des procédures juridictionnelles (art. L. 140-7, al. 3 du CJF) a été étendu aux procédures non juridictionnelles par l’article R. 141-8 du CJF qui précise que « préalablement à la délibération sur l’envoi des observations énumérées à l’article R. 135-1 […], la Cour peut faire connaître aux administrations et organismes intéressés les constatations provisoires sur lesquelles elle estime nécessaire de susciter leurs remarques ».

169 La DGFiP ou Direction générale des Finances publiques peut également être qualifié de producteur des comptes.

170 Se référer à l’introduction générale pour une présentation globale des questions de recherché organisées autour de la problématique (schéma 2).

Pour répondre à ces questions de recherche, le présent chapitre propose en première section une présentation de la méthodologie utilisée pour recueillir et traiter les données fondée sur une étude de cas approfondie et longitudinale. La deuxième section est l’occasion de présenter chronologiquement, et en dégageant trois phases temporelles, la mise en place des outils et la perception par les acteurs de l’audit de la politique qualité de la Cour des comptes. Finalement, la troisième section conclue ce chapitre en proposant une analyse du développement de la politique qualité présentée en section 2.

Encadré 31: Plan du chapitre 4
Section 1 – Le cadre méthodologique
I. L’étude de cas
II. La mise en œuvre et la réalisation de l’étude de cas
III. La collecte et le traitement des données de l’étude de cas
Section 2 – Une étude selon un découpage temporel par campagne de certification
I. La préparation de l’exercice de certification
II. La première campagne de certification
III. La deuxième campagne de certification
Section 3 – D’une étude longitudinale à l’étude des changements et évolutions
I. Le changement de la politique qualité de la Cour des comptes : approche, champ du questionnement et cadre théorique
II. La caractérisation du changement
III. L’étude du changement

Section 1 – Le cadre méthodologique

L’approche utilisée pour étudier la Cour des comptes et plus particulièrement la politique qualité de l’audit financier à la Cour des comptes est l’étude de cas réalisée sur une période courant de 2006 à début 2009.

Afin de spécifier cette approche et les choix méthodologiques retenus qui ont permis de recueillir et traiter les données utilisées dans ce chapitre, la section 1 définit l’étude de cas utilisée et détaille les conditions de mise en œuvre et de réalisation de l’étude de cas puis les modes de collecte et de traitement des données171.

I. L’étude de cas

Afin de présenter l’étude de cas retenue, une définition en détaillant les principales caractéristiques est proposée et complétée par l’exposé de sa validité et de ses limites.

I. 1) Définition

L’étude de cas de la Cour des comptes est d’abord caractérisée par sa qualité d’étude de cas unique. Même si la force d’une recherche basée sur des études de cas multiples est souvent jugée plus importante qu’une étude de cas unique, il existe des situations pour lesquelles l’étude de cas unique se justifie comme celles d’un cas inhabituel, d’un cas critique, d’un cas rare ou encore d’un cas révélateur (Yin, 1994, p. 45). Le choix de l’étude de cas unique à la Cour des comptes s’est imposée au fur et à mesure de la mise en œuvre de la méthodologie de recherche et du recueil des données en raison principalement de la grande richesse du cas. En effet, une étude de cas menée sur trois années consécutives et grâce à une intégration complète sur le terrain, apporte une compréhension et une connaissance de l’institution et du phénomène observé importante. Ce type de recherche nécessiterait alors une réplique à l’identique si le choix d’études de cas multiples avait été privilégié. Or, ces répliques d’étude de cas à l’identique ne sont pas envisageables sur une durée de recherche doctorale. Enfin, le choix d’une étude de cas unique peut se justifier selon Labelle et Touron (2001, p. 122) lorsque « le chercheur vise à élargir une théorie pour couvrir un éventail de circonstances plus larges ». Cette situation semble correspondre à la situation de l’étude de cas à la Cour des comptes qui utilise les théories existantes sur la qualité de l’audit et sur l’influence de l’environnement sur les pratiques pour les appliquer à un cas spécifique en dehors du cadre utilisé dans ces théories, les institutions supérieures de contrôle et l’audit des comptes publics. Finalement, le cas se justifie en soi s’il est original (Eisenhardt, 1989).

171 Le type d’étude de cas retenu ainsi que le positionnement de cette méthodologie de recherche sont développés en section 1 du chapitre 2.

L’étude de cas présente ensuite la particularité d’être longitudinale (2006-2009) avec une analyse longitudinale centrée sur trois campagnes de certification. Selon Pettigrew (1990) ce type d’étude permet d’analyser les faces multiples du changement et ses influences. Cependant, toujours selon Pettigrew (1990), les études sur les transformations organisationnelles sont davantage concentrées sur les changements intrinsèques plutôt que sur une vision holistique et dynamique du changement. La solution pour remédier à cette situation est de concevoir une étude horizontale et verticale (temporelle et stratégique dans notre cas) et d’en étudier les interconnexions. L’approche longitudinale est intrinsèquement liée au choix d’une étude de cas, définie par Wacheux (1996, p. 89) comme « une analyse spatiale et temporelle d’un phénomène complexe par les conditions, les événements, les acteurs et les implications ». L’étude de cas intègre la dimension chronologique d’une étude longitudinale et permet ainsi de comprendre et repérer les configurations se formant et se déformant au fil du temps. La place du temps est donc déterminante dans l’étude de cas menée à la Cour des comptes. Selon la classification de Forgues et Vandangeon-Derumez (2007, p. 424 dans Thiétart et al., 2007), le temps est, pour cette étude, un élément servant à classer les individus en cohorte à des fins de comparaison172. Le temps peut ainsi être considéré comme une variable importante utilisée à des fins de comparaison en créant des groupes ayant connu les mêmes événements (l’événement étant un exercice d’audit financier) mais le temps n’est pas pour autant une variable clé de l’étude.

L’étude de cas se caractérise ensuite par son caractère exploratoire qui selon Yin (1981) implique qu’elle comprenne un rendu des faits, les premières explications des faits observés et une conclusion basée sur une explication simple et conforme aux faits. Savall et Zardet (2004, p. 106) parlent d’une « approche méthodologique à dominante descriptive » destinée à décrire et comprendre un phénomène sur une durée limitée ce qui rejoint la présentation des principales parties d’une étude de cas de Yin (1981).

172 Les autres conceptions du temps présentées par ces auteurs étant :
le temps ne servant qu’à classer les observations,
le temps comme variable importante opérationnalisée sous forme de durée,
le temps comme variable importante, opérationnalisée sous forme chronologique.

I. 2) La validité et les limites de l’étude de cas

Le choix d’une étude de cas est cohérent puisque cette recherche vise à élargir une théorie déjà existante sur la qualité de l’audit financier des comptes pour qu’elle couvre un nouvel éventail de circonstances comme le secteur public et l’impact de l’exercice des premières certifications. Il s’agit d’un des cas holistes qui justifie l’usage d’une étude de cas (Dumontier et Teller, 2001). La question de la généralisation, même si elle mérite d’être posée, ne trouve pas sa place dans le cadre d’une étude de cas unique, l’objectif n’étant pas de produire une théorie généralisable ou même prédictive mais bien, comme expliqué dans la justification du choix méthodologique, de comprendre, décrire et analyser un phénomène complexe, l’audit financier des comptes de l’État par la Cour des comptes et plus spécifiquement la mise en place et le développement de la politique qualité de cet audit. Plus généralement, selon Baumard et al. (2007), le rôle de l’approche qualitative n’est pas de généraliser une théorie existante, ce qui permet d’offrir une plus grande importance à la validité interne. Ainsi, dans le cadre d’une étude de cas ou plus globalement d’une étude qualitative, on privilégie le concept de construction ou d’élargissement des connaissances à celui de validation ou de généralisation des connaissances.

Le choix d’une étude de cas unique implique ensuite d’être vigilant sur plusieurs points : la sélection et la définition des frontières quant au domaine de recherche et la validité des concepts dégagés ainsi que les retombées théoriques. La question de la validité est très importante puisqu’elle touche à la fois la validité interne et externe de la recherche. Parmi les tactiques proposées par Yin (1994), l’analyse sur une série temporelle (étude longitudinale), l’utilisation de multiples sources de données, la mise en place d’une chaîne de preuves nécessitant la création d’une base de données et l’utilisation de rapports clés sont les solutions sollicitées dans cette recherche pour assurer la validité interne et externe. Concernant la validité des construits, il est possible de s’appuyer sur le recoupement des données (Chalmers, 1987). Pour cela, il faut s’assurer de mobiliser plusieurs sources de données autour de l’étude du même phénomène pour créer ainsi une convergence des sources de preuves.

Le choix de cette approche par étude de cas unique n’est pas sans risque. Il est en effet illusoire de penser qu’il est possible d’étudier un objet dans une organisation en le transformant directement sans influencer ou perturber l’objet étudié (Savall et Zardet, 2004). C’est pourquoi nous n’envisageons pas d’adopter une position contemplative mais bien interventionniste. De plus, il est important de s’interroger sur les critères scientifiques utilisés en méthodologie qualitative : l’objectivité, la fidélité et la validité (Lessars-Hébert et al., 1997). Il est difficile de parler d’objectivité du chercheur en raison de la méthode utilisée, l’étude de cas. Nous sommes immergés dans le terrain et soumis à des biais concernant l’interprétation des informations. Baumard et al. (2007) parlent de contamination des sources de données, la contamination étant représentée par une influence exercée par un acteur sur un autre173. Pour l’étude de cas de cette recherche, nous retiendrons spécifiquement la contamination entre le chercheur et la population interviewée. Il est ensuite nécessaire de considérer le caractère subjectif des informations récoltées car elles seront issues d’entretiens soumis à de nombreux biais ce qui remet en cause le critère de validité. Enfin, dans notre démarche, il est très important de veiller à ce que l’un des deux objectifs, académique ou praxéologique, de notre recherche ne prédomine pas l’autre. Pour cela, il est nécessaire de veiller à la constance de l’immersion au sein de l’organisation et à la méthodologie d’intervention qui est détaillée par la suite et enfin à la possibilité de publier les résultats obtenus. Finalement, selon Miles et Huberman (2003), la capacité et l’honnêteté du chercheur à décrire très concrètement le processus entier de sa recherche et la méthodologie utilisée sont des atouts majeurs pour assurer la fiabilité de la recherche et donc se protéger contre des biais pouvant nuire à la validité des résultats.

II. La mise en œuvre et la réalisation de l’étude de cas

II. 1) La réalisation de l’étude de cas par l’observation participante

L’intégration sur le terrain s’est réalisée dans le cadre d’un stage au sein de l’équipe centrale de certification qui a permis d’avoir un accès total aux documents et aux réunions en échange d’une mission support aux travaux de la certification qui consistait à assister l’équipe méthodologique par le biais d’études comparatives avec les institutions supérieures de contrôle étrangères ou d’aides ponctuelles sur la préparation d’outils méthodologiques tels que le guide général de la certification. Ce positionnement sur le terrain rattache la recherche au cadre intégrateur de l’observation participante présenté par David (2000) qui l’introduit comme un moyen de partir de l’existant pour ensuite élaborer des modèles descriptifs de l’objet étudié, ce qui représente bien notre objectif dans cette étude. Grâce à l’observation participante, on devient « le témoin de la réalité sociale que l’on va étudier, et le plus souvent, en raison de l’interaction qui s’établit avec les personnes observées, un co-acteur de la réalité » (Jodelet, 2003, p. 152). Le schéma ci-après issu de David (2000, p. 102) présente le cadre intégrateur pour quatre démarches de recherche en sciences de gestion et permet ainsi de situer l’observation participante au sein de ce cadre.

173 Selon Baumard et al. (2007, p. 250) il existe trois types de contaminations : la contamination intra-groupe, la contamination entre le chercheur et la population interviewée ainsi que la contamination entre sources de données primaires et sources de données secondaires.

Tableau 10 : Un cadre intégrateur pour quatre démarches en sciences de gestion

Objectif
Construction mentale de la réalité Construction concrète de la réalité
Partir de l’existant (observation des faits ou travail de groupe sur son propre comportement) Observation participante Élaborer un modèle descriptif du fonctionnement du système étudié Recherche-action

Aider à transformer le système à partir de sa propre réflexion sur lui même

Partir d’une situation idéalisée ou d’un projet concret de transformation Conception « en chambre » de modèles et outils de gestion

Élaborer des outils de gestions potentiels sans lien direct avec le terrain

Recherche-Intervention

Aider sur le terrain à concevoir et mettre en place des modèles et outils de gestion adéquats à partir d’un projet de transformation plus ou moins complètement défini

Source : David (2000) “Logique, épistémologie et méthodologie en sciences de gestion : trois hypothèses revisitées”

Selon la typologie de David (2000), on distingue quatre types d’observations. L’observation passive tout d’abord, le chercheur ayant alors comme seul rôle de produire de la recherche, l’observation participative qui confère au chercheur un rôle dans le système permettant de légitimer sa présence, la recherche action ensuite pour laquelle le chercheur a un rôle explicite de transformation du système étudié et enfin l’introspection pour laquelle le chercheur étudie sa propre expérience et les attitudes et comportements en temps réel (on se rapproche alors de l’étude ethnographique).

Le positionnement au sein de la Cour des comptes est celui de l’observateur participant ou encore de « l’observateur qui participe » (Baumard et al., 2007, p. 245) au travers des études réalisées pour l’équipe centrale d’audit financier ou au travers de la rédaction de documents de synthèse par exemple. Ce positionnement ne peut être assimilé à une recherche action en raison d’un manque de rôle explicite dans la structure et également en raison d’une très faible influence du chercheur sur les acteurs de la mise en œuvre du système qualité.

L’opérationnalisation de l’observation participante s’est déroulée selon une prise de note quotidienne ou régulière selon la temporalité de la recherche et sous forme de cahier de recherche ainsi que par la constitution d’une base de données à partir de la documentation interne et des archives à sa disposition. Un des aspects importants de l’observation participante est « l’imprégnation » (Jodelet, 2003) qu’elle impose, en d’autres termes la nécessité de se fondre dans la vie quotidienne qui va sensibiliser le chercheur aux pratiques de cette organisation.

L’utilisation de cette technique de recherche pose en temps normal des difficultés pour le chercheur se rapportant à la nécessité de se faire accepter, d’intégrer le terrain et de trouver sa place. Grâce à une intégration au sein de l’équipe centrale en charge de l’audit financier suite à la réalisation du mémoire de recherche, ces difficultés ont rapidement été surmontées même si la période dédiée au mémoire de recherche aura finalement constituée la période d’intégration nécessaire à la réalisation des travaux menés dans le cadre cette fois de la recherche doctorale. Les limites ou difficultés de l’observation participante sont liées aux biais produits par cette technique de recherche. Selon Yin (1994) le premier biais est de se retrouver dans le rôle de conciliateur entre diverses parties en raison d’un positionnement externe faible. Le deuxième biais consiste à devenir un « supporter » de l’organisation et de moins exercer sa capacité de jugement. Finalement le troisième biais réside dans la consommation excessive de temps que peut demander l’observation participante qui laisse ainsi moins de place à la retranscription et l’analyse des données recueillies. Le seul remède permettant d’éviter ces types de biais est l’attention soutenue et continue du chercheur qui doit prendre conscience au fur et à mesure de la recherche de son implication dans le terrain et être à même de se dégager des temps en dehors de l’organisation afin de prendre du recul et d’analyser les informations obtenues. Le positionnement de doctorant constitue alors un avantage car les périodes de communication, de cours ou encore de démarches administratives peuvent être mis à contribution pour permettre une « évasion » intellectuelle174.

L’observation participante réalisée dans le cadre de cette recherche peut également être qualifiée de participation directe selon David (2000) ou encore de participation manifeste selon Karlsen (1991) car il n’a, à aucun moment, été question de dissimuler le statut de chercheur sans toutefois chercher à le mettre en avant, ceci afin de privilégier le statut de stagiaire qui a permis un accès plus large aux données. Baumard et al. (2007, p. 253) parlent d’approche «contractuelle et ouverte» puisque la recherche a été menée sous contrat avec l’organisation, contrat avec l’Université confortant la position de stagiaire indiquant le thème de la recherche mais n’incluant aucune obligation de la part du chercheur. Cependant, cette position ne peut se prévaloir d’une totale neutralité et il est nécessaire d’avoir conscience du biais introduit sur l’objet, la qualité de la certification, en raison d’une participation indirecte à son évolution. En effet, l’adoption d’une approche ouverte confronte le chercheur au phénomène de réactivité des sujets selon Baumard et al. (2007, p. 255) et nécessite alors de « tenir compte de cette interactivité, du degré de maturation de la relation chercheur/sujet et également de ses limites». On note cependant que, selon les travaux de Baumard et al. (2007), la combinaison d’une connaissance du terrain et d’une implication affective peut être considérée comme une condition idéale pour la réalisation d’une recherche car créant un rôle parfait pour le chercheur.

174 Se référer à l’introduction du chapitre 2 pour la présentation de l’organisation temporelle de l’étude de cas.

II. 2) La présentation de l’étude de cas

Les caractéristiques de l’étude de cas influent directement sur les choix de présentation. L’approche longitudinale tout d’abord nécessite l’écriture d’une monographie selon Forgues et Vandangeon-Derumez (2007) qui reprend de manière plus ou moins détaillée les évolutions du phénomène étudié mais également l’histoire de l’organisation. La section 2 de ce chapitre présente cette monographie selon une approche longitudinale sous la forme d’une narration descriptive ainsi que le recommande Eisenhardt (1989). L’analyse de cette monographie est développée dans la section 3 suite à une première analyse des données recueillies toujours comme le préconise Eisenhardt (1989). Plus spécifiquement, cette chronographie est déroulée selon la typologie d’étude de cas « chronologie analytique » de Pettigrew (1990)175 qui implique de découvrir le récit selon différents niveaux d’analyse afin d’interpréter et d’analyser les changements observés. Pour répondre aux besoins de cette présentation, la section 2 de ce chapitre introduit les différentes phases chronologiques, d’abord selon une caractérisation de la structure, puis selon une description des outils et enfin en introduisant la perception des acteurs de la politique qualité. Cela permet in fine d’expliquer et d’interpréter explicitement les questions spécifiques qui guident l’étude de cas en termes de caractéristiques du changement et toujours en fonction du contexte interne et externe grâce à la présentation chronologique reprenant toujours les mêmes niveaux d’analyse. L’utilisation de la présentation « chronologie analytique » de Pettigrew trouve cependant rapidement ses limites car elle ne permet pas de répondre à la question « pourquoi et comment les liens entre le contexte et les évolutions existent ? ». La section 3 de ce chapitre reprend les principes de présentation de l’étude de cas « interprétative et théorique » pour interpréter le récit présenté en section 2 et le lier avec des idées théoriques et conceptuelles.

175 Les différentes présentations pour les études de cas présentées par Pettigrew (1990) correspondent tout d’abord à l’étude de cas comme « chronologie analytique », puis à l’étude de cas « diagnostique » qui consiste à mettre en œuvre un processus itératif pour analyser la stratégie de l’organisation et produire des théories prédictives. La troisième étude de cas est qualifiée d’étude de cas « interprétative et théorique » qui, en plus de la production de théories prédictives doit permettre de mettre en place un processus de généralisation des connaissances en liant les données empiriques avec les données d’autres cas. La dernière étude de cas correspond à un niveau d’analyse qualifié de « meta level » et implique de mener une analyse croisée de plusieurs études de cas.

Finalement, concernant le style d’écriture utilisé, le choix s’est porté sur le style réaliste neutre et personnel suivant la typologie de Van Maanen (1988)176. Ce style implique une totale absence du chercheur dans le récit et utilise des détails concrets et organisés issus des données afin de mettre en œuvre une analyse libre de toute interprétation de la part du chercheur.

III. La collecte et le traitement des données de l’étude de cas

III. 1) Typologie des données recueillies

Grâce à une intégration complète sur le terrain pendant une période de six mois en 2006 et de nouveau de janvier 2007 à janvier 2008, les données collectées sont nombreuses et diversifiées. La définition d’une donnée présentée par Stablien (1993, p. 514) et citée par Baumard et Ibert (2007) permet en effet de prendre en compte un grand ensemble d’informations recueillies tout au long de l’étude de cas : « une donnée peut être définie comme une représentation qui permet de maintenir une correspondance bidirectionnelle entre une réalité empirique et un système symbolique ». Les données utilisées sont toutes de natures qualitatives et constituées de matériaux :

– de nature expérimentale177 (la documentation interne et des entretiens semi-directifs);
– de nature bibliographique (les ouvrages portant sur la Cour des comptes et les articles et rapports écrits par les membres de la Cour sur l’organisation de l’institution et la mission de l’audit financier);
– résultant de l’observation (observation de la mise en œuvre des outils et procédures décrits dans la documentation interne, participation à des réunions pour l’élaboration et la planification des composantes du système de contrôle qualité et discussion informelle avec les différents acteurs de l’audit financier, tous ces événements ayant donné lieu à des retranscriptions manuscrites et à un recoupage avec les données issues des entretiens et de la documentation interne).

176 La typologie de Van Maanen (1988) est la suivante :
le style réaliste et neutre;
le style impressionniste qui fait référence au mouvement de peinture de la fin du XIXème siècle et qui se focalise sur le processus et implique une personnalisation dans le récit des sujets et du chercheur ainsi qu’une maîtrise dramatique;
le style confessionnel, style très personnalisé permettant la mise en avant du chercheur et de son point de vue.

Les données utilisées sont donc majoritairement des données primaires178 qui offrent l’opportunité de se confronter directement à la « réalité du terrain » mais qui peuvent également introduire des contraintes comme, selon Thiétart (2007), la nécessité de maîtriser le système d’interactions complexe avec le terrain ou encore l’introduction de distorsion dans l’analyse des données produites. C’est pourquoi, le recueil des données intègre également des données secondaires de nature bibliographiques ou issues des archives de la Cour des comptes afin d’assurer la complémentarité entre données primaires et secondaires. En effet, l’incomplétude d’une donnée primaire peut par exemple être comblée par une donnée secondaire historique. Les données secondaires sont représentées par les données bibliographiques utilisées pour décrire le fonctionnement de la Cour des comptes et recoupées avec les données internes et l’observation. L’encadré suivant présent les principaux rapports utilisés comme source de données secondaires.

177 Selon Savall et Zardet (2004, p. 206), les matériaux expérimentaux désignent tous les matériaux bruts et élaborés comportant des informations relatives à des terrains, cas, situations empiriques touchant à l’objet étudié. Les matériaux bibliographiques désignent eux les publications produites par d’autres chercheurs, journalistes ou éditeurs.

178 Les données primaires sont issues de documents produits par les témoins directs, d’articles ou rapports internes, de conférences, thèses ou mémoires rédigés à partir de données originales alors que les données secondaires proviennent de reformulation, réinterprétation des idées dans des articles, livres, rapports, etc.

Encadré 32: Les données secondaires : Rapports internes utilisés

(1999). Présentation des réflexions sur la révision de l’ordonnance de 1959 relative aux lois de finances. Cour des Comptes.
(2002). La certification des comptes de l’État une mission considérable. Article 15: 5. Comptes
(2002). Note de faisabilité sur la certification, premières questions et premières réponses. Cour des Comptes.
(2003). Note présentant une analyse comparée de la certification et du contrôle juridictionnel. Cour des comptes.
(2003). Audit quality assurance, keys points in the french Cour des comptes system. Cour des Comptes.
(2003). Quality Control (QC) in the French Regional Courts of Accounts. Cour des comptes.
(2004). La certification des comptes de l’État, dossier documentaire volume ii. Cour des Comptes. (2004). Guide de la certification des comptes de l’État. Cour des Comptes.
(2004). Intervention du Premier président CRPP du 9 novembre 2004. Cour des Comptes.
(2005). La certification des comptes de l’État, dossier documentaire volume ii. Cour des Comptes. (2006). Note sur la fonction « contrôle qualité » dans le cadre de la certification des comptes. Cour des comptes.
(2006). Organisation des missions finales. Cour des comptes
(2006). La certification des comptes de l’État, dossier documentaire volume ii. Cour des Comptes. (2006). Mémento destiné aux rapporteurs des notes d’évaluation de la comptabilité dans les ministères, 3ème édition. Cour des comptes.
(2006). Rapport sur l’évolution des NEC, Cour des comptes.
(2006). Rapport sur l’organisation des dossiers de travail type dans le cadre de la certification des comptes de l’État. Cour des comptes.
(2006). Instruction du Premier président n°613. Objet : Rapport sur les comptes de l’État – exercice 2006 (présenté en application de l’article 58-5° de la LOLF). Cour des comptes.
(2006). Rapport pour une orientation de la certification 2006. Cour des comptes. (2006). Rapport pour une orientation de la certification 2006. Cour des comptes.
(2006). Discours du Premier président au séminaire des secrétaires généraux. Cour des Comptes. (2007). Instruction du Premier président n°621. Objet : Certification des comptes de l’Etat de 2007 en application de l’article 58-5° de la LOLF. Cour des comptes
(2007). Note relative à la stratégie des formations des acteurs de la certification des comptes de l’État 2007. Cour des comptes.
(2007). Certification des comptes de l’État exercice 2006. Cour des comptes.
(2007). La certification des comptes de l’État, dossier documentaire volume ii. Cour des Comptes. (2007). Guide d’exercice de la certification – Comptes de l’État. Cour des comptes.
(2007). Rapport sur une orientation de la certification 2007. Cour des comptes.
(2007). Mémento destiné aux rapporteurs des notes d’évaluation de la comptabilité dans les ministères, 4ème édition. Cour des comptes.
(2007). Rapport sur l’application par la cour des normes internationales d’audit pour la certification des comptes de l’État. Cour des comptes.
(2007). Rapport présentant la première version du guide d’exercice de la certification et les modalités de mise à jour. Cour des comptes.
(2008). Certification des comptes de l’État exercice 2007. Cour des comptes.
(2008). Instruction n°627 du Premier président Objet : Certification des comptes de l’État de 2008 en application de l’article 58-5° de la LOLF. Cour des comptes
(2008). Méthodologie pour la certification des comptes de l’État. Livre I – Guide d’exercice. Cour des comptes.
(2008). Mémento destiné aux rapporteurs des notes d’évaluation de la comptabilité dans les ministères, 5ème édition. Cour des comptes.
(2008). Note du Parquet général, le Procureur général près la Cour des comptes à Monsieur le Premier président de la Cour des comptes. Objet : Certification des comptes de l’État – Note de réflexion sur le contrôle qualité et l’assurance qualité. Cour des comptes.
(2008). Parquet général, Certification des comptes, le contrôle qualité, formation campagne 2008. Cour des comptes.
(2009). Certification des comptes de l’État exercice 2008. Cour des comptes. (2009). Chartre de déontologie

Finalement, les données secondaires sont également composées des articles de recherche utilisés dans le chapitre 3 et sollicités ensuite dans le cadre de l’étude de cas pour construire le guide d’entretien ayant permis la réalisation des entretiens semi-directifs, source de données primaires.

Cette typologie de données permet enfin de s’alimenter aux mots des acteurs (Wacheux, 1996) pour comprendre les pratiques organisationnelles et les représentations des expériences et s’inscrire dans le cadre de la triangulation des données prônée par Chalmers (1987).

III. 2) Les entretiens semi-directifs

Le type d’entretien utilisé dans le cadre de la collecte de données est destiné à un usage principal. La forme adoptée pour les entretiens est de nature structurée pour permettre la confrontation des différents discours. Pour les préparer, il a été nécessaire d’établir un guide d’entretien ainsi que des consignes afin de pouvoir aborder tous les sujets et critères présents dans le modèle explicatif de la qualité de l’audit construit sur la base de la littérature et des premières observations. Le choix de réaliser des entretiens semi-directifs permet de laisser l’interviewé s’exprimer librement au sein d’une structure d’intervention préalablement définie, le rôle de l’interviewer sera donc de focaliser l’entretien sur les thématiques étudiées (Nils et Rimé 2003).

Les entretiens, d’une heure environ chacun, ont été menés selon trois phases afin de répondre au besoin chronologique d’une étude longitudinale :
– une première série de 9 entretiens en mai 2006 lors de la préparation du premier exercice d’audit financier qui est intervenu 2007 sur les comptes 2006;
– une deuxième série de 17 entretiens en janvier et février 2008 suite à la réalisation de la première campagne de certification et pendant la deuxième campagne de certification;
– une troisième série de 15 entretiens en janvier 2009 suite à la réalisation de deuxième campagne de certification et pendant la troisième campagne.

Les entretiens, anonymisés, ont été réalisés auprès d’une population hétérogène pour obtenir des discours diversifiés, les personnes provenant d’horizons différents, assumant des niveaux de responsabilité différents et travaillant dans différentes chambres de la Cour mais étant toutes des acteurs de l’audit financier : les magistrats de la Cour des comptes, (conseiller maître responsable de cycle, conseiller référendaire et auditeur responsables de sous-cycle), les rapporteurs issus très souvent d’administration centrale et étant responsables d’un sous- cycle, les « experts » juniors ou seniors contractuels issus de cabinets privés et enfin les avocats généraux du Parquet. Le tableau suivant synthétise la répartition des entretiens menés sur les trois phases de la recherche.

Tableau 11 : Répartition des entretiens semi-directifs par catégorie d’acteurs

Conseillers maîtres Conseillers référendaires Rapporteurs Auditeurs Parquet Experts
Première série d’entretiens

Mai 2006

4 2 1 2 X X
Deuxième

série d’entretiens

Janvier & Février

2008

4 2 4 1 2 4
Troisième série d’entretiens Janvier

2009

6 2 1 2 1 3

L’évolution du nombre des entretiens de 2006 à 2008 s’explique par la diversification de la population interrogée et le grand mouvement interne sur les différents postes de l’audit financier ne permettant pas de garder un échantillon stable sur les trois années de l’étude. Pour la première phase de l’étude par exemple, en 2006, il s’agissait alors de la phase de préparation (le premier exercice de certification ayant eu lieu en 2007), les experts n’avaient pas encore été intégrés à l’équipe de certification.

Les entretiens étant semi-directifs, il s’est révélé nécessaire de construire un guide d’entretien qui n’est pas un questionnaire mais bien un outil de contrôle comme préconisé par Savall et Zardet (2004). Le guide d’entretien se construit par thèmes et chaque thème selon Blanchet et Gotman) 2006) et a été réalisé selon la méthode du split question ou encore la technique de Funnel (Nils et Rimé, 2003) qui consiste à poser une question assez générale pour ensuite aborder des questions plus précises en fonction de la réponse donnée à la première question.

Pour permettre une bonne conduite de l’entretien qui laisse le maximum de place possible aux interventions de l’interviewé, il a été décidé d’utiliser comme stratégie de relance des méthodes comme le recentrage, les demandes d’éclaircissements et les demandes neutres d’informations complémentaires.

L’objectif était de s’assurer que tous les sujets afférents à la qualité de l’audit et aux spécificités de la Cour des comptes seraient abordés. Le guide a donc été construit en fonction de la grille de lecture proposée en chapitre 3 et contenait trois rubriques :

– les critères organisationnels liés à la qualité de l’audit;
– les critères d’équipes ou personnels liés à la qualité de l’audit;
– et une rubrique spécifique portant sur les spécificités de la Cour des comptes toujours en lien avec la qualité de l’audit.

L’objectif de cette présentation du guide d’entretien était de simplifier la liste des critères recensés afin d’avoir une vision plus globale de la qualité de l’audit en n’omettant pas de distinguer les acteurs de l’institution et en mettant en avant les spécificités de la Cour des comptes.

Le choix de les regrouper sous deux rubriques afférant aux compétences en distinguant bien l’institution et les acteurs découle naturellement de l’approche de la qualité retenue fondée sur deux notions de base : la compétence et l’indépendance.

Chaque rubrique détaille les différents critères relevés dans la revue de littérature et issus d’une première observation des pratiques et des méthodes179 avec comme seule fin de constituer une aide mémoire. En effet, le déroulement des entretiens n’était pas articulé autour de ces critères mais consistait à lancer le sujet d’une rubrique pour ensuite laisser l’interviewé s’exprimer librement en le redirigeant si nécessaire. Les rubriques constituent les « questions d’investigation » selon la typologie de Rubin et Rubin (1995) cité par Baumard et al. (2007, p.241), le guide d’entretien comprenant également des « questions d’implication » consistant à solliciter l’avis des différents acteurs sur l’actuel processus de certification. Suite à la première série d’entretien menée en 2006, il s’est révélé nécessaire de faire évoluer le guide d’entretien afin de pouvoir étudier les évolutions et changements grâce à deux nouveaux thèmes portant sur les retours d’expérience et sur les critères de qualité non retenus lors de la série d’entretien précédente. L’Annexe 7 propose une présentation des guides d’entretiens pour chacune des trois séries réalisée.

La retranscription des entretiens s’est toujours effectuée dans un délai très court suivant le déroulement de l’entretien (une journée maximum), les entretiens n’ayant pas fait l’objet d’enregistrement à l’exception de la première série réalisée en 2006. Il s’est en effet avéré que les entretiens étaient beaucoup plus riches sans la présence d’un magnétophone et c’est pourquoi un soin particulier a été porté à la retranscription qui consistait en une prise de note active durant l’entretien suivie d’une mise en forme et d’un enrichissement de la rédaction à l’issu de l’entretien. L’Annexe 8 présente un exemple de retranscription d’entretien pour chacune des trois séries d’entretiens.

III. 3) Le traitement des données

Le traitement des données issues des entretiens s’est effectué en deux phases, l’effet miroir et l’analyse qualitative. L’effet miroir permet dans un premier temps de représenter l’expression des acteurs tout en créant un consensus entre le chercheur et les acteurs interrogés puisque cela correspond à une confrontation entre une première interprétation des matériaux récoltés et les acteurs. Il s’agit en fait de recenser les idées de base des discours en faisant ressortir les propos récurrents par exemple sous la forme d’arborescence selon les étapes présentées dans l’encadré ci-après.

179 Cette phase de première observation des pratiques et méthodes a en fait permis ensuite de réaliser un premier tri des critères explicatifs de la qualité de l’audit décrits dans la littérature en éliminant ceux qui ne s’appliquaient pas de prime abord au cas de la Cour des comptes en raison principalement de son contexte et de son environnement réglementaire et législatif. Il s’agissait par exemple des honoraires ou encore de la durée du mandat, la mission de certification des comptes de l’État étant un monopole constitutionnel, il n’y a pas d’effet d’entrée et de sortie de client et donc pas de préoccupation relative à l’acceptation de la relation client ou encore à la durée et la rémunération de cette relation.

Encadré 33: Méthodologie de dépouillement des entretiens, Savall et Zardet (2004, p. 337)

Les 4 étapes :
1 – Extraction des phrases témoins
2 – Classement des phrases témoins par sous-thèmes et regroupées par thèmes
3 – Formulation d’idées-clés
4 – Calcul des fréquences d’expression des idées clés

Il a donc été nécessaire de confronter les acteurs à leurs propos en leur soumettant pour validation une retranscription de leur entretien. Ce choix permet d’enrichir et de compléter les données en comparant les données brutes telles que recueillies lors de l’entretien avec les données retravaillées par les acteurs et produit également un accroissement de la relation de consensus-confiance entre le chercheur et les acteurs de l’organisation ayant bien voulu se prêter au jeu des entretiens. Cette technique présente des limites inhérentes à la faiblesse de l’interprétation (Savall et Zardet, 2004), c’est pourquoi il est nécessaire de l’enrichir avec un deuxième mode d’analyse, l’analyse qualitative selon le modèle interactif de Miles et Huberman (2003) qui comprend une phase de condensation des données, une phase d’organisation et de présentation des données (notre choix s’est porté sur des grilles catégorielles présentées en Annexe 9) et une phase d’interprétation et de vérification. Ce mode de traitement des données nous permet d’avoir une progression analytique (Miles et Huberman, 2003, p. 173) qui consiste à résumer et rassembler les données puis à assembler et agréger ces données pour enfin développer et tester des propositions pour construire un cadre explicatif aux développements de la politique qualité observés notamment grâce aux entretiens comme le présente le schéma suivant.

Schéma 23: Composantes de l’analyse des données : modèle interactif

Source : Miles et Huberman (2003, p. 31) “Analyse des données qualitatives”

L’analyse catégorielle est un processus de traitement des données au cœur de l’analyse de contenu selon Bardin (1993) qui permet d’obtenir des classements à partir de propriétés communes dans l’objectif de construite un ensemble cohérent et qui est sollicité pour l’ensemble des données récoltées durant l’étude de cas. La réalisation de grilles d’analyse ou « grille catégorielle » (Bardin 1993, p. 253) à permis de reprendre au départ les trois rubriques abordées lors de l’entretien : les critères organisationnels de qualité, les critères d’équipe ou individuel de la qualité et les spécificités de la Cour des comptes. Lors de la construction de ces grilles il est apparu intéressant de différencier les catégories d’interviewés : Conseillers maîtres, conseillers référendaires, auditeurs, rapporteurs et experts180. De plus, au fil de l’analyse, de nouvelles grilles sont apparues pour différencier les changements dus à la certification et le chemin restant à parcourir. Lors de la confrontation des grilles d’analyse avec les critères explicatifs de la qualité de l’audit issus de la littérature, les données n’ont volontairement pas été différenciées selon les catégories d’acteurs interviewés. En effet, les différentes données récoltées sont homogènes et ne présentent pas de différences majeures en fonction de leur origine, la classification par grille catégorielle reprend donc un niveau de catégorisation sémantique, c’est-à-dire basé sur des thèmes (Bardin, 1993). Ces grilles correspondent à une adaptation des matrices de contrôle présentées par Miles et Huberman (2003, p. 196) conçue pour analyser les données issues du terrain selon une variable majeure, le thème décliné selon les catégories d’interviewés dans le cas de la présente étude. L’Annexe 9 présente un exemple de grille catégorielle pour chacune des trois séries d’entretiens menées de 2006 à 2008.

180 Les conseillers maîtres, conseillers référendaires et rapporteurs sont tous des magistrats de la Cour des comptes, ces différentes appellations constituent le corps des magistrats et ses différents grades. Ce corps est régi par le statut général des fonctionnaires et par diverses dispositions législatives et réglementaires particulières dont une partie seulement a été codifiée dans le code des juridictions financières. Les magistrats de la Cour sont inamovibles. Ils sont nommés par décret pris en conseil des ministres (Premier président, procureur général, présidents de chambre) ou par décret du Président de la République (conseillers référendaires et auditeurs). Ils prêtent serment publiquement, devant la Cour réunie en audience solennelle, de bien et fidèlement remplir leurs fonctions, de garder le secret des délibérations et de se comporter en tout comme de dignes et loyaux magistrats.

Afin d’assurer la validité du mode de traitement des données et d’éviter les biais liés à l’étude de cas, les choix méthodologiques tels que la mise en œuvre d’une observation participante et les phases de traitement des données telles que la catégorisation des donnes ont été présentés régulièrement lors de journées de recherche dédiées aux doctorants, lors de colloques ou encore lors d’entretiens informels avec des chercheurs. Cette démarche a permis d’obtenir rapidement des points de vue critiques sur les choix réalisés et d’ajuster au fil de l’étude de cas le positionnement du chercheur et la présentation des données traitées.

* * *

*

Caractérisée par une étude de cas approfondie longitudinale et instrumentalisée par des séries d’entretiens semi-directifs, la méthodologie mise en œuvre dans le cadre de cette recherche a permis de faire émerger une étude temporelle de la politique qualité de la Cour des comptes.

L’utilisation de grilles catégorielles préparées avec les données récoltées lors des entretiens a permis de dégager les critères explicatifs de la qualité de l’audit. Il s’agit des critères explicatifs perçus car, si certains sont issus de la littérature de la qualité de l’audit, d’autres sont directement nés de la perception des acteurs de la certification.

Finalement, le dernier point permettant de détailler la méthodologie retenue concerne le périmètre général de l’étude de cas. Celle-ci ne prêtant représenter que la perception interne des critères explicatifs de la qualité de l’audit. En effet, les entretiens n’ont été réalisés qu’avec des acteurs de la certification, c’est-à-dire les membres de la Cour des comptes181. Ce choix, même s’il est porteur de restrictions, s’est avéré nécessaire dès le début de la mise en œuvre de la recherche. En effet, l’étude « interne » de la certification des comptes nécessitait alors un investissement personnel, temporel et logistique incompatible avec la possibilité de mener cette même recherche sous un angle interne et externe concurremment.

181 Le prolongement direct de cette étude consisterait ainsi à appliquer cette même méthodologie en utilisant le même guide d’entretien par exemple en sollicitant cette fois les autres acteurs de la certification (se référer au chapitre 2 pour une présentation détaillée des acteurs et environnements de la certification des comptes).

Le schéma suivant donne une vue synthétique du mode de collecte et de traitement des données.

Schéma 24 : Vue d’ensemble du processus de traitement des données

Source : Adapté de Miles et Huberman (2003, p. 554)