6
Les dispositifs d’évaluation des
politiques d’aides à l’emploi de l’Etat
_____________________
PRESENTATION
_____________________
Les aides
l emploi constituent l un des premiers budgets
d intervention de l Etat. En 2004, les crØdits inscrits
ce titre au budget du
travail s Ølevaient
24,5 Md . 70 % de ces dØpenses, soit 17,2 Md
Øtaient
consacrØs aux compensations des allØgements de charges sociales sur les
bas salaires et sur les entreprises passØes aux 35 heures, poste en rapide
augmentation. 30 %, soit 7,3 Md
allaient au financement des aides
directes
l emploi, marchand et non marchand, notamment les contrats
emploi-solidaritØ (CES), les contrats emploi consolidØ (CEC), les emplois
jeunes et les contrats jeunes en entreprise. Globalement, ces crØdits
reprØsentent 1,5 % du PIB sans compter les dØpenses en faveur de l emploi
restant
la charge de l UNEDIC, des organismes de sØcuritØ sociale et des
entreprises dans le cadre d obligations lØgales.
L Øvaluation de l efficacitØ des moyens financiers considØrables
ainsi mobilisØs face
la persistance d un niveau ØlevØ de ch mage, revOEt
donc une grande importance pour les finances publiques. Elle est
nØcessaire « ex ante », pour prØvoir l impact des actions envisagØes afin
d Øclairer la prise de dØcision ; elle ne l est pas moins « ex post », pour
apprØcier les effets de la politique menØe et permettre de « comparer ses
rØsultats aux moyens qu elle met en
uvre
qu ils soient juridiques,
administratifs ou financiers
et aux objectifs initialement fixØs » selon les
termes de la circulaire du Premier ministre du 28 dØcembre 1998, relative
l Øvaluation des politiques publiques.
222
C
OUR DES COMPTES
AprLs avoir procØdØ au contr le des principales mesures d aides
directes
l emploi
56
, la Cour a examinØ les dispositifs mis en
uvre par
les pouvoirs publics en vue d Øvaluer l efficacitØ des aides
l emploi.
On ne peut mØconna tre que de telles Øvaluations prØsentent des
difficultØs d autant plus grandes que l Øvolution de l emploi est la
rØsultante de trLs nombreux facteurs, que les mesures
Øvaluer sont
complexes dans leurs objectifs et leurs modalitØs, et qu elles sont
frØquemment modifiØes. D autre part, la « culture de l Øvaluation » est
encore faible en France. Si l Øvaluation des politiques d aides
l emploi
est dØveloppØe aux Etats-Unis depuis une trentaine d annØes, elle ne l est
en France que depuis un peu plus de dix ans.
Il est impossible cependant de se satisfaire des rØsultats observØs. Si
l administration n a pas nØgligØ les Øtudes d impact ni le suivi quantitatif
et qualitatif des mesures mises en
uvre, un retard important subsiste
quant aux Øvaluations « ex post », qui n apportent que des informations
trop rares et incertaines sur l efficacitØ des dØpenses publiques engagØes.
Ce retard se relie
plusieurs dØfauts de l organisation institutionnelle de
l Øvaluation, laissØe pour une trop grande part
la charge du ministLre
responsable de l exØcution des politiques, sans une confrontation suffisante
avec des travaux assez nombreux et d origine assez diversifiØe.
I
–
Les défauts de l’organisation institutionnelle
S il existe aujourd hui en France une capacitØ
faire des
Øvaluations de qualitØ, il n y a globalement pas assez d Øvaluations et pas
assez de confrontations entre des Øvaluations d origine diffØrente.
L Øvaluation des aides
l emploi dØpend largement de l exØcutif,
et principalement du ministLre qui est chargØ de la dØfinition et de la mise
en
uvre de ces politiques. Les autres administrations qui disposent d une
capacitØ d expertise Øconomique et financiLre interviennent peu dans
l Øvaluation « ex post » des politiques d aides
l emploi.
56
) Cf. rapport public 1999, « les aides au retour
l emploi dans le secteur
marchand » ; rapport public 2000, « l Agence nationale pour l emploi » ; rapport
public 2001, « les emplois jeunes » ; rapport public 2002, « les contrats emploi
consolidØ ».
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
223
L Øvaluation doit OEtre ouverte
d autres Øvaluateurs que les
administrations qui ont en charge les politiques ØvaluØes. La recherche en
Øvaluation des politiques publiques conna t un essor rØcent, mais elle a
ØtØ freinØe par des difficultØs d accLs aux donnØes et demeure largement
le fait d organismes placØs dans l orbite de l administration.
Enfin, les systLmes statistiques de l emploi et du ch mage
prØsentent encore des insuffisances au regard des besoins de l Øvaluation.
A
–
Le rôle prépondérant de la DARES au sein de
l’administration
1
–
La DARES
CrØØe au sein du ministLre chargØ de l emploi par un dØcret du
15 janvier 1993, la direction de l animation, de la recherche, des Øtudes et
de la statistique (DARES) a pour mission de promouvoir « l Øvaluation
des actions menØes dans les domaines du travail, de l emploi et de la
formation professionnelle » et de contribuer
« l Ølaboration,
la
validation et
la mise en
uvre des mØthodes d Øvaluation ». La DARES
assure le suivi conjoncturel du marchØ du travail du point de vue des
entreprises et le suivi des mesures pour l emploi : elle rassemble
cet
effet les informations statistiques transmises par les opØrateurs. Elle
dispose de 180 agents, dont 100 cadres de catØgorie A, dont un tiers
d administrateurs de l INSEE. En outre, elle sous-traite les Øtudes ou
travaux qu elle ne peut rØaliser en interne ou pour lesquelles elle souhaite
une expertise indØpendante. De 1998
2003, le coût de cette sous-
traitance s est ØlevØ
6,7 M
pour les Øtudes, enquOEtes et exploitations
statistiques et
2,3 M
pour les marchØs de saisie informatique.
Dix ans aprLs sa crØation, la DARES a acquis une rØelle crØdibilitØ
et joue un r le central dans l analyse et l Øvaluation des politiques de
l emploi, de la formation professionnelle et des conditions de travail.
Dans la sphLre du ministLre des affaires sociales, du travail et de la
solidaritØ, d autres services, corps d inspection ou organismes ont
mission de rØaliser des travaux d Øvaluation. C est le cas notamment du
centre d Øtudes de l emploi (CEE), dont l activitØ est encadrØe par une
convention annuelle avec le ministLre et qui intervient aussi en sous-
traitance de la DARES ou dans le cadre de conventions avec d autres
organismes fran ais et Øtrangers. La rØpartition des r les reste cependant
imprØcise, faute d un p le d impulsion suffisamment actif et d un partage
net des responsabilitØs entre la commande, la ma trise d ouvrage et la
ma trise d
uvre.
224
C
OUR DES COMPTES
2
–
Le faible rôle des autres acteurs administratifs
Le r le important dØvolu
la DARES ne devrait pas faire obstacle
au dØveloppement, au sein mOEme de l administration, d autres travaux
d Øvaluation complØmentaires, avec une diversitØ de mØthodes et
d approches. La faiblesse de l Øvaluation
l extØrieur de l administration
rendrait cette diversitØ d approches extrOEmement utile, pour permettre au
gouvernement et au parlement de disposer d Øvaluations plus nombreuses
et plus riches. Tel n a pas ØtØ le cas, en particulier, pour ce qui concerne
la rØduction du temps de travail.
Collaborant avec le centre de recherches en Øconomie et
statistiques (CREST) qui lui est liØ organiquement mais bØnØficie d une
indØpendance fonctionnelle, l Institut national de la statistique et des
Øtudes Øconomiques (INSEE) est, avec ce dernier, le principal producteur
d Øvaluations dites « lourdes », sur donnØes individuelles.
Dans
le
domaine
de
l emploi,
l INSEE
joue
un
r le
complØmentaire de celui de la DARES ; il est chargØ des statistiques
structurelles, comme les enquOEtes sur le coût de la main d
uvre et la
structure des salaires, et du suivi du marchØ du travail du point de vue des
mØnages.
Au nom de cette spØcialisation, l INSEE ne s est investi que
tardivement dans l Øvaluation de la rØduction du temps de travail.
Les différentes définitions de l’évaluation des politiques publiques
Le terme « d Øvaluation » ne fait l objet ni d une dØfinition unique
ni d une typologie acceptØe par tous les spØcialistes.
Il faut d abord distinguer
l Øvaluation de l efficience
d une
politique de l Øvaluation de son
efficacitØ
. La premiLre porte sur la relation
entre les moyens mobilisØs et les actions rØalisØes. La seconde porte sur la
relation entre les rØsultats obtenus et les objectifs qui avaient ØtØ dØfinis.
L Øvaluation peut prØcØder la dØcision (
Øvaluation ex ante
) qu elle
vise
Øclairer, ou suivre l achLvement de la mise en
uvre d une politique
(
Øvaluation ex post
).
A partir du
suivi
des bØnØficiaires des politiques et de leurs
caractØristiques ainsi que du coût des mesures par les administrations des
Øvaluations lØgLres
peuvent OEtre rapidement menØes. Elles peuvent
prendre la forme d analyses
d impact sur les bØnØficiaires
,
d enquOEtes
d opinion et de satisfaction
et enfin de
premiLres
analyses d efficacitØ
au
moyen d outils d usage courant tels que les modLles ou maquettes de
simulation macro Øconomiques.
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
225
Les
Øvaluations lourdes
demandent des moyens et des dØlais de
rØalisation plus importants. En pratique on en distingue deux types.
Les
Øvaluations « scientifiques »
menØes par les Øconomistes et les
statisticiens avec le maximum de rigueur mØthodologique visent
apprØcier avec prØcision l impact d une politique par rapport
un seul de
ses objectifs, prØalablement bien dØfini. Elles s appuient dØsormais, le plus
souvent possible, sur l exploitation de fichiers contenant un nombre trLs
ØlevØ de donnØes individuelles.
Les
Øvaluations
« institutionnelles »
(ou
formatives,
ou
participatives)
menØes souvent collØgialement par une commission ad hoc
(appelØe « instance ») prØsentant les plus grandes garanties d objectivitØ
possibles et constituØe de praticiens, d administrateurs, d experts, de
scientifiques et de reprØsentants des catØgories concernØes visent
apprØcier simultanØment l ensemble des effets nØcessairement multiples et
divers de toute politique. En France ce type d Øvaluations Øtait
principalement du ressort d une instance interministØrielle, le Conseil
national de l Øvaluation (CNE). Ces Øvaluations utilisent tous les outils
techniques d Øvaluation disponibles et font appel
toutes les disciplines
scientifiques susceptibles d apporter un
Øclairage sur la politique ØvaluØe.
L INSEE, dans un premier temps, s est appuyØ sur les constats et
analyses de la DARES, avant de dØvelopper une expertise propre sur les
donnØes collectØes par cette derniLre en utilisant des possibilitØs
d appariements supplØmentaires avec ses propres sources de donnØes. La
DARES n a commencØ
transmettre
l INSEE ses premiers fichiers
dØtaillØs de donnØes sur la rØduction du temps de travail (RTT) qu en
fØvrier 2000. Ce n est qu en 2003 que les travaux de l INSEE ont fait
appara tre des tensions plus fortes sur les capacitØs de production et les
recrutements des entreprises passØes aux 35 heures
57
. D autres travaux
concernant les effets de la RTT sur les salaires, l emploi et la productivitØ
sont encore en cours.
Quant
la direction de la prØvision du ministLre de l Øconomie,
des finances et de l industrie, qui dispose d une importante capacitØ
d expertise et d Øvaluation, elle n en consacre qu une faible part au
domaine des aides
l emploi. Sa prioritØ est de rØpondre
la demande
ministØrielle en matiLre d Øtudes d impact et d Øvaluations « ex ante », en
vue
desquelles
elle
a
notamment
mis
au
point
une
maquette
macroØconomique du marchØ du travail. Les Øvaluations « ex post » de
l efficacitØ des politiques de l emploi ne figurent pas dans ses prioritØs,
en raison de l activitØ de la DARES en ce domaine.
226
C
OUR DES COMPTES
3
–
Le système interministériel d’évaluation
PlacØ auprLs du Commissariat gØnØral du Plan, le Conseil national
de l Øvaluation (CNE), composØ de personnalitØs indØpendantes, avait
pour objet de conduire des Øvaluations de politiques publiques en leur
apportant toutes les garanties de compØtence et d impartialitØ.
Dans le domaine des aides
l emploi, il n a menØ que trois
Øvaluations depuis 1998
58
, dont deux portent sur les aides
l emploi non
marchand et la troisiLme sur le recours aux opØrateurs externes. Ces
Øvaluations ont ØtØ marquØes par une prØsence prØpondØrante de la
DARES et par l insuffisante mobilisation des autres acteurs.
Le CNE n a pas ØtØ saisi sur la rØduction du temps de travail, ni sur
l allØgement des charges sociales, ni sur les aides
l emploi dans le
secteur marchand.
Le mandat du prØsident du Conseil national d Øvaluation n ayant
pas ØtØ renouvelØ en 2002 et de nouvelles orientations ayant ØtØ donnØes
au commissariat gØnØral du plan, le CNE est tombØ en sommeil. En dØpit
des recommandations de la mission d Øvaluation et de contr le de
l AssemblØe
Nationale,
il
n existe
plus
en
France
d instance
interministØrielle d Øvaluation des politiques de l emploi.
B
–
Une implication insuffisante des organismes de
recherche
Un r le important en matiLre d Øvaluation des politiques d aides
l emploi est jouØ par plusieurs organismes de recherche bØnØficiant de
financements principalement publics, mais dØfinissant librement leur
programmation. Leurs travaux sont de ce fait insuffisamment intØgrØs
dans le processus de dØcision. La sØparation entre la recherche et l Øtude
d une part, la dØcision politique et administrative de l autre, est trop
grande.
57
) CrØpon, Leclair et Roux, « rØduction du temps de travail et Øvolution d emplois
dans les Øtablissements », Economie et statistique, fØvrier 2003.
58
) Le coût des Øtudes sous-traitØes par le CNE entre 2000 et 2003 pour ces trois
Øvaluations a ØtØ de 849 826
, soit 24,3 % du total des Øtudes qu il a financØes sur la
mOEme pØriode.
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
227
1
–
Des organismes de recherche aux potentialités
incomplètement exploitées
a)
Le CREST
Le CREST
59
est un organisme de recherche performant, qui rØunit
des chercheurs dont la qualitØ est reconnue au plan international. Il
produit des Øvaluations fondØes sur les mØthodes les plus modernes et a
une bonne capacitØ d innovation et de critique.
Les chercheurs du CREST s auto-saisissent en gØnØral des thLmes
de leurs recherches, la seule exigence Øtant qu elles dØbouchent sur des
publications dans des revues d audience internationale.
Il n existe pas de procØdure formalisØe de programmation et le
CREST dispose d une grande autonomie en la matiLre : de ce fait, ses
travaux sont peu articulØs avec ceux de l administration et sont peu pris
en compte dans les processus de dØcision.
b)
Le CEPREMAP
Le
Centre d Øtudes
prospectives
d Øconomie
mathØmatique
appliquØes
la planification (CEPREMAP) est une association placØe
sous la tutelle du Commissariat gØnØral du Plan, qui le finan ait jusqu ici.
Il relLvera dØsormais du ministLre de la recherche.
Il a beaucoup dØveloppØ ses travaux d Øvaluation des politiques
publiques dans la pØriode rØcente et constitue aujourd hui, avec le
CREST, le p le principal de rØalisation des Øvaluations scientifiques
lourdes. Sa contribution dans le domaine des politiques de l emploi est
rØduite et pourrait OEtre dØveloppØe.
59
) Le CREST (centre de recherches en Øconomie et statistiques) est
la fois le centre
de recherches du groupement des Øcoles nationales d Øconomie et statistique
(GENES), qui est lui-mOEme une direction de l INSEE, et une unitØ mixte de recherche
du CNRS.
228
C
OUR DES COMPTES
c)
Les organismes non liØs aux administrations
L observatoire fran ais des conjonctures Øconomiques (OFCE),
l institut de recherches Øconomiques et sociales (IRES) et le centre de
recherches pour l expansion de l Øconomie et le dØveloppement des
entreprises
(REXECODE)
ont
pour
trait
commun,
sans
faire
d Øvaluations lourdes, de mener des Øtudes d impact des politiques de
l emploi et de participer activement au dØbat sur l Øvaluation. La crØation
de ces trois organismes en 1981-82 avait ØtØ soutenue par le
gouvernement en vue d introduire une diversitØ de points de vue dans
l Øtude des questions Øconomiques et sociales. L OFCE, rattachØ
la
Fondation nationale des sciences politiques, a travaillØ principalement, en
matiLre d emploi, sur l effet des allØgements de charges, la rØduction du
temps de travail et la prime pour l emploi. L IRES, dans la mouvance des
organisations
syndicales,
a
ØtudiØ
une
dizaine
de
dispositifs.
REXECODE, dans la mouvance des organisations patronales, a travaillØ
sur l impact de la rØduction du temps de travail.
Contrairement
ce que l on observe
l Øtranger, les centres
d Øtudes ou les laboratoires de recherche universitaires sont peu prØsents
dans le domaine de l Øvaluation des politiques d aides
l emploi
mOEme
si cette situation semble en train d Øvoluer. Ils interviennent surtout dans
l exØcution d Øtudes commandØes par la DARES. Les difficultØs d accLs
aux donnØes expliquent, pour partie, l insuffisante implication de la
communautØ scientifique.
2
–
Les difficultés d’accès aux données
Plusieurs chercheurs soulignent les difficultØs d accLs aux fichiers
de donnØes en France, notamment
ceux de l INSEE, et considLrent que
ces restrictions constituent un obstacle au dØveloppement des Øvaluations
scientifiques.
En application de la loi de 1951 qui fixe une interdiction de
communication de renseignements figurant sur les questionnaires avant
un dØlai de 100 ans, les donnØes d enquOEtes concernant les mØnages ne
sont accessibles que dans les cas oø l anonymisation est possible.
L INSEE, avec l accord de la CNIL, crØe des fichiers individuels
anonymes,
accessibles
aux
chercheurs.
L anonymisation
implique
nØcessairement la diminution des informations disponibles.
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
229
La cession des donnØes administratives transmises
l INSEE,
telles que les donnØes sociales des entreprises, est interdite par la loi de
1951, sous les peines prØvues
l article 226.13 du code pØnal rØprimant
la rupture du secret professionnel.
Exception faite des chercheurs de l INSEE et du CREST qui
accLdent librement aux donnØes dØtenues par l INSEE, cette situation
n Øtait pas propice au dØveloppement des Øvaluations sur donnØes
individuelles. Elle s est toutefois amØliorØe dans la pØriode rØcente.
Une premiLre avancØe a ØtØ constituØe par la mise en place, en
1995, d un accord cadre de mise
disposition de certaines donnØes par la
DARES
un laboratoire du CNRS, le LASMAS-IDL, jouant le r le de
centre-relais pour les autres laboratoires, et par la crØation, par arrOEtØ du
7 dØcembre 2001, du centre QuØtelet, « unitØ mixte de service » du CNRS
qui est un centre de ressources mettant
la disposition de la communautØ
scientifique un certain nombre de donnØes, moyennant un engagement de
confidentialitØ. Ainsi, dans le secteur de l emploi, le centre QuØtelet
archive et rend disponibles, aux termes de conventions passØes
respectivement avec la DARES et l INSEE, les trajectoires des
demandeurs d emploi d une part, l enquOEte Emploi d autre part.
Une nouvelle avancØe devrait rØsulter de deux textes de 2004.
L ordonnance du 25 mars 2004 relative aux simplifications en matiLre
d enquOEtes
statistiques
autorise,
pour
des
besoins
de
recherche
scientifique, la transmission par dØcision des ministres concernØs, sur avis
du comitØ du secret statistique, des donnØes administratives transmises
l INSEE et aux services statistiques ministØriels.
La loi du 6 août 2004 modifiant la loi « informatique et libertØs »
permet le traitement de donnØes
caractLre personnel
des fins
statistiques ou de recherche scientifique, sous rØserve de vØrification des
conditions de licØitØ dØfinies par la loi. Lorsque l objet de la recherche
l exige et sous le contr le de la CNIL, les donnØes transmises pourront ne
pas OEtre anonymes. L application de ces dispositions reste cependant
venir.
230
C
OUR DES COMPTES
C
–
Les insuffisances des systèmes de collecte des
données
1
–
Des progrès à faire dans les systèmes d’information des
opérateurs
L Etat dØlLgue, par convention, la gestion d un nombre croissant
de mesures
des opØrateurs : au CNASEA les CES
60
, CEC
61
et emplois-
jeunes ;
l ANPE les CIE
62
, les SIFE
63
individuels et le SAE
64
,
l UNEDIC les contrats jeunes en entreprises. De plus en plus
frØquemment, ces opØrateurs transmettent directement leurs informations
la DARES par fichiers informatiques. L Øvaluation est ainsi
conditionnØe par la performance des systLmes d informations statistiques.
L agence centrale des organismes de sØcuritØ sociale (ACOSS) a
investi dans la base de donnØes ORME
65
qui permet de suivre les
mesures dØclenchant une exonØration de cotisations sociales du rØgime
gØnØral, par nombre de bØnØficiaires, par rØgion et par catØgorie
d entreprise.
L appariement
avec
d autres
bases
comportant
des
informations sur les entreprises rend possibles des analyses d impact sur
tout ou partie de l Øchantillon.
Cependant, des insuffisances subsistent encore : ainsi, l ANPE
reconna t que « la non intØgration des donnØes relatives
l analyse des
publics bØnØficiaires dans la base de gestion informatisØe des demandeurs
d emploi (GIDE) et dans le fichier historique des demandeurs d emploi
rend indisponible une base complLte longitudinale sur le parcours des
bØnØficiaires, ce qui peut limiter en un certain sens les travaux
d Øvaluation de ces mesures ». Elle a toutefois ajoutØ que « rien n interdit
de rØaliser dans le cadre d une Øtude un rapprochement entre le fichier
statistique des bØnØficiaires d une mesure et le fichier historique »
.
D autre part, l Øvaluation du plan d accLs et de retour
l emploi
(PARE), prØvue par la convention tripartite entre l Etat, l ANPE et
l UNEDIC, a jusqu ici reposØ, principalement, sur le renseignement de
douze indicateurs partagØs entre l ANPE et l UNEDIC. Toutefois, le taux
60
) CES : contrat emploi solidaritØ.
61
) CEC : contrat emploi consolidØ.
62
) CIE : contrat initiative emploi.
63
) SIFE : stage d insertion et de formation pour l emploi.
64
) SAE : stage d accLs
l emploi.
65
) Observatoire du recouvrement pour les mesures emploi.
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
231
de sortie du PARE
six mois pour reprise d emploi ne peut donner lieu
qu
une estimation par enquOEte trimestrielle, en raison de l absence
d obligation de dØclaration de reprise d emploi. Parmi les demandeurs
d emploi qui sortent du fichier de l ANPE, figurent 45 % de sorties pour
motifs inconnus, incluant la reprise d emploi : on ne sait pas qualifier
individuellement la sortie du ch mage.
2
–
La prise en compte imparfaite des besoins spécifiques de
l’évaluation
L Øvaluation et son financement devraient OEtre prØvus dLs le
lancement d une mesure. En effet, les enquOEtes et fichiers de dØclarations
administratives habituels ne suffisent pas
fournir toutes les informations
qui seraient nØcessaires
l Øvaluation de certaines politiques.
Il faut en consØquence pallier ces lacunes, soit en lan ant des
enquOEtes spØcifiques, soit en complØtant par des questions particuliLres,
les formulaires des dØclarations administratives courantes. Or, les
enquOEtes spØcifiques sont coûteuses et longues
prØparer ; ajouter des
questions aux formulaires administratifs exige parfois des procØdures
juridiques longues et risque de nuire
l intØrOEt administratif propre de ces
questionnaires, en contrariant de surcro t la prØoccupation qu ont les
pouvoirs publics d allØger la charge administrative des entreprises.
L Øvaluation de la politique de rØduction du temps de travail a
ainsi beaucoup p ti de l insuffisance des donnØes de base.
La DARES a consacrØ des efforts importants
la prØparation du
suivi et de l Øvaluation des deux lois du 13 juin 1998 et du 19 janvier
2000 en Ølaborant une programmation spØcifique, mais celle-ci a reposØ
sur les instruments statistiques existants, con us pour d autres usages. Le
principal a ØtØ l enquOEte trimestrielle «
ACEMO
» (ActivitØs et conditions
d emploi de la main d
uvre), refondue en 1998, rØalisØe auprLs des
Øtablissements de 10 salariØs ou plus dans les secteurs concurrentiels non
agricoles. Cette enquOEte fournit des informations sur les effectifs, sur les
salaires de base mensuels et sur la durØe de travail hebdomadaire
collective, c’est- -dire la durØe affichØe et non la durØe effective.
Toutefois, les informations sur la durØe du travail n ont ØtØ fournies que
par 75 % des entreprises ou Øtablissements rØpondant
l enquOEte et le
taux de rØponse au questionnaire est compris lui-mOEme entre 70 % et
75 %.
232
C
OUR DES COMPTES
Il a Øgalement ØtØ recouru
un certain nombre d autres fichiers,
contenant des informations tirØes notamment des liasses fiscales ; mais
les appariements de ces fichiers nØcessitent des travaux lourds et dØlicats.
Ils font perdre beaucoup d informations, de nombreuses donnØes
n existant pas simultanØment dans tous les fichiers appariØs. Ils n ont
donc pas permis de fournir toutes les informations nØcessaires.
Une des principales lacunes concernait les nombreuses entreprises
qui ont rØduit spontanØment leur durØe du travail sous l empire de la loi
du 13 juin 1998 sans demander le bØnØfice des aides publiques prØvues,
pour Øviter de s engager sur des crØations d emploi, d avoir
signer des
conventions, ou encore pour se rØserver de modifier librement le mode de
calcul de la durØe du travail. Les conditions dans lesquelles ces
entreprises sont passØes aux 35 heures n ont pu qu OEtre extrapolØes.
Enfin, l ensemble des fichiers gØrØs par la DARES n a pas permis
de suivre certaines variables cruciales pour un diagnostic prØcis de la
rØduction du temps de travail : la durØe effective du travail, la
productivitØ et le mode de dØcompte du temps de travail que la loi du 19
janvier 2000 permettait de modifier.
MOEme si les contraintes financiLres ont pu peser sur les choix
effectuØs, la dØcision de la DARES de ne pas faire sur ce sujet d enquOEte
spØcifique lourde et de s appuyer sur les enquOEtes et fichiers existants a
limitØ fortement la possibilitØ d Øvaluer les effets de la politique de
rØduction du temps de travail.
II
–
Une orientation prioritaire vers les études
d’impact et les évaluations légères
Si indispensables soient-elles, les Øvaluations lourdes « ex post »
requiLrent des moyens et des dØlais importants. Elles ont
surmonter des
difficultØs techniques et mØthodologiques souvent trLs importantes et sont
malaisØment en phase avec le rythme rapide d Øvolution des mesures
d aides
l emploi. Aussi, la demande des autoritØs politiques comme de
l administration oriente prioritairement les moyens disponibles vers
l Øvaluation « ex ante » des mesures envisagØes et vers le suivi et les
Øtudes d Øvaluation « ex post » plus lØgLres. Les dØcisions prennent en
compte ces Øtudes, mais ne sont pas suffisamment ØclairØes par des
travaux approfondis donnant une connaissance d ensemble des effets des
politiques mises en
uvre et de leur pertinence eu Øgard aux moyens mis
en
uvre et aux objectifs poursuivis.
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
233
A
–
Les obstacles au développement des évaluations
lourdes
1
–
Les difficultés méthodologiques
L apprØciation de l impact d une politique d aides
l emploi ne
peut se limiter
la comparaison de la situation individuelle de ses
bØnØficiaires aprLs et avant son application. Cette comparaison est
faussØe par des ØlØments extØrieurs, jouant concomitamment
la
politique ØvaluØe. Ainsi, apprØcier l incidence de l Øvolution de la
situation Øconomique gØnØrale sur l emploi est une condition impØrative
de l Øvaluation de l impact des politiques d aides
l emploi. Cette
apprØciation est complexe car l emploi est la rØsultante de nombreux
mØcanismes dont certains sont difficiles
quantifier.
D autre part, une politique peut crØer un « effet d aubaine » pour
certains de ses bØnØficiaires. Une entreprise bØnØficie d une aide pour la
crØation d un emploi qu elle aurait pourvu en tout Øtat de cause. Une
nouvelle politique peut aussi entrer en concurrence avec une politique
existante, produisant ainsi un « effet de substitution ».
Des traitements, parfois complexes, de l information disponible
sont donc nØcessaires pour corriger ces biais et obtenir des Øvaluations
fiables de l impact d une mesure par rapport
une situation de rØfØrence.
Aux Etats-Unis et dans certains pays d Europe, on utilise la
technique de l expØrimentation contr lØe, calquØe sur le protocole
d expØrimentation des traitements mØdicaux. Elle consiste
rØpartir
alØatoirement la population des bØnØficiaires potentiels d une politique en
deux groupes, dont un seul bØnØficie de la mesure
tester, et
comparer
les rØsultats obtenus. Cette solution se heurte en France
des problLmes
Øthiques d acceptabilitØ. En son absence, une dØmarche Øvaluative
complLte implique l utilisation conjointe des modLles macroØconomiques
et des analyses microØconomiques.
Pour corriger les rØsultats observØs des variations de la conjoncture
et apprØcier les effets gØnØraux des politiques, on a recours dans les
Øvaluations « ex post »
des modLles macroØconomiques. FondØs sur des
estimations chiffrØes des mØcanismes Øconomiques, ces modLles sont
aussi utilisØs, symØtriquement, pour Øvaluer les Øventuels effets des
politiques de l emploi sur la situation Øconomique gØnØrale.
234
C
OUR DES COMPTES
Face
l hØtØrogØnØitØ des rØactions des entreprises et des individus
aux politiques de l emploi, on utilise de plus en plus des mØthodes dites
« microØconomiques », consistant
construire au moyen des informations
individuelles disponibles une population de rØfØrence de non bØnØficiaires
ayant au regard de la politique ØvaluØe des caractØristiques proches de la
population des bØnØficiaires.
Ces mØthodes « microØconomiques » s appliquent
des donnØes
individuelles trLs nombreuses rassemblØes dans d importants fichiers
informatiques pouvant nØcessiter des appariements et des retraitements
difficiles. Ces opØrations entra nent des coûts et des dØlais de rØponse
ØlevØs. Les coûts sont encore accrus lorsque la nature de la mesure
ØvaluØe nØcessite la constitution de « panels » permettant de suivre dans
le temps le devenir d un certain nombre de bØnØficiaires.
Dans les deux cas, les rØsultats sont trLs sensibles aux hypothLses
retenues et aux techniques statistiques utilisØes pour Øliminer les
Øventuels biais.
2
–
L’instabilité des politiques et ses inconvénients
L Øvaluation de l impact d une mesure suppose que l observation
s appuie sur des donnØes recueillies sur une pØriode assez longue.
D autre part, la bonne utilisation du rØsultat d une Øvaluation
suppose que ses rØsultats soient encore d actualitØ lorsqu ils sont rendus
disponibles.
Or les mesures d aides
l emploi sont souvent modifiØes avant
que leurs effets en aient pu OEtre mesurØs, et parfois sans que les
prØcØdentes soient supprimØes. Les aides aux emplois non marchands ont
successivement pris la forme des travaux d utilitØ collective, des CES et
CEC puis des nouveaux services
emplois jeunes. Les mesures
d allLgement du coût des emplois peu qualifiØs ont ØtØ modifiØes sept fois
en dix ans.
La politique de rØduction du temps de travail a subi elle aussi
plusieurs modifications dans de brefs intervalles. DLs mai 1997, les
agents Øconomiques pouvaient anticiper qu une autre loi succØderait
celle du 11 juin 1996 et donc s interroger sur l intØrOEt d en demander le
bØnØfice. Le dispositif de la loi du 13 juin 1998 relative
la rØduction du
temps de travail a lui-mOEme ØtØ substantiellement modifiØ dix-neuf mois
plus tard (loi du 19 janvier 2000). En outre, les dispositifs instituØs par
ces lois sont d une trLs grande complexitØ, qui rend difficile l Øvaluation
de leurs effets globaux et quasi impossible l Øvaluation sØparØe des effets
de chacune de leurs principales dispositions. Il en est ainsi de la rØduction
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
235
du temps de travail par rapport
l allØgement des charges sur les bas
salaires.
Or, les dØlais nØcessaires
une Øvaluation lourde menØe par une
instance spØcialisØe chargØe de tirer un bilan complet des impacts d un
dispositif sont souvent proches de deux annØes. Il lui faut en effet
recenser les informations existantes, prØciser les objectifs de l Øvaluation,
dØfinir les mØthodes
mettre en
uvre, Øtablir le cahier des charges des
travaux
mener ou
commander, et lorsque ceux-ci sont exØcutØs en tirer
une synthLse et des conclusions. Il faut en outre, en gØnØral, soumettre ces
conclusions
un conseil scientifique vØrifiant le respect des rLgles
d objectivitØ et de qualitØ scientifique.
Le dØcalage entre le rythme de l Øvaluation et celui de la dØcision
politique constitue, en l Øtat actuel, un frein rØel
l intØrOEt pour les
travaux Øvaluatifs lourds.
B
–
Une demande d’évaluation limitée
L Øvaluation des politiques de l emploi n a ØtØ, jusqu
ces
derniLres annØes, prØvue par la loi que dans un nombre limitØ de cas. Elle
n a pas ØtØ distinguØe le plus souvent de l obligation d assurer le suivi
administratif des mesures. La demande d Øvaluation Ømane dLs lors de
fa on quasi exclusive des autoritØs ministØrielles ou de l administration
elle-mOEme.
Celles-ci
privilØgient,
pour
rØpondre
la
demande
gouvernementale, le suivi des mesures, l Øvaluation « ex ante » des
politiques et des Øvaluations « ex post » lØgLres, assez rapides pour OEtre
en phase avec la dØcision.
1
–
Des exigences législatives récentes
Ce n est que depuis une dizaine d annØes que les lois instituant des
mesures en faveur de l emploi ont imposØ
l exØcutif l obligation de
rendre compte de leur impact.
La loi quinquennale du 20 dØcembre 1993 relative au travail,
l emploi et
la formation professionnelle a ØtØ la premiLre
prØvoir un
rapport au Parlement, publiØ en fØvrier 1997, et un rapport sur
l Øvaluation des politiques rØgionales de formation professionnelle et
continue, Øtabli tous les trois ans, dans le cadre du comitØ de coordination
des
programmes
rØgionaux
d apprentissage
et
de
formation
professionnelle, instance d Øvaluation spØcifiquement crØØe
cet effet.
236
C
OUR DES COMPTES
Des dispositions analogues ont ØtØ inscrites dans la loi du
11 juin 1996, dans la loi du 16 octobre 1997 portant crØation des
nouveaux services - emplois jeunes et la loi du 29 juillet 1998 relative
la
lutte contre les exclusions.
La loi du 13 janvier 1998 a prØvu de mOEme que le gouvernement
prØsente au Parlement, avant le 30 septembre 1999, un bilan des
nØgociations d entreprises, de l Øvolution de la durØe du travail et de
l impact de la rØduction du temps de travail sur l emploi et l organisation
des entreprises.
La loi du 19 janvier 2000 impose encore au gouvernement de
prØsenter chaque annØe au Parlement un rapport relatif
la mise en
uvre
de l allØgement des cotisations sociales et de la rØduction du temps de
travail, ainsi qu
leur impact sur l emploi.
Mais, la formalisation des objectifs par les textes reste trop
gØnØrale
pour
imposer
une
vØritable
obligation
d Øvaluation
l administration. Les dispositifs ne prØvoient pas, dLs l origine, les
moyens financiers nØcessaires
l Ølaboration des bilans. Les rapports,
dits ou non d Øvaluation, prØsentØs au Parlement sont souvent riches en
informations quantitatives et qualitatives, mais ne constituent pas des
comparaisons rigoureuses entre les rØsultats obtenus, les moyens mis en
uvre et les objectifs fixØs.
Des lois rØcentes fixent des obligations en matiLre d Øvaluation
non seulement
l Etat mais aux autres opØrateurs de la politique de
l emploi. Tel est le cas pour la loi du 18 dØcembre 2003 portant
dØcentralisation du RMI et crØation du RMA et la loi du 4 mai 2004
relative
la formation professionnelle tout au long de la vie et au
dialogue social. Enfin, sous le chapitre « Evaluation des politiques
locales », l article 130 de la loi du 13 août 2004 relative aux libertØs et
responsabilitØs locales prØvoit la transmission par les collectivitØs locales
l Etat des informations individuelles destinØes
la constitution
d Øchantillons statistiques et la restitution par l Etat de l exploitation de
ces donnØes. Ces derniLres Øvolutions sont encore trop rØcentes pour
avoir une incidence sur les pratiques d Øvaluation.
2
–
Les priorités des autorités ministérielles et administratives
Les commandes d Øvaluations « ex post » des autoritØs politiques
et des directions d administrations restent rares. Leurs prioritØs sont
tournØes vers les analyses les plus directement utiles aux besoins
opØrationnels de l action gouvernementale : la prØparation des dØcisions
et le suivi des mesures.
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
237
a)
Les Øvaluations «
ex ante »
RØpondant
un besoin constant des cabinets ministØriels, la
prØparation des dØcisions donne lieu
des Øtudes d impact prØalables plus
nombreuses que les Øvaluations « ex post ». Les Øvaluations « ex ante »
devraient prØparer davantage qu elles ne le font les Øvaluations « ex
post » ultØrieures en identifiant les difficultØs mØthodologiques qu elles
soulLvent et les besoins d information qu elles impliquent.
La politique de rØduction du temps de travail a fait l objet d un
nombre ØlevØ d expertises et de contre-expertises provenant de toutes les
administrations d analyse Øconomique et des principaux centres d Øtudes
extØrieurs
l administration. Les premiLres Øvaluations « ex ante » ont
ØtØ rØalisØes en 1978
l INSEE. Le Plan, la DARES, la Direction de la
prØvision, ont ensuite repris ces premiers travaux, avec des outils
diffØrents et les ont multipliØs au moment de la prØparation de la loi du 13
juin 1998. Des travaux du mOEme type ont aussi ØtØ menØs
l extØrieur de
l administration, notamment par l OFCE, l IRES et REXECODE.
Souvent divergents, les rØsultats de ces travaux ont permis cependant de
faire appara tre la trLs forte sensibilitØ des effets de cette politique aux
trois conditions de sa mise en
uvre : gains de productivitØ, modØration
salariale, aide de l Etat aux entreprises, et de mieux les prØciser au
moment de la prØparation de la loi.
La prØparation des politiques ciblØes d aides directes fait aussi
l objet d analyses d impact ex ante par la Direction de la prØvision et la
DARES au moyen de maquettes de simulation qui sont rØguliLrement
perfectionnØes.
On peut noter qu au contraire, les Øtudes d impact concernant la
politique d allLgement de charges sur les bas salaires ont ØtØ peu
nombreuses au moment de la mise en place de cette mesure, en 1993, et,
en 1995, lors de sa montØe en rØgime. Elles n ont ØtØ dØveloppØes
qu ultØrieurement.
b)
Le suivi des mesures et les Øvaluations lØgLres
Le suivi quantitatif des mesures pour l emploi est correctement
assurØ par la DARES. Cette mission trLs lourde est la condition de base
d une dØmarche d Øvaluation mais ne saurait dispenser des complØments
nØcessaires que sont les analyses de coût et d impact micro et
macroØconomique.
238
C
OUR DES COMPTES
La DARES identifie dans le bilan annuel de la politique de
l emploi une quarantaine de dispositifs qu elle suit en termes de stocks et
de flux de bØnØficiaires, les ØlØments Øtant publiØs chaque mois dans un
« Tableau de bord des politiques d emploi ».
Sur l ensemble des mesures « ciblØes », huit sont en outre suivies
par la DARES dans le cadre d enquOEtes par panel qui permettent de
suivre prØcisØment les effets dans le temps des politiques sur les
bØnØficiaires : le programme « Nouveaux services
emplois jeunes »
(NSEJ), le contrat initiative emploi (CIE), le contrat emploi solidaritØ
(CES), le contrat emploi consolidØ (CEC) et les stages d insertion et de
formation
l emploi (SIFE), les contrats de qualification, le contrat
d apprentissage, et le programme Trajet d accLs
l emploi (TRACE).
Les Øtudes relatives
l efficacitØ des mesures sont rares et celles
relatives
l efficience quasi inexistantes. La dØpense pour l emploi
66
fait
l objet d une publication annuelle, mais les travaux sur le coût unitaire
des mesures et leurs effets
court et moyen terme, que la DARES avait
menØs en vue de la publication en 1996 de l ouvrage « 40 ans de
politiques de l emploi » n ont pas ØtØ actualisØs.
Les Øtudes sous-traitØes, essentiellement descriptives, relLvent le
plus souvent de l analyse administrative et sociologique et ne comportent
pas, sauf exception
67
, de travaux sur l efficacitØ des dispositifs. Sur les
9 M
de prestations sous-traitØes par la DARES en matiLre de suivi et
d Øvaluation des politiques d aides
l emploi entre 1998 et 2003, 57,4 %
se rapportent
des enquOEtes et exploitations statistiques, 16,7 %
seulement
des Øvaluations proprement dites et le surplus
des marchØs
de saisie informatique. Les rapports portent pratiquement tous une
apprØciation positive, en tout cas peu critique, et ne prØsentent que
rarement des propositions de nature corrective.
Pour le dispositif d aide directe le plus important, en termes de
dØpenses pour l Etat
68
, les nouveaux services
emplois jeunes
la
DARES n a pas engagØ d Øvaluation globale mais a rØalisØ, ou fait
rØaliser, quatorze Øtudes, partielles, dont les objectifs d Øvaluation n ont
66
) La dØpense pour l emploi est la somme du budget de l emploi, des allØgements de
cotisations sociales patronales, des dØpenses de l UNEDIC et de la prime pour
l emploi. Elle n inclut pas les dØpenses des collectivitØs territoriales.
67
) Par exemple, une Øtude du groupement de recherche en Øconomie quantitative
d Aix-Marseille (GREQAM) de 1998 compare les parcours des bØnØficiaires de CES
et de SIFE avec ceux d une population tØmoin avec correction des biais de sØlection.
68
). Ce programme a reprØsentØ pour les quatre annØes 2000 - 2003 un montant de
dØpenses de 7, 4 milliards d euros au budget du secteur Travail, soit 11 %
du total des
dØpenses de ce budget.
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
239
pas ØtØ clairement dØfinis et qui ne concernent que l impact sociologique
du dispositif. La DARES justifie l absence d une Øvaluation d importance
par la nØcessitØ de rendre au Parlement un bilan
mi-parcours et par le
lancement d une Øvaluation de ce programme sur le champ jeunesse et
sport, qui recouvrait une partie importante de l ensemble des bØnØficiaires
et des employeurs.
c)
Une programmation des Øtudes peu ouverte
l Øvaluation lourde
Pour l essentiel, la demande d Øvaluation « ex post » vient du
ministLre de l emploi lui-mOEme, et tout particuliLrement de la dØlØgation
gØnØrale
l emploi et
la formation professionnelle (DGEFP) chargØe de
la mise en
uvre de ces politiques.
La DARES a mis en place une programmation de ses Øtudes et
Øvaluations qui fait une large place
la concertation des autres directions
du ministLre et
la consultation de ses partenaires extØrieurs.
Elle inscrit ses orientations
moyen terme dans le programme du
Conseil National de l Information Statistique (CNIS) chargØ d assurer,
pour la statistique publique, la concertation entre les services producteurs
et les utilisateurs.
La programmation annuelle est prØparØe par un comitØ des
programmes, prØsidØ par le directeur de la DARES, qui, deux fois par an,
rØunit principalement les reprØsentants des quatre directions du secteur
travail et des Øtablissements publics concernØs. En outre, la DARES
rencontre chaque annØe les partenaires sociaux pour leur prØsenter les
axes de son programme et recueillir leurs rØactions et leurs souhaits. Cet
effort d Ølaboration concertØe mØrite d OEtre soulignØ.
La DGEFP prØsente ses prioritØs annuelles d Øvaluation au comitØ
des programmes de la DARES. Elle a l
un r le essentiel
jouer, le lien
entre le dØcideur et l Øvaluateur Øtant dØterminant dans le dynamisme et
la qualitØ des Øvaluations.
La place rØduite faite aux grandes Øvaluations dans le programme
de la DARES montre que ce r le de commanditaire d Øvaluation est
incomplLtement assurØ par la DGEFP qui reconna t d ailleurs l existence
insuffisante de travaux mesurant l efficience des mesures d aides
l emploi.
Elle a soulignØ que l application en cours de la loi organique
relative aux lois de finances et les futurs programmes annuels de
performance dont elle a la responsabilitØ conduiraient
accro tre la
demande d Øvaluations.
240
C
OUR DES COMPTES
d)
L insuffisance de la commande d Øvaluation extØrieure
l administration
Depuis la mise en sommeil du Conseil national de l Øvaluation qui
n avait
au
demeurant
rempli
que
partiellement
son
r le,
les
administrations ne re oivent plus de l extØrieur de commandes suffisantes
d Øvaluations globales des coûts et des effets des mesures d aides
l emploi. L absence d une instance externe permettant un dialogue avec
l administration et une confrontation de diffØrents points de vue est
dommageable. Ce regret est partagØ par plusieurs acteurs de l Øvaluation.
L intØrOEt de la crØation d une instance lØgLre spØcialisØe dans les
domaines de l emploi est parfois ØvoquØe
69
. La technicitØ croissante des
mØthodes d Øvaluation dans ce domaine pourrait en effet justifier une
telle solution.
C
–
Les suites données aux évaluations
Les administrations concernØes soulignent que les travaux
d Øvaluation existants ne restent pas sans influence. Nombre d entre eux
sont publiØs et alimentent le dØbat public. Ils concourent
Øclairer les
dØcisions au niveau des cabinets ministØriels et des directions
opØrationnelles dont les demandes sont souvent
l origine des Øtudes.
Ces effets sont toutefois difficiles
apprØcier. Comme le remarque
la DARES, sa « fonction d influence n est pas toujours repØrable car il
n y a pas une relation simple de cause
effet entre une Øtude et une
dØcision : la dimension politique joue aussi son r le lØgitime ».
Ainsi, le rapport du Conseil national de l Øvaluation, remis en
janvier 2004, sur le recours
des opØrateurs externes dans le domaine des
politiques de l emploi (« rapport Balmary ») aurait inspirØ certaines
dispositions du plan de cohØsion sociale.
Un autre rapport d Øvaluation relatif aux aides aux emplois du
secteur non marchand (« rapport Robineau »), publiØ en mars 2002 dans
le cadre du Conseil national de l Øvaluation proposait, pour amØliorer
l efficacitØ en terme d accLs
l emploi ordinaire, de fusionner le CES et
le CEC, de concentrer les efforts sur la reconnaissance et la validation des
acquis professionnels, et de rØussir la liaison avec le PARE
PAP. Le
69
) Cf. la recommandation (p. 134 sq.) du rapport au ministre des affaires sociales, du
travail et de la solidaritØ sur le rapprochement des services de l emploi ; J. Marimbert,
janvier 2004.
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
241
plan de cohØsion sociale annoncØ au cours de l ØtØ 2004 va dans le sens
des prØconisations de cette Øvaluation en prØvoyant une prochaine fusion
des CES et des CEC, sans qu il soit possible d assurer qu
deux ans et
demi de distance il existe un rapport de causalitØ entre l Øvaluation et la
dØcision.
Il reste que, de maniLre gØnØrale, les Øvaluations, mOEme
lorsqu elles sont conclusives, dØbouchent rarement sur des dØcisions
directes d inflexion des politiques.
III
–
L’insuffisance des évaluations « lourdes »
Dans le domaine des politiques d aides
l emploi, tant les
Øvaluations institutionnelles que les Øvaluations scientifiques ont ØtØ dans
la pØriode considØrØe insuffisamment nombreuses et insuffisamment
pluralistes. Quelle que soit la qualitØ des travaux rØalisØs, les inØvitables
incertitudes de ces Øvaluations n ont pu ainsi OEtre surmontØes. Ce n est en
effet que de la discussion entre les Øvaluateurs et de la confrontation entre
expertises et contre expertises que peut OEtre dØgagØe une Øvaluation fiable
d une politique publique.
La multiplication d Øvaluations rapides et lØgLres, elles aussi
nØcessaires, ne saurait OEtre regardØe comme un palliatif. Elles peuvent
prØcØder utilement les grandes Øvaluations, lorsque celles-ci exigent trop
de temps pour OEtre menØes au regard des besoins de la dØcision, elles
peuvent les prØparer et les complØter, mais elles ne sauraient en dispenser.
Le
manque
d Øvaluations
approfondies
et
fiables
est
particuliLrement regrettable pour les politiques majeures que constituent
l allØgement des cotisations sociales et la rØduction du temps de travail.
Leur coût augmente rapidement : il reprØsentait, selon la direction du
budget, 16,7 % du total des dØpenses publiques pour l emploi en 1997 et
25,1 % en 2003. Sur ces politiques, les rares Øvaluations existantes ont
fait l objet de critiques mØthodologiques fortes, sans pour autant avoir
encore donnØ lieu
des contre-expertises fiables.
A
–
Les aides directes
Les aides au secteur marchand ont fait l objet d un petit nombre
d Øvaluations scientifiques menØes par le CREST et portant sur les
dispositifs d emploi et d insertion des jeunes, la formation continue, les
conventions de conversion, puis rØcemment sur l impact du PARE et du
PAP sur le retour
l emploi. L Øvaluation de l impact des dispositifs
242
C
OUR DES COMPTES
d aides
l emploi sur les jeunes ch meurs de longue durØe menØe par des
chercheurs du CREST est novatrice dans la mesure oø elle embrasse trois
politiques et compare leur efficacitØ relative sur une population donnØe
70
.
Cette Øvaluation a cependant ØtØ limitØe par le nombre d enquOEtes
utilisables. Bien que prØsentØe au cours de sØminaires, elle n a pas eu de
prolongement direct au sein de l administration.
Le
dispositif
TRACE
a
fait
l objet
de
plusieurs
Øtudes
principalement qualitatives, dont une « analyse par les pairs » dans le
cadre d un programme europØen, sans toutefois que soient abordØes les
questions du coût et de l efficience de la mesure.
Les aides
l emploi dans le secteur non marchand ont donnØ lieu
des Øvaluations lourdes relativement plus nombreuses.
Les emplois jeunes dans la culture ont fait l objet,
la demande du
ministLre de la culture, d un rapport d Øvaluation du Centre d Øtudes de
l emploi, paru en 2001. Le programme « nouveaux services
emplois
jeunes » dans le champ jeunesse et sports a donnØ lieu, Øgalement en
2001,
un rapport du Conseil national de l Øvaluation. Cette Øtude
sectorielle est peu concluante sur la nature, l utilitØ sociale et le caractLre
innovant des activitØs crØØes.
L ensemble des aides
l emploi du secteur non marchand, incluant
les emplois jeunes, les contrats emploi solidaritØ et les contrats emploi
consolidØ, a fait l objet, en mars 2002, d un rapport du Conseil national
de l Øvaluation. MalgrØ l ampleur du cahier des charges, les aspects
financiers et budgØtaires n Øtaient pas inclus dans la mission. Deux
lacunes majeures clairement indiquØes dans le rapport et dans l avis du
Conseil national de l Øvaluation affaiblissent l Øvaluation. D une part, les
effets structurels des mesures sur l activitØ, l emploi et le ch mage n ont
pas ØtØ ØvaluØs. D autre part, faute d une comparaison des chances et du
devenir professionnel de bØnØficiaires et de non bØnØficiaires identiques,
l effet net des mesures n a pas ØtØ dØterminØ.
70
) Il s agit des mesures d aides
l emploi dans le secteur marchand (les stages
d initiation
la vie professionnelle (SIVP), les contrats de retour
l emploi (CRE),
les contrats initiative emploi (CIE), qui se sont succØdØ entre 1991 et 1995), des
mesures d aides
l emploi non marchand (TUC et CES) et des stages de formation
(stages de formation des annØes 80, actions d insertion et de formation (AIF) et stages
d insertion et de formation
l emploi (SIFE), des annØes 90.)
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
243
B
–
Les allégements de charges
Les Øvaluations « ex post » des allØgements de charges sont rares
et divergentes. Les modifications rØpØtØes des dispositifs ont rendu cette
Øvaluation particuliLrement difficile. Toutes les mØthodes d Øvaluation,
des plus « lØgLres » aux plus « lourdes », ont ØtØ mises en
uvre mais les
Øvaluations « ex post » ont ØtØ peu nombreuses et il n y a eu ni Øtudes
systØmatiques des expØriences ØtrangLres menØes aux Pays-Bas et en
Italie, ni Øtudes sectorielles.
Cinq Øtudes parues en 2001 ont estimØ l effet sur l emploi des
allØgements de charges en vigueur en 1997. Quatre d entre elles
parviennent
des chiffres compris entre 65 000 et 250 000 emplois, selon
les hypothLses retenues.
Tableau n° 1 :
Etudes d’évaluation « ex post » des mesures
d’allégements de charges
Etude
MØthode
Effet sur l emploi des allØgements
en vigueur en 1997
Mosa que (Heyer et
Cornilleau) (OFCE)
ModLle ØconomØtrique
De
65 000
100 000
(
l horizon
de 5 ans)
CrØpon et Desplatz
(2001)
Estimations sur donnØes
individuelles sur les
entreprises
460 000 (
de 1995
1997)
Kramarz et Philippon
(2001)
Evaluations sur donnØes
individuelles
Forte sensibilitØ de l emploi au
coût du travail
DARES (2003)
DØcomposition annuelle des
variations d emplois
201 000
(de 1990
2002)
Source : Cour des comptes
Une Øvaluation « lourde», utilisant des donnØes individuelles,
produite par l INSEE (M. CrØpon et Mme Desplatz) impute
la politique
de rØduction des charges la crØation ou la sauvegarde de 460 000 emplois.
Ces estimations, au dire des auteurs eux-mOEmes, sont imprØcises, la plage
d incertitude s Øtendant entre 255 000 et 670 000 emplois. Des
chercheurs de l OFCE et de l IRES ont en outre mis en cause les
hypothLses thØoriques retenues, la pertinence des variantes et la non prise
en compte des emplois partiels. La publication de l Øtude dans la revue de
l INSEE
« Economie
et
statistique »
a
suscitØ
de
nombreux
commentaires.
244
C
OUR DES COMPTES
L Øtude n a pas donnØ lieu
actualisation. Ceci est dû, selon
l INSEE, au fait que « la pØriode qui a suivi celle de l Øtude a ØtØ celle de
la mise en
uvre de la RTT au cours de laquelle il devient trLs difficile,
voire impossible, de sØparer ce qui provient des allØgements de charges et
ce qui provient des effets de la RTT ».
La seule tentative de tirer une synthLse de tous ces travaux sur les
allØgements de charges est venue de l OFCE, en 2003, sous la forme
d une «
confØrence de consensus
» sur le modLle de la recherche
mØdicale. Le panel d Øvaluateurs a dØplorØ le nombre extrOEmement rØduit
d Øvaluations de cette politique et suggØrØ que les lois prØvoient
l affectation d un pourcentage des masses financiLres en jeu
la
rØalisation d Øvaluations.
La toute rØcente prØsentation, par des chercheurs d un laboratoire
universitaire d Evry, d une nouvelle Øvaluation situant l impact des
mesures d allØgement de charges
un niveau beaucoup plus bas (150 000
emplois) souligne une incertitude que les pouvoirs publics, sur un point
pourtant essentiel, n ont guLre cherchØ
lever. Si les rØformes
intervenues rØcemment renouvellent les donnØes du problLme, il est
souhaitable qu
l avenir l Øvaluation des effets des aides de ce type
fassent l objet d efforts plus nombreux et soutenus.
C
–
La réduction du temps de travail
La rØduction du temps de travail n a fait l objet que de deux
grandes Øvaluations, de la part de la DARES et du commissariat gØnØral
du Plan, ainsi que d un petit nombre d estimations macroØconomiques
plus lØgLres. Seul a ØtØ estimØ « ex post » le coût brut de la RTT.
1
–
Des évaluations trop tardives des expériences antérieures de
réduction du temps de travail
Les analyses des expØriences de rØduction de la durØe lØgale du
travail antØrieures aux lois du 13 juin 1998 et du 19 janvier 2000 ont ØtØ
peu nombreuses et leurs rØsultats ne sont pas concordants. Elles ont ØtØ,
en outre, trop tardives pour avoir pu servir de modLles aux Øvaluations de
ces deux lois.
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
245
L ordonnance du 13 janvier 1982 instituant les 39 heures n a
donnØ lieu qu
deux Øvaluations
71
plus de quinze ans aprLs sa mise en
uvre.
La loi du 11 juin 1996 a donnØ lieu
deux Øvaluations
72
qui
comparent, sur la pØriode de mise en place du dispositif, la croissance des
emplois des entreprises en ayant demandØ le bØnØfice avec les entreprises
ayant les mOEmes caractØristiques mais n ayant rØduit leur durØe du travail
qu aprLs janvier 2000.
Des Øvaluations prØcoces des mesures de rØduction de la durØe du
travail antØrieures aux lois du 13 juin 1998 et du 19 janvier 2000 auraient
pu Øclairer la prØparation de l Øvaluation de ces lois en permettant de
dØtecter assez t t les problLmes de donnØes, de fichiers et de mØthodes,
qui sont apparus tardivement lors de l Øvaluation des lois du 13 juin 1998
et du 19 janvier 2000. Selon la DARES, la difficultØ de mobiliser
rapidement les informations administratives concernant les entreprises y a
fait obstacle.
2
–
Une mobilisation importante de la DARES
Pour Øtudier la mise en place de la loi du 13 juin 1998, notamment
dans la perspective du bilan prØvu par la loi, la DARES a commandØ
32 Øtudes (soit 43,2 % du nombre total des Øtudes qu elle a sous-traitØes
de 1998
2003). Elles portent sur des sujets importants, leur intØrOEt pour
l Øtablissement du bilan est rØel et elles ont ØtØ publiØes. Elles ont
cependant dans leur trLs grande majoritØ un caractLre monographique.
Certaines de ces Øtudes montraient que les catØgories et
nomenclatures statistiques trop gØnØrales utilisØes dans les enquOEtes de la
DARES et de l INSEE ne permettraient pas d Øtablir des synthLses et des
bilans prØcis
ex post
des consØquences Øconomiques de la rØduction
du temps de travail. Ces Øtudes n ont pas ØtØ utilisØes pour amØliorer la
qualitØ des enquOEtes globales.
La DARES a, toutefois parallLlement, en interne, mis au point une
mØthode d Øvaluation de l effet des 35 heures sur l emploi. Cette mØthode
Øtait nouvelle et elle a ØtØ progressivement amØliorØe pour corriger les
insuffisances mØthodologiques dØtectØes et les effets de la disparition
progressive de la population de rØfØrence (les entreprises non encore
passØes aux 35 heures). La DARES s est ainsi dotØe trLs t t d un
71
) G. Cette (in Cette, Taddei, 1997) et, sur la base de donnØes individuelles tirØes de
l enquOEte emploi de l INSEE, CrØpon et Kramarz (1999).
72
) M. Fiole, V. Passeron, M. Roger en 2000 et M. Fiole, M. Passeron en 2002.
246
C
OUR DES COMPTES
instrument d Øvaluation qui lui permettait de prØsenter pratiquement en
temps rØel des estimations de l effet sur l emploi de la rØduction du temps
de travail. Celui-ci est fondØ sur la comparaison des Øvolutions de
l emploi des entreprises passØes prØcocement aux trente cinq heures, dans
le cadre de la loi du 13 juin 1998 et du 19 janvier 2000, et des entreprises
Øconomiquement comparables qui Øtaient restØes aux 39 heures.
Cette mØthode, compte tenu de la complexitØ de la politique, et de
la difficultØ d obtention des donnØes, n est naturellement pas exempte de
critiques. Elle ne prend pas en compte l incidence macroØconomique de
la rØduction du temps de travail sur l Øconomie fran aise. Elle nØglige les
effets de la rØduction du temps de travail sur la position concurrentielle
des entreprises. Enfin et surtout, elle ne tient pas assez compte du fait que
les premiLres entreprises qui ont mis en
uvre la rØduction du temps de
travail Øtaient celles qui avaient le plus intØrOEt
le faire et sont donc
difficilement comparables
celles restØes aux 39 heures.
Ces critiques ont ØtØ reprises par l INSEE dans sa rØponse aux
constats provisoires de la Cour : « D une part, les entreprises ont une
double hØtØrogØnØitØ,
la fois en matiLre d Øvolutions d emploi
spontanØes et en matiLre de facilitØ d ajustement aux 35 heures, et ces
critLres ont influØ sur le choix de passer
35 heures, ce qui fausse la
comparaison des deux groupes. D autre part, mOEme en l absence
d hØtØrogØnØitØ des entreprises, il y a erreur
considØrer que les
Øvolutions dans les entreprises restØes
39 heures sont reprØsentatives
des Øvolutions qui
auraient ØtØ observØes en l absence des lois du 13 juin
1998 et 19 janvier 2000 ». Mais les travaux de l INSEE visant
corriger
ces dØfauts mØthodologiques n ont pas encore abouti
des rØsultats
dØfinitifs publiØs.
La DARES a indiquØ qu elle avait inscrit
son programme de
travail en 2003 une Øtude ØconomØtrique visant
corriger les biais de
sØlection mais que « des questions de moyens et de nouvelles prioritØs
n ont pas permis de (la) mener
bien ».
3
–
Les évaluations extérieures au ministère de l’emploi
Sous l Øgide du commissariat gØnØral du Plan, une commission
prØsidØe par le directeur gØnØral de l agence nationale pour l amØlioration
des conditions de travail a produit en 2001 un rapport qui, sans prØtendre
constituer une Øvaluation de dispositions jugØes trop rØcentes, en prØsente
certains caractLres. S il donne un tableau complet de l application de la
loi et en tire des enseignements utiles, le rapport forme l hypothLse
fragile que les entreprises non aidØes ont rØalisØ des gains de productivitØ
Øquivalents
ceux des entreprises aidØes et estime selon la mOEme
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
247
mØthode la modØration salariale. Ce rapport estimait
265 000 le nombre
d emplois crØØs entre juin 1996 et dØcembre 2000 par les lois du 11 juin
1996 et du 13 juin 1998.
En
dehors
de
cette
Øtude,
comparable
une
Øvaluation
institutionnelle, et de l Øtude ci-dessus mentionnØe de la DARES, qui
peuvent OEtre regardØes comme « lourdes », les autres Øvaluations sont
Øtablies
partir d estimations macroØconomiques simples dont les
spØcialistes reconnaissent qu en raison de leurs limites mØthodologiques,
elles ne peuvent venir qu en complØment aux Øvaluations scientifiques.
Leurs rØsultats sont eux aussi contrastØs.
Tableau n° 2 : Principales évaluations « ex post » de l’effet de la
réduction du temps de travail sur l’emploi des entreprises
MØthode
Effet sur
l emploi
DARES (Brunel et Jugnot, 2002)
DonnØes
individuelles sur
ACEMO
300 000 (
fin
2001)
Ires (M. Husson 2001)
EconomØtrie
495 000 (
fin
2001)
Cdc Ixis ; P. Artus (2003)
Comparaison
internationale
400 000 (
fin
2001)
Cdc Ixis ; P. Artus (2003)
EconomØtrie
310 000 (
fin
2001)
Rapport Øconomique, social et
financier 2002 annexØ au projet
de loi finances
300 000 (de 1999
2002)
Source : Cour des comptes
La DARES a mis en place avec les diffØrentes administrations
concernØes un groupe de travail qui s est rØuni six fois entre dØcembre
1998 et fØvrier 2000. D aprLs ses comptes-rendus, sa t che s est rØsumØe
assurer une information mutuelle sur les Øtudes que chacune menait. La
DARES a reconnu qu elle avait « cherchØ
en faire un lieu d impulsion
et de coordination des diffØrents travaux d Øvaluation, mais qu il n Øtait
pas de sa responsabilitØ de se substituer
une instance d Øvaluation ».
248
C
OUR DES COMPTES
4
–
L’évaluation des coûts
La direction du budget a procØdØ
une Øvaluation des coûts liØs
la politique de rØduction du temps de travail. Les coûts bruts des
allØgements de cotisations sociales dans le secteur privØ sont retracØs,
entre 2001 et 2003, dans les comptes du FOREC, puis, depuis 2004,
rØintØgrØs dans le budget de l Etat
73
. La part de ces coûts imputable
la
rØduction du temps de travail, ØvaluØe
partir d un scØnario de rØfØrence
permettant de simuler l Øvolution du coût des politiques prØexistantes aux
dispositifs prØvus par les lois du 13 juin 1998 et du 19 janvier 2000.
(ristournes sur les bas salaires et allØgements prØvus par la loi du
4 août 1995), ressort
8 Md
en 2003. Ce chiffre ne tient pas compte des
« retours financiers » (Øconomie de prestations ch mage et d aide sociale,
cotisations supplØmentaires liØes
des crØations d emploi) qui n ont ØtØ
ØvaluØs qu « ex ante ».
Il n inclut pas non plus l impact de la RTT sur la fonction
publique, que la direction du budget, compte tenu de la crØation de 53 000
emplois, estime pour la fonction publique d Etat et la fonction publique
hospitaliLre,
2 Md
en 2003.
__________
CONCLUSION ET RECOMMANDATIONS
__________
MOEme si des progrLs ont ØtØ accomplis au cours des derniLres
annØes, l Øvaluation des politiques d aides
l emploi en France reste
insuffisamment dØveloppØe. Un petit nombre seulement de chercheurs
ma trisent aujourd hui les mØthodes ØconomØtriques les plus complexes
et soutiennent la comparaison internationale. L Øvaluation dØpend trop
exclusivement de l administration. La demande du Parlement, si elle
s exprime davantage dans les lois rØcentes, n a pas encore inflØchi
fondamentalement le dispositif.
En l Øtat actuel des choses, les pouvoirs publics ne disposent pas
d une apprØciation exhaustive et fiable de l impact des dØpenses
considØrables engagØes dans les diffØrents dispositifs d aides
l emploi.
S agissant de mesures financØes par des prØlLvements obligatoires, il
n est a fortiori pas possible d assurer que l impact Øconomique nØgatif
du prØlLvement est compensØ par l effet positif des mesures appliquØes.
73
) Cf. sur le FOREC, rapports de la Cour sur l exØcution des lois de finances pour
2000 (p. 220 sq), 2001 (p. 235) et 2002 (p. 229).
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
249
Deux facteurs jouent actuellement en faveur d un renforcement des
dØmarches d Øvaluation. L application de la loi organique relative aux
lois de finances conduit
la dØfinition d objectifs et
la mise en place
d indicateurs de rØsultat, conditions de base de l Øvaluation. D autre
part, le plan national pour l emploi, dans le cadre de la stratØgie
europØenne de l emploi, requiert des dØmarches voisines.
Les travaux de dØfinition des objectifs et indicateurs n avaient pas
encore abouti
l Øpoque oø la Cour a effectuØ son contr le, mais il
appara t d ores et dØj
que la mesure de la performance, par les
indicateurs mis en place dans le cadre de la loi organique, ne pourra
dispenser de poursuivre et
de dØvelopper des dØmarches Øvaluatives
la
fois plus complexes et plus gØnØrales.
Il demeure indispensable de remØdier aux insuffisances actuelles
dont souffre l Øvaluation des aides
l emploi.
Le nØcessaire pluralisme des Øvaluations sera rendu possible par
une mise en application effective des textes lØgislatifs de mars et
août 2004 qui devraient permettre de rØduire les difficultØs d accLs aux
donnØes qui ont freinØ le dØveloppement des travaux des chercheurs
extØrieurs
l administration.
En outre, la Cour souligne la nØcessitØ de renforcer la demande de
travaux Øvaluatifs fournissant une vue d ensemble de l efficacitØ et de
l efficience des interventions publiques sur le marchØ du travail.
L importance considØrable des enjeux tant financiers qu humains en
cause mØrite des efforts beaucoup plus importants.
S il revient
l administration de mettre en place les systLmes
d information et de dØvelopper les Øtudes, son initiative ne peut suffire
pallier l absence d un centre d impulsion extØrieur, dØfinissant les
objectifs et les modalitØs de la dØmarche Øvaluative, puis assurant une
discussion collective des rØsultats. La nØcessitØ d un tel centre
d impulsion appara t peu contestable. La dØfinition de ses modalitØs
organisme interministØriel
vocation gØnØraliste, ou, selon des
recommandations rØcentes, instance lØgLre dØdiØe au seul marchØ du
travail
relLve de l apprØciation des autoritØs politiques.
Enfin, il importe de poursuivre les efforts dØj
dØveloppØs ces
derniLres annØes pour parfaire la collecte des donnØes gØnØrales et
individuelles nØcessaires aux travaux d Øvaluation, pour assurer la
cohØrence de celles qui sont dØtenues par les divers opØrateurs des
politiques d aides
l emploi et pour en faciliter le rapprochement.
250
C
OUR DES COMPTES
R PONSE CONJOINTE
DU MINISTRE DE L’ CONOMIE, DES FINANCES ET DE L’INDUSTRIE
ET DU MINISTRE DE L EMPLOI, DU TRAVAIL ET
DE LA COHESION SOCIALE
Comme la Cour, nous considØrons que l Øvaluation des aides
l emploi, qui constituent l un des premiers budgets d intervention de l Etat,
revOEt une grande importance pour les finances publiques. A cet Øgard, la
Cour observe
bon droit que des progrLs sont possibles en la matiLre.
Nous souhaitons cependant apporter
l insertion au rapport public
annuel 2004 les observations suivantes :
1. Organisation institutionnelle de l’évaluation
Le titre de la partie « les dØfauts de l organisation institutionnelle » et
les sous-titres « la prØpondØrance de la Dares » et la « faible place des
autres administrations » doivent OEtre relativisØs. La place de la Dares dans le
systLme statistique public du champ emploi / travail conduit Øvidemment
une forte mobilisation de ses travaux par les instances en charge de
l Øvaluation. Si cette utilisation semble OEtre jugØe excessive par la Cour, elle
est le signe que la Dares remplit sa mission de collecte des informations
statistiques sur le champ qui est le sien en permettant le suivi conjoncturel du
marchØ du travail et le pilotage des mesures de politiques d emploi et de
formation.
Cependant on ne peut qu OEtre d accord avec le jugement selon lequel
la Dares, direction d un ministLre, ne peut OEtre le lieu unique de l Øvaluation
des politiques d emploi. La Dares peut et doit alimenter les Øvaluations qu il
serait souhaitable de dØvelopper dans un cadre permettant un pluralisme des
approches
l instar de ce qui a pu OEtre fait dans le passØ par le conseil
scientifique puis le conseil national de l Øvaluation.
Tout en rappelant par ailleurs les questions liØes
la confidentialitØ,
le rapport note que les difficultØs d accLs aux fichiers sont un obstacle au
dØveloppement
des
Øvaluations
scientifiques.
Nous
partageons
cette
prØoccupation, et souhaitons dLs lors faciliter l accLs des donnØes aux
chercheurs. De ce point de vue, la mise
disposition de donnØes
microØconomiques
l institut Quetelet joue un r le important. Si, comme le
note la Cour, des progrLs importants ont ØtØ accomplis depuis dix ans en
matiLre d Øvaluation sur donnØes individuelles, ces travaux restent encore
largement du domaine de la recherche. En mOEme temps, mener ces Øtudes
nØcessite d OEtre proche des producteurs de donnØes pour apprØcier les
domaines de validitØ et Øviter des erreurs d interprØtations. De ce point de
vue, le lien qu entretient la Dares avec les chercheurs, et notamment avec le
centre d Øtudes de l emploi (CEE) participe
ce rapprochement. Par
ailleurs, ce ne sont pas seulement les donnØes fines qu il faut diffuser, mais
aussi la capacitØ
les utiliser.
L
ES DISPOSITIFS D
EVALUATION DES POLITIQUES D
AIDES A L
EMPLOI
251
2. Système de collecte des données
En matiLre de systLme de collectes des donnØes, des efforts importants
ont ØtØ dØployØs pour que la dØcentralisation et la multiplication des acteurs
dans le champ des politiques de l emploi ne se traduisent pas par des pertes
d informations prØjudiciables au suivi et
l Øvaluation. Des progrLs
importants ont ØtØ rØalisØs en matiLre de suivi des trajectoires individuelles
des bØnØficiaires de politiques de l emploi. La Dares va entamer une
rØflexion sur les modalitØs que pourraient prendre de nouveaux outils de
suivi des trajectoires, en liaison avec les services de l Etat et les opØrateurs
du service public de l emploi. Seront notamment pris en compte dans cette
rØflexion les besoins d Øvaluation dans le cadre de la loi organique relative
aux lois de finances (LOLF), qui nØcessite la production rØguliLre
d indicateurs, mais aussi les informations nØcessaires aux Øtudes Øvaluatives
menØes par les chercheurs.
Si nous nous accordons aussi
dire que l’information peut encore OEtre
amØliorØe, et que cela constitue un objectif permanent, il faut toutefois
signaler que cela implique un arbitrage entre richesse de l information et
charge statistique qui pLse sur les entreprises. Ainsi, le PIRPA juge
imparfaite la prise en compte des besoins spØcifiques de l Øvaluation,
notamment en matiLre de rØduction de la durØe du travail. Pourtant, la Dares
a mis en place un systLme d information qui combine trois sources : enquOEtes
existantes (ACEMO), sources administratives (demandes d allØgement
Ømanant des entreprises), et nouvelles enquOEtes. Le PIRPA considLre que ces
efforts sont insuffisants. Sur ce point nous souhaitons toutefois rappeler le
profond attachement du gouvernement
la simplification des procØdures
administratives et
l allØgement de la charge statistique pesant sur les
entreprises.
3. Orientation prioritaire des études
La Cour juge insuffisant le positionnement des administrations sur
l Øvaluation lourde « ex post
de dispositifs importants au regard des Øtudes
« ex ante », et d Øvaluations plus lØgLres.
Les Øtudes et Øvaluations des directions Øconomiques et statistiques
des ministLres influencent la dØcision publique d abord en rØpondant
des
commandes prØcises du cabinet du ministre ou des directions opØrationnelles
du ministLre. Ces Øtudes doivent couvrir les besoins d analyse d impact des
politiques mises en place : ce qui nØcessite bien un travail « ex ante »
approfondi et du suivi statistique. Ces Øtudes et travaux sont essentiels
la
prise
de
dØcision
publique
gouvernementale
(cabinet,
directions
opØrationnelles), et elles se font au fil de l eau.
252
C
OUR DES COMPTES
Les Øtudes alimentent aussi le dØbat public par les publications ou
insertions dans des rØflexions collectives organisØes
cet effet (groupes du
commissariat gØnØral du plan, du conseil Øconomique et social, missions et
auditions parlementaires, mission des inspections gØnØrales etc.). L ensemble
de cette fonction d influence des travaux sur les dØcisions n est pas toujours
repØrable car il n y a pas une relation simple de cause
effet entre une Øtude
et une dØcision. Il faut signaler que le rapport dØveloppe une approche trLs
sØquentielle de l’Øvaluation : il y aurait une politique, puis son Øvaluation,
puis un ajustement etc. La dØmarche dans la rØalitØ est plus continue, les
ØlØments d Øvaluation intØgrØs au fur et
mesure de l Øvolution des
dispositifs.
4. Les voies de progrès
A l appui de ses observations, la Cour suggLre des pistes de progrLs
utiles. Comme le relLve le PIRPA, la mise en
uvre prochaine de la LOLF
constitue un vecteur de diffusion d une culture de l Øvaluation. A cet Øgard,
la livraison des avant-projets annuels de performances (PAP) des
programmes en annexe du PLF 2005 renouvelle la question de l Øvaluation
des politiques de l emploi.
Comme l ensemble des missions de la LOLF, la mission Travail a fait
l objet d un PAP, accompagnØ d objectifs et des indicateurs nØcessaires au
suivi de leur rØalisation. Ce document n est qu une prØfiguration. A ce titre il
est perfectible, et sera probablement amØliorØ
l occasion de l Ølaboration
du PLF 2006. Il fait d ailleurs actuellement l objet de l examen du Parlement
dans le cadre de larges consultations, auxquelles la Cour est naturellement
associØe.
S il est clair que, comme l observe la Cour, « la mesure de la
performance par les indicateurs mis en place dans le cadre de la loi
organique ne pourra dispenser de poursuivre et de dØvelopper des
dØmarches Øvaluatives
la fois plus complexes et plus gØnØrales »,
l ensemble de ces travaux constituent une remise
plat des pratiques et
mØthodes d Øvaluation jusqu alors en usage et amØliorent la capacitØ
tirer
des enseignements des donnØes collectØes et des travaux rØalisØs dans un
champ oø les nombreuses rØformes successives des dispositifs de politiques
d emploi rendant la question de l Øvaluation particuliLrement complexe.