Embed Size (px)
Citation preview
UNIVERSIDADE FEDERAL DA BAHIA
ESCOLA DE ADMINISTRAÇÃO
NÚCLEO DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO - NPGA
PROGRAMA DE CAPACITAÇÃO PROFISSIONAL AVANÇADA - CPA
Dificuldades Evidenciadas no Processo de
Avaliação da Eficácia de Treinamento na Coelba
Carlita Moraes Bastos
Kleber Oliveira de Souza
Maria de Fátima Prazeres dos Santos
Salvador - Bahia
2005
8
UNIVERSIDADE FEDERAL DA BAHIA
ESCOLA DE ADMINISTRAÇÃO
NÚCLEO DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO - NPGA
PROGRAMA DE CAPACITAÇÃO PROFISSIONAL AVANÇADA - CPA
Dificuldades Evidenciadas no Processo de
Avaliação da Eficácia de Treinamento na Coelba
Carlita Moraes Bastos
Kleber Oliveira de Souza
Maria de Fátima Prazeres dos Santos
Monografia de conclusão da Pós-Graduação
em Gestão de Pessoas da Escola de
Administração da Universidade Federal da
Bahia.
Orientador: Profº Drº Robinson Tenório
Salvador - Bahia
2005
9
Agradecemos a Deus por mais esta vitória, e
por ter colocado em nosso caminho, amigos
dispostos a nos ajudar contribuindo de forma
tão dedicada neste trabalho, mesmo sem
dispor de tempo; aos nossos familiares pela
10
paciência, colaboração e compreensão nos
momentos em que não podíamos estar
presentes.
“A avaliação de treinamento tem nos
habilitado por vezes a ver onde estivemos,
11
mas raramente tem mostrado como melhor
nos guiar para onde desejamos ir.”
James Hartley
RESUMO
Este trabalho trata da verificação de quais as dificuldades que a equipe gestora da Coelba teve em avaliar a eficácia dos treinamentos, no período de 2003/2004. Partindo-se do referencial teórico de autores de Treinamento e Desenvolvimento - T&D pesquisados e baseado na norma NBR ISO 10015, foi realizado, no período de fevereiro à abril de 2005, uma pesquisa exploratória de abordagem quanti-qualitativa, tendo sido pesquisado 23 membros da equipe gestora que utilizaram o Sistema de Avaliação de Eficácia no ano de 2003. A amostra representa 54,7% da população de gestores que utilizaram o sistema no período em estudo. Dos pesquisados 91% são do sexo masculino, com faixa etária acima de 40 anos. O tempo de trabalho como gestor varia de 30% até 05 anos, 56% até 10 anos. Nossos resultados evidenciaram que os gestores consideram imprescindível ter clareza e envolvimento de todos quanto aos objetivos, ações e papéis dos envolvidos no processo de T&D (79%). Afirmam ainda que os empregados denotam sensível melhora no desempenho após o treinamento, e acreditam ser o treinamento um instrumento importante no processo de T&D. Reconhecem que precisam priorizar o processo de avaliação de eficácia, porém ao admitirem ser tarefa simples, sua realização, denotando dúvida entre a ferramenta e o processo de avaliação, implicando na necessidade de maiores esclarecimentos, quanto ao processo de treinamento e avaliação de eficácia. Evidenciam dificuldades também, quanto ao papel que precisam desempenhar junto às suas equipes. Um terço dos entrevistados acreditam ser do setor de Recursos Humanos a responsabilidade maior pelo processo de Treinamento. Estes resultados coadunam com as dificuldades evidenciadas no referencial teórico, para implantação do processo de avaliação de eficácia, e sinalizam que a Coelba está no caminho correto na busca por uma atuação competitiva e de sucesso. PALAVRAS CHAVES : Avaliação de eficácia; processo de T&D.
12
SUMMARY
This work is about the verification of which the difficulties that the team manager of Coelba had in evaluating the effectiveness of the trainings, in the period of 2003/2004. Breaking of the authors' of Training theoretical referencial and Development - researched T&D and based on the norm NBR ISO 10015, was accomplished, in the period of February to April of 2005, an exploratory quantitative and qualitative research, having been researched the team manager's 23 members that used the System of Evaluation of Effectiveness in the year of 2003. The sample represents 54,7% of the managers' population that used the system in the period in study. Of those researched 91% are of the masculine sex, with age group above 40 years. The time of work as manager varies of 30% up to 05 years, 56% up to 10 years. Our results evidenced that the managers consider indispensable to have clarity and involvement of everybody with relationship to the objectives, actions and papers of the involved in the process of T&D (79%). they Affirm although the employees denote sensitive improvement in the acting after the training, and they believe to be the training an important instrument in the process of T&D. they Recognize that they need to prioritize the process of evaluation of effectiveness, even so to the they admit to be simple task, its accomplishment, denoting doubt between the tool and the evaluation process, implying in the need of larger clarification, with relationship to the training process and evaluation of effectiveness. They also evidence difficulties, with relationship to the paper that you/they need to carry out its teams close to. A third of the interviewees believes to be of the section of human resources the larger responsibility for the process of Training. These results in agreement with the difficulties evidenced in the theoretical referencial, for implantation of the process of evaluation of effectiveness, and they signal that Coelba is in the correct road in the search for a competitive performance and of success. . KEY WORDS: Evaluation of effectiveness; process of T&D.
13
SUMÁRIO
1 INTRODUÇÃO 08
2 REFERENCIAL TEÓRICO 13
3 METODOLOGIA 24
3.1 TIPO DE ESTUDO 24 3.2 LOCAL DA PESQUISA 24 3.3 POPULAÇÃO / AMOSTRA 25 3.4 TESTE PILOTO 25 3.5 PROCEDIMENTOS 26 3.6 TRATAMENTO E ANÁLISE DOS DADOS 26
4 APRESENTAÇÃO E ANÁLISE DE RESULTADOS 28
4.1 QUESTÃO DE PESQUISA A 31 4.2 QUESTÃO DE PESQUISA B 33 4.3 QUESTÃO DE PESQUISA C 35 4.4 QUESTÃO DE PESQUISA D 36 4.5 QUESTÃO DE PESQUISA E 36 4.6 QUESTÃO DE PESQUISA F 37 4.7 QUESTÃO DE PESQUISA G 38 4.8 QUESTÃO DE PESQUISA H 39
5 CONCLUSÃO E RECOMENDAÇÕES 42
5.1 RECOMENDAÇÕES 44
REFERÊNCIAS 48
APÊNDICES 51
APÊNDICE A - QUESTIONÁRIO DE AVALIAÇÃO DE EFICÁCIA COELBA 52 APÊNDICE B - ENTREVISTA DE AVALIAÇÃO DE EFICÁCIA COELBA 54
14
ANEXO 55
NBR ISO 10015 – Gestão da qualidade – Diretrizes para treinamento, 30 de maio de 2001 56
1 INTRODUÇÃO
No mundo competitivo atual, as pessoas que integram o quadro funcional das
empresas, seus recursos humanos, representam o ativo intangível mais importante; é o capital
intelectual. Neste contexto, é a qualidade do capital humano que determinará o sucesso de
qualquer negócio. Para tanto, as Organizações precisam investir em pessoas, para assegurar a
vantagem competitiva a longo prazo.
Uma das principais práticas para capacitar as pessoas, diz respeito ao treinamento.
Reconhecendo a importância do treinamento, a International Organization for
Standardization, organismo internacional com sede em Genebra, na Suíça, editou em 1999 a
norma ISO 10015. Esta norma foi editada no Brasil em 2001, pela Associação Brasileira de
Normas Técnicas, a ABNT, e passou a ser conhecida como NBR ISO 10015: Gestão da
qualidade - Diretrizes para treinamento (ANEXO).
A norma ISO 10015 é, portanto, uma norma de Gestão da Qualidade que fornece as
Diretrizes para Treinamento em empresas que se dispõem a certificar seus processos, de
acordo com a NBR ISO 9001:2000, preferencialmente.
15
"Estas diretrizes abrangem o desenvolvimento, implementação, manutenção e melhoria das estratégias e dos métodos de treinamento que afetam a qualidade dos produtos fornecidos por uma organização."( NBR ISO 10015, 2001, p. 3)
De acordo com a norma 10015, não basta treinar, é preciso avaliar o treinamento e
provar que ele é um investimento que proporciona ótimos resultados, orientando para que o
treinamento seja eficiente e eficaz.
É interessante considerar a diferença sutil entre eficácia em treinamento (tendência
atual) e eficiência em treinamento (prática do passado), de acordo com DAVIES (1976, p.7).
A eficácia em treinamento é mais abrangente e significa fazer as coisas certas; produzir
alternativas criativas; otimizar o uso de recursos; compreender os objetivos do aprendizado; e
determinar as necessidades de treinamento, buscando satisfazer o cliente. Enquanto que, a
eficiência em treinamento, significa apenas fazer as coisas de modo certo; resolver problemas;
poupar recursos; cumprir deveres; e baixar os custos de treinamento; enfim, são os
procedimentos.
Para obter eficácia é necessário treinar com qualidade e para encontrar a qualidade é
preciso treinar continuamente. Mas, atualmente, não basta treinar; o treinamento precisa
atingir resultados; precisa, conforme a norma 10015,
“assegurar que o treinamento requerido seja orientado para satisfazer as necessidades da organização.” ."( NBR ISO 10015, 2001, p. 4)
O treinamento realizado atualmente pelas empresas bem-sucedidas é considerado o
melhor investimento, e tem como objetivo maior o desenvolvimento das competências
essenciais e se os resultados foram satisfatórios, como acentua CARVALHO (1988, p. 152):
16
“num programa de treinamento, tanto quanto numa campanha publicitária, o que importa são os resultados. Estes, no treinamento, são medidos em termos de aprendizagem do aluno e, finalmente, em termos de desempenho do empregado.” (CARVALHO, 1988, p. 152)
Nesse sentido, a Cia de Eletricidade do Estado da Bahia (Coelba), fundada em 28 de
março de 1960, com a missão de fornecer energia para a arrancada do desenvolvimento do
Estado, e privatizada no dia 31 de julho de 1997, vem, ao longo dos últimos anos,
promovendo mudanças nos seus processos, implantando novos sistemas comercial e
empresarial e introduzindo novas tecnologias de ponta. Em 2003, implantou uma sistemática
de avaliação de eficácia de treinamento que permite aos executivos, treinandos, instrutores e
analistas de treinamento, verificarem se os objetivos pedagógicos e as qualificações exigidas
foram atingidas e mantidas por longo tempo.
Observamos também se os conhecimentos e habilidades adquiridos, foram
eficazmente aplicados através das atitudes no trabalho, agregando, desta forma, valor para
melhoria do desempenho do profissional, da sua unidade de trabalho e, conseqüentemente da
empresa.
O modelo de avaliação adotado na Coelba utiliza os tradicionais níveis de
aprendizagem propostos por Donald L. Kirkpatrick apud Milioni (2004, p. 182). Este autor é
reconhecido mundialmente como autoridade nesse assunto. Suas propostas são amplamente
utilizadas em diversos ambientes organizacionais, inclusive universidades, e em diferentes
pesquisas.
No “modelo Kirkpatrick”, os níveis de aprendizagem estão divididos em quatro fases
de mensuração, a saber: Avaliação de Reação (satisfação dos participantes); Avaliação da
aprendizagem (conhecimento assimilado); Mudança de Comportamento (aplicação dos
17
conhecimentos adquiridos no posto de trabalho); e Avaliação dos Resultados (impacto do
curso na empresa). Estes níveis de aprendizagem serão abordados no próximo capítulo.
CARVALHO (1988, p.153) afirma que pode-se identificar a avaliação em Recursos
Humanos (RH), como sendo qualquer tentativa no sentido de obter informações
(realimentação) sobre os efeitos de um programa de treinamento, determinando seu valor à
luz dessas informações (indicadores).
Esse conceito envolve a realização de uma pesquisa cuidadosa antes, durante e após o
treinamento. Isso porque, para se determinar à influência do processo de formação sobre o
treinando, é preciso conhecer sua situação antes de ser submetido ao treinamento
propriamente dito.
Vale ressaltar que, esta é outra contribuição do acompanhamento pós-curso: validar o
processo de identificação de necessidades, verificar se os seus resultados foram
adequadamente usados nas fases de planejamento e execução. É importante salientar que
nesse processo, os gestores são os maiores responsáveis na definição de indicadores de
desempenho e na performance dos efeitos creditáveis ao treinamento realizado.
Muitas empresas praticam a Avaliação da Eficácia dos Treinamentos por exigência
dos auditores das entidades certificadoras da Qualidade Total na Série de Normas ISO.
Geralmente, essa avaliação é realizada através do preenchimento de um formulário modelo,
no qual os gerentes ou supervisores imediatos dão parecer sobre o comportamento pós-
treinamento dos empregados.
Desde 2003, a Coelba faz uso dessa prática, que é a última fase do ciclo de
treinamento, por entender a sua importância no que tange ao retorno dos investimentos e no
aprimoramento do processo de Treinamento e Desenvolvimento (T&D), independente da
certificação ISO. Na Coelba a ferramenta utilizada para essa aferição é o sistema de gestão
18
SAP/R3 que dá suporte integrado à gestão de contabilidade, gestão de reservas, recursos
humanos, inclusive treinamento, e ativos fixos.
Assim, a partir dessas reflexões, adotamos como objetivo geral de estudo, analisar o
pós-treinamento (teoria e prática), baseado na norma NBR ISO 10015 e em autores de T&D
pesquisados e, especificamente, verificar quais as dificuldades da equipe gestora da Coelba
em avaliar a eficácia dos treinamentos no período de 2003/2004, utilizando as seguintes
perguntas de pesquisa:
A - Qual o conceito que a equipe gestora da Coelba tem sobre Treinamento?
B – De que forma a equipe gestora participa do processo de treinamento, e qual a sua
atuação, desde o levantamento de necessidades até o planejamento e execução do
treinamento?
C - Qual a relação que os gestores estabelecem entre o objetivo de treinamento e o
resultado final que se deseja?
D - Qual a percepção que a equipe gestora da Coelba tem sobre Avaliação de Eficácia
de Treinamento?
E – Até que ponto os objetivos da Avaliação de Eficácia de Treinamento oferecem
clareza para a equipe gestora?
F – Como a equipe gestora percebe a sua responsabilidade na Avaliação de Eficácia de
Treinamento?
G - Qual a visão dos gestores sobre as dificuldades na Avaliação de Eficácia de
Treinamento?
H - Qual (is) a(s) sugestão(ões) de melhoria do processo de Avaliação de Eficácia de
Treinamento?
19
2
2 REFERENCIAL TEÓRICO
Na contemporaneidade, o treinamento tem merecido especial atenção das empresas.
Avaliar, entretanto, tem sido objeto de muitos questionamentos e dificuldades. O público
organizacional adentra a era da qualidade total sem dar maior ênfase na qualificação, por
não termos a cultura de avaliar. Tem sido costumeiro já no processo escolar, utilizar-se de
exames ao invés da avaliação, o que promove muito mais a exclusão do que a inclusão.
Avaliar vai além do medir, mas, principalmente, negociar e envolve outras questões,
subjetivas, que agregam valores e mudam comportamentos. O como analisar os resultados
desse novo comportamento é que constitui a dificuldade.
Temos hoje um trabalho multidimensional. Então, se faz necessário junto com o
treinamento promover a seguinte reflexão: o que e como medir para a obtenção dos objetivos
empresariais propostos? Obviamente os resultados avaliados pela organização não podem
deparar-se apenas nos benefícios financeiros adquiridos com a melhoria de mão de obra.
A questão do valor humano passou por diversos enfoques no meio empresarial.
Segundo MORGAN (1996, p. 41), as organizações possuíam modelos gerenciais mecanicistas
burocratizados, nos quais, pessoas e cargos se encaixavam num planejamento rígido. Esse
enfoque mecanicista da organização tendia a limitar o desenvolvimento das capacidades
humanas.
Baethge apud REV. FAEEBA (1996.P. 79) refere-se à importância da
instrumentalização, a qualidade do fazer, buscados no conhecimento/ treinamento, como
marca definidora na diferenciação individual. Segundo ela, é determinante no caráter
formador do conteúdo do trabalho sobre o indivíduo, definindo o comportamento humano.
3
As mudanças e novos esquemas de racionalização do trabalho estão voltados à
qualificação do trabalhador, dentro de uma perspectiva educacional e cultural humanista, na
qual a exigência será por competência, nos conhecimentos sobre o produto, processo de
trabalho e suas relações, ou seja, o saber empírico proveniente da experiência direta com o
desenvolvimento tecnológico.
Com efeito, treinar deve ser um ato transformador, portanto político, que deve ser
democrático. Tanto o treinamento quanto a mensuração dos resultados, ainda trilham
caminhos antagônicos ao desenvolvimento empresarial, demandando desta forma novas
buscas e “atalhos” para atingir resultados objetivos.
Para CHIAVENATO (2002, p. 25) as organizações crescem e prosperam, quando
conseguem otimizar o retorno sobre os investimentos de todos os parceiros, principalmente o
dos colaboradores. Para ele, a organização bem-sucedida é aquela na qual as pessoas são
elementos dotados do potencial inerente a gerar valor por meio da aplicação de suas
características humanas intrínsecas.
A verdade é que não é recomendável implementar nenhuma estratégia, nem promover
nenhuma mudança sem o treinamento de pessoas, pois é o que garante equipes capazes de
sustentar um crescimento ordenado e sistematizado das organizações. Por isso, MILIONI
(2004, p. 62) sintetiza:
“Treinamento é mudança de comportamento.” (MILIONI, 2004, p. 62)
ABREU (2003, p. 8) descreve detalhadamente o significado de treinamento e o seu
resultado:
“O Treinamento é a ação sistematizada de educação para a capacitação, o aperfeiçoamento e o desenvolvimento do indivíduo. Como tal, deve ser encarado como troca de experiências e como processo de mudança em
4
direção ao crescimento pessoal, propiciando, conseqüentemente, o desenvolvimento da organização.” (ABREU, 2003, p. 8)
Toda a abordagem descrita até aqui se fez necessária, pois permite uma reflexão e um
entendimento melhor sobre a questão da educação/treinamento, e conseqüentemente do tema
proposto, considerando que o treinamento é uma ação intencional de fornecer meios para
possibilitar a aprendizagem.
A avaliação é parte integrante do processo de aprendizagem. Diversas são as
concepções e entendimentos acerca da avaliação. Alguns autores enfatizam a dimensão da
medida, outros estão mais voltados para o aspecto de julgamento, ou juízo de valor; e há ainda
autores que permeiam as duas dimensões.
LUCKESI (2003, p. 34) diz que:
“o ato de avaliar implica em dois processos articulados e indissociáveis: diagnosticar e decidir.” (LUCKESI, 2003, p. 34)
Por que fazer avaliação? BOOG (1994, p.157) considera que a avaliação é feita
visando basicamente respostas às perguntas: Valeu a pena? Os objetivos de treinamento foram
atingidos? O processo deve continuar? Devemos fazer algumas alterações?
Para HAMBLIN (1978, p. 20), treinamento é um processo que à provoca reações à
que provocam aprendizado à que provoca mudanças de comportamento no cargo à que
provocam mudanças na organização à que provocam mudanças na consecução dos
objetivos finais. Neste processo os níveis de aprendizagem estão divididos em quatro etapas
de mensuração/avaliação: reação, aprendizagem, comportamental e de resultados.
A Avaliação de Reação é de aplicação fácil e documenta, geralmente através de
formulário próprio, o valor percebido pelo treinando logo após o término do curso. Segundo
5
CARVALHO (1988, p.154), as reações constituem o produto da experiência pessoal do aluno.
Por esse motivo, deve acontecer durante o processo de formação.
A Avaliação de Aprendizagem constitui as provas e testes, sejam escritos ou orais, os
quais têm como objetivo medir o conhecimento adquirido pelo aluno, com relação ao que lhe
foi ensinado. CARVALHO (1988, p.155), acrescenta que é no campo desta avaliação que se
fundamenta todo um mundo de aferição educacional com plena aplicação no
treinamento.Afirma, ainda, que o os objetivos da aprendizagem constituem uma combinação
das três áreas de níveis do aprendizado, a saber: conhecimentos, habilidades e atitudes.
Na Avaliação Comportamental, o nível de dificuldade é elevado, em relação às
avaliações de reação e de aprendizagem, porque a mudança de comportamento de uma pessoa
depende muito da sua maior ou menor resistência à mudança. BOOG (1994, p.160) denomina
Avaliação de Comportamento ou resultado intermediário e faz considerações importantes:
“Em primeiro lugar esta avaliação nem sempre pode ser imediata – é necessário algum tempo para que mudanças de comportamento possam ser observadas. Não é incomum encontrarmos casos de pessoas que avaliam muito positivamente o treinamento (reação) que demonstram que aprenderam (aprendizagem), mas não alteraram seu comportamento na situação de trabalho. Convém lembrar que, para haver mudança de comportamento são necessárias outras variáveis além do treinamento: o participante precisa reconhecer suas limitações e querer efetivamente mudar; precisa de apoio e orientação para a mudança; deve ter um clima permissivo que permita a experimentação de novos comportamentos. ” BOOG (1994, p.160)
A Avaliação de Resultados procura medir a redução de custos, o aumento da
produtividade e outras melhorias de desempenho. Esta avaliação é desafiante, pois é
complexo demonstrar que o treinamento foi a única causa de melhoria nos resultados.
ABREU (2003, p.52) assegura que a avaliação de resultados é ao mesmo tempo de
verificação de até que ponto os investimentos feitos estão retornando para a organização.
Além disso, admite que neste modelo de avaliação podem ser considerados os seguintes tipos
6
ou focos de interesses: alcance de objetivos, satisfação das necessidades, aplicação das novas
competências, e retorno do investimento.
Nas teorias dos autores pesquisados, existe uma concordância quanto à importância da
avaliação da eficácia de treinamentos. BOOG (1994, p.157) confirma essa importância
oferecendo cinco razões para a sua utilização: 1) provar que o treinamento não foi em vão; 2)
predizer os resultados de investimentos de treinamento; 3) aperfeiçoar o processo de
treinamento; 4) vender o treinamento ao cliente (gestores, empregados etc); e 5) provar que a
relação custo/benefício é vantajosa.
Segundo RUMMLER (1994, p. 227),
“na maior parte das organizações, o treinamento é um investimento que pode ser avaliado mais do que os gerentes seniores acreditam. Eles conhecem o orçamento do Departamento de Desenvolvimento de Recursos Humanos. Entretanto, o investimento total no treinamento, que inclui salários dos participantes, é menos visível e seria uma surpresa para muitos executivos. Mais significativo é o fato de que um número ainda menor deles conhece o retorno daquele investimento. O treinamento deve ser tratado como outros investimentos.” (RUMMLER, 1994, p. 227)
Em T&D a avaliação constitui o último passo do processo de treinamento. É o
momento em que se verifica se os objetivos finais foram atingidos, conforme afirma
CHIAVENATO (2002, p. 515),
“A etapa final do processo de treinamento é a avaliação dos resultados obtidos. O programa de treinamento deve ter uma avaliação de sua eficiência. A avaliação deve considerar dois aspectos: 1 – Verificar se o treinamento produziu as modificações desejadas no comportamento dos empregados; e 2 – Verificar se os resultados do treinamento apresentam relação com o alcance das metas da empresa.” (CHIAVENATO, 2002, p. 515)
Essas verificações, inicialmente, podem ser realizadas a partir de respostas às
perguntas que avaliam o aprendizado aplicado ao trabalho e os impactos: a) os participantes
aplicaram o que aprenderam no seu posto trabalho?; b) os novos comportamentos são
7
perceptíveis na sua rotina de trabalho?. Quanto ao retorno do investimento: a) esta aplicação
produziu resultados mensuráveis?; b) o valor monetário dos resultados excedeu o custo do
programa?
Milioni apud ABREU (2003, p. 32) conceitua avaliar e validar:
“Segundo Milioni (2001), avaliar significa submeter algo a um processo de análise normalmente determinado por parâmetros concretos ou referenciais, enquanto validar é reconhecer o valor esperado do objeto da análise efetuada, comparando a situação identificada após uma ação de modificação do comportamento do público-alvo, aos fatos que levaram à realização do treinamento, a que se denomina, geralmente, de carência.”(ABREU, 2003, p. 32)
BOOG (1994, P.159) relaciona validação à eficiência do treinamento (quão bem
utilizados são os recursos de treinamento) e avaliação à eficácia do treinamento (em que
medida são alcançados os objetivos finais do treinamento).
Ainda segundo MILIONI (2004, p155),
“Temos diante de nós um grande desafio, muitas vezes renovado em eventos da área de Recursos Humanos, mas que não tem sido enfrentado na proporção da sua importância, perpetuando-se a lacuna no processo de T&D: a avaliação dos resultados. O desafio está em partir do discurso para a ação objetiva, encontrando soluções práticas e integrá-las à rotina de operação dos programas de treinamento.” (MILIONI, 2004, p. 155)
Sendo assim, a prática de avaliar a eficácia dos treinamentos deve ser priorizada pelas
organizações, para que se torne uma realidade sustentável, por se tratar de um indicador
extremamente importante vinculado aos resultados produzidos, uma vez que elimina as falhas
e oferece mais em termos reais. A base da avaliação de qualquer curso é o diagnóstico das
necessidades de treinamento e os objetivos. Estes, quando bem claros e definidos, contribuem
significativamente para que o resultado do treinamento seja eficaz. Logo, gerenciar
treinamento implica em saber avaliá-lo corretamente.
8
A questão é que avaliar a eficácia dos treinamentos não é tarefa simples, nem fácil.
Nisso é interessante relevar o fato de que a avaliação de resultados foi, por muito tempo, um
pequeno detalhe esquecido no RH brasileiro. MILIONI (2004, p. 147), num breve histórico,
explica o porquê dessa omissão:
“A cultura de gestão de RH no Brasil não concedeu o devido espaço para as práticas de avaliação de resultados dos investimentos em T&D. Isso, dentre outras razões menores, porque cultura resultante da Lei 6.297 – de 15 de dezembro de 1975, revogada pelo Plano Collor em março de 1990, que incentivava investimentos em projetos de formação profissional, permitindo sua dedução em dobro no imposto de renda devido -, não enfatizava a ênfase em resultados. Projetos de execução complexa e muito dinheiro envolvido, tudo isso combinado com a falta de tempo para as fases de acompanhamento pós-treinamento, desviaram a atenção de toda uma geração de profissionais de T&D no Brasil – exatamente a que implantava a cultura de T&D no Brasil – para muitos números de execução e não para os devidos números de resultados.” (MILIONI, 2004, p. 147)
Muitas empresas, por desconhecimento e/ou por comodidade e/ou por não
distinguirem os tipos de avaliações finais (reação e eficácia) e/ou, ainda, por não serem
exigidas para a certificação ISO, utilizavam a “Avaliação de Reação” ao final do curso como
forma de avaliar a eficácia do treinamento (várias empresas ainda a utilizam). Embora seja um
indicador clássico da gestão de T&D importante no processo final, a avaliação de reação é
insuficiente para fornecer um quadro completo sobre a repercussão dos cursos no desempenho
das atividades profissionais dos treinandos, uma vez que ela apenas coleta as impressões
gerais, imediatas e superficiais sobre o treinamento (conteúdo, instrutores, método
pedagógico, instalações, coordenação de T&D etc). É a primeira medida, sob o ponto de vista
do treinando.
Por tudo isso, avaliar a eficácia dos treinamentos, atualmente, é um assunto bastante
polêmico nas empresas, por se tratar de uma grande necessidade e, ao mesmo tempo, de uma
grande dificuldade, principalmente pelos gerentes (avaliadores), por envolver o subjetivo, o
9
intangível e o abstrato. Isso é bem retratado neste novo cenário de competitividade, onde as
empresas buscam a certificação ISO 9000.
A norma ISO 10015 declara ser essencial realizar uma gestão global da competência e
avaliar a eficácia do treinamento. Isto porque:
“Para selecionar e implementar o treinamento que objetiva reduzir as lacunas entre as competências requeridas e as existentes, recomenda-se que a gerência monitore os seguintes estágios: a) definição das necessidades de treinamento; b) projeto e planejamento do treinamento; c) execução do treinamento; d) avaliação dos resultados do treinamento.” (NBR ISO 10015, 2001, p. 3).
O esquema abaixo mostra o ciclo do treinamento, de forma simplificada, confirmando
que a avaliação dos resultados de treinamento é um processo e não uma técnica isolada.
Observa-se que um erro ou um planejamento mal feito numa dessas etapas, interfere
sistematicamente nas etapas subseqüentes, porque elas interagem entre si, tendo em vista um
resultado previsível e controlável, segundo (ABREU, 2003, p. 13). Ou seja, a saída de um
estágio alimenta a entrada do estágio seguinte:
10
Figura 01 - Ciclo do Treinamento
Fonte: adaptada de ABREU (2003, p. 13)
A avaliação final do treinamento é um poderoso instrumento de aprimoramento do
processo de T&D e a mais complexa do ciclo. Por isso, deve merecer, pelos gerentes /
gestores, os mesmos cuidados que cercam a elaboração dos programas de desenvolvimento de
recursos humanos. Dessa forma, avaliar o treinamento envolve, principalmente, a verificação
se, de fato, a aprendizagem de novos conhecimentos implica em modificação comportamental
do treinando no seu posto de trabalho; e a análise desse novo comportamento adquirido pelo
treinando, observando se está alinhado com a consecução das metas da empresa.
A nitidez na definição das responsabilidades de cada parte envolvida no processo é
outro fator fundamental para o alcance da eficácia dos treinamentos, assim como, o
comprometimento de todos na construção do projeto. È recomendável que o gestor, de
qualquer área da empresa, seja também um gestor de recursos humanos, uma vez que ele é o
responsável pelo desenvolvimento da sua equipe de trabalho, e não tarefa apenas do setor de
1
Necessidades de Treinamento a serem
satisfeitas
2
Desenho do programa de Treinamento
4
Avaliação dos Resultados de Treinamento
3
Aplicação do programa de Treinamento
11
RH. Todos os facilitadores (aqueles que direta ou indiretamente são responsáveis pelo
desenvolvimento dos programas de treinamento) devem entender que qualquer curso deve,
obrigatoriamente, trazer resultados para a organização, aumentando a sua produtividade,
diminuindo custos e promovendo melhorias, de acordo com os objetivos estratégicos do
negócio e com a política de treinamento vigente. O gestor de RH deve atuar como consultor,
auxiliando e orientando os gestores da empresa durante todo o ciclo do treinamento e otimizar
os recursos disponíveis para que o curso aconteça. Os treinandos, por sua vez, podem e devem
participar do processo de desenvolvimento profissional, do início ao fim, inclusive dando e
recebendo feedback sobre os cursos que participam. Portanto, é competência de todos
(gestores, treinandos e profissionais de RH) a realização do procedimento de avaliação dos
resultados de treinamento.
Finalmente, MILIONI (2004, p. 151), de forma generalizada e pragmática, resume a
questão de avaliar os resultados dos investimentos em T&D:
“Mistifica-se demais a questão! Muitos discursos e lamentações são ouvidos, certamente como uma espécie de desculpa para “o que não fiz e nem quis tentar fazer”. Em encontros de profissionais da área, nos eventos como congressos e outros, até que cabem a discussão e as lamúrias, mas, em se tratando da realidade empresarial dos tempos atuais, a questão é uma só: avaliar os resultados dos investimentos em T&D é um imperativo ao qual ninguém pode negar o devido provimento! O que importa, realmente, é fazer o que tem de ser feito: um processo de Treinamento e Desenvolvimento bem elaborado, implementado, avaliado e validado. O resto é pura perda de tempo!” MILIONI (2004, p. 151)
Treinamento não pode mais ser visto como despesa. Treinamento é investimento, e
como tal, deve ter como objetivo um retorno previsto. Este retorno precisa ser medido e
comparado com indicadores de performance. A maior recompensa da avaliação é poder
documentar o benefício obtido pelo cliente por aquilo que investiu em treinamento.
Portanto, é por certo dizer que a Avaliação da Eficácia de Treinamento consiste no
conjunto de atividades desenvolvidas visando identificar até que ponto as necessidades de
12
treinamento foram satisfeitas, se os objetivos foram atingidos, quais os impactos nos
resultados da empresa com as mudanças e com os valores agregados à empresa e aos egressos
dos cursos.
3 METODOLOGIA
3.1 Tipo de Estudo
13
Este estudo desenvolveu-se através de pesquisa exploratória de abordagem quanti-
qualitativa, com a finalidade de identificar, através da aplicação de questionários e entrevistas,
quais as dificuldades da equipe gestora da Coelba em avaliar a eficácia dos treinamentos no
período de 2003/2004.
3.2 Local da Pesquisa
O local do estudo foi a Coelba - Cia de Eletricidade do Estado da Bahia sito a Avenida
Edgard Santos, 300 - Narandiba, Salvador – Bahia. Trata-se de uma empresa concessionária
de energia que está presente em todos os recantos do Estado, contribuindo para o
desenvolvimento social e econômico da Bahia.
MISSÃO
"Ser a Energia e a Luz da Bahia" (Coelba, 2003)
VISÃO
"Rentabilizar a Coelba acima da referência Aneel, no ciclo tarifário
2003/2008, e atender as expectativas da sociedade"(Coelba, 2003)
3.3 População / Amostra
14
A população desta pesquisa foi constituída por 42 membros da equipe gestora da
Coelba, que utilizaram o Sistema de Avaliação de Eficácia implantado no ano de 2003. Aqui
denominados PESQ.
Este estudo desenvolveu-se com a utilização de uma amostragem censitária da
população. Sendo que apenas 23 membros da equipe gestora que utilizaram o Sistema de
Avaliação de Eficácia no ano 2003 responderam ao questionário, perfazendo um total de
54,7% da população.
Fizemos uma amostragem piloto aplicando 7 questionários, perfazendo 16,6% da
população.
Foram realizadas também, 5 entrevistas com os pesquisados que se identificaram e se
dispuseram a submeter-se a ela, perfazendo 11,9% da população. Aqui denominados ENTR.
3.4 Teste Piloto
O teste piloto foi realizado em fevereiro/2005. Elaboramos um questionário e
distribuímos para 07 pessoas da população, a fim de analisar e validar a eficiência do mesmo.
Em função desta análise, ajustamos algumas questões para obtermos resultados que melhor
retratassem nossa pesquisa, evidenciando melhor a dificuldade dos gestores em avaliar a
eficácia dos treinamentos.
3.5 Procedimentos
15
Os procedimentos para realização da coleta de dados foram a aplicação junto a equipe
gestora da Coelba de questionário com perguntas fechadas e uma pergunta aberta. Após sua
aplicação, sentimos necessidade de complementar as respostas com entrevistas, para melhor
entender alguns resultados encontrados no questionário, e as dificuldades existentes em
realizar a avaliação de eficácia dos treinamentos.
O trabalho de coleta desenvolveu-se pelos pesquisadores no mês de fevereiro de 2005,
através de questionários enviados via correio eletrônico da empresa, com uma carta de
apresentação e aplicados aos 42 membros da equipe gestora da Coelba, cuja tabulação foi
realizada através do software Excel .
Retornamos à empresa no mês de abril para fazermos as entrevistas, as quais
ocorreram nas dependências da empresa, com 5 membros da equipe gestora que haviam se
identificado quando responderam ao questionário.
3.6 Tratamento e Análise dos Dados
Aplicamos o questionário e, de posse do resultado final, tratamos estatisticamente as
respostas fechadas e categorizamos as respostas da questão aberta, dando tratamento
qualitativo aos textos que definiriam melhor o resultado da pesquisa, analisando-os e
comentando-os. Após a análise desses dados, realizamos algumas entrevistas centradas nos
pontos que mereceram aprofundamento e/ou exploração. As respostas colhidas nas entrevistas
contribuíram qualitativamente na nossa análise, dirimindo dúvidas sobre alguns pontos, o que
enriqueceu sobremaneira nossa pesquisa.
16
4 APRESENTAÇÃO E ANÁLISE DE RESULTADOS
Para subsidiar a análise do resultado da pesquisa, por acreditamos numa interferência
direta ou indireta nas respostas, identificamos o perfil da população alvo através das variáveis:
17
sexo, idade e escolaridade, tempo de trabalho na empresa, tempo na função de gestor, os quais
são mostrados percentualmente nos gráficos a seguir.
Gráfico 1 - Sexo
91%
9%
Masculino
Feminino
Fonte: Pesquisa de Campo
O sexo masculino é maioria no universo pesquisado, refletindo a atividade fim da
empresa eminentemente técnica.
Gráfico 2 – Idade
4%13%
66%
17%
18 a 30 anos31 a 40 anos41 a 50 anosAcima de 50 anos
18
Fonte: Pesquisa de Campo
A faixa etária representativa é de 41 a 50 anos (66%), além de 17% estar acima de 50
anos perfazendo um total de 83% acima de 40 anos, evidenciando que se leva muito tempo
para formar um executivo, pois alia-se a parte técnica à gerencial.
Gráfico 3 - Escolaridade
Fonte: Pesquisa de Campo
O nível de escolar idade é bastante e levado, 96% tem graduação completa , a tendendo à
exigência da empresa para exercer o cargo de gestor . Dentre estes , 52% possuem pós -
graduação, que demonst ra vontade de cresc imento e desenvolv imento par t icu lar e prof i ss ional .
Gráfico 4 - Tempo de Trabalho na Empresa
17%
75%
4 %
0 %4%
Até 5 anos6 a 10 anos11 a 15 anos16 a 20 anosMais de 20 anos
44%
4%26%
13%
4%9%
Graduação completa
Graduação incompleta
Pós graduação completa
Pós graduaçãoincompletaDoutoura/mestradocompletoDoutoura/mestradoincompleto
19
Fonte: Pesquisa de Campo
Observamos que a maioria dos gestores, 75%, possui mais de 20 anos de empresa,
retratando conhecimento da estrutura organizacional e tecnológica da empresa.
Gráfico 5 - Tempo de Trabalho como Gestor
Fonte: Pesquisa de Campo
Quanto ao tempo de trabalho no cargo de gestor, observamos que 56% dos
pesquisados ocupam este cargo a menos de 10 anos, o que equilibra com os 44% restante que
têm mais de 10 anos no cargo.
As questões de pesquisa seguintes foram subdivididas, conforme relacionadas nos
quadros abaixo, com o objetivo de verificar o porquê da dificuldade dos gestores da Coelba
em aplicar a avaliação de eficácia dos treinamentos. Os resultados foram analisados em
termos percentuais, como mostraremos a seguir.
4.1 Questão de Pesquisa A - Qual o conceito que a equipe gestora da Coelba tem sobre
Treinamento?
30%
26%9%
26%
9%
Até 5 anos6 a 10 anos11 a 15 anos16 a 20 anosMais de 20 anos
20
Nesta primeira questão, solicitamos que enumerassem de 1 a 8, em ordem crescente
de importância, as definições de treinamento, onde 1 seria o mais importante, e 8 o menos
importante.
Dos 23 questionários respondidos, consideramos 20 respostas enumeradas
corretamente e obtivemos o resultado abaixo, fazendo uma média ponderada das respostas em
relação à seqüência enunciada.
Gráfico 6 - Como você define o Treinamento:
21
Fonte: Pesquisa de Campo
Esta questão trata da concepção e da importância de Treinamento para os gestores,
onde se destacaram os três primeiros itens. Segundo a entrevista realizada, a Coelba tem
focado muito no Planejamento Estratégico que direciona todas as ações, inclusive
treinamento, garantindo seu crescimento e dos seus empregados (ENTR 1). Os três itens
seguintes obtiveram percentuais muito próximos, denotando serem de grau de importância
semelhantes, e fazendo parte do conhecimento tradicional do que significa treinamento.
Quanto ao item Investimento, ainda não totalmente compreendido, conforme mencionado em
nosso referencial teórico, necessitamos buscar nas entrevistas compreender o seu
2,552,59
2,88
4,00
4,574,66
5,17
7,70
Uma ferramentaadministrativa conectadacom o planejamentoestratégico da empresa.
Essencial para odesenvolvimentoorganizacional.
Garantia de equipescapazes de sustentar umcrescimento ordenado esistematizado daempresa.Uma motivação para oempregado.
Provocador de mudançasna empresa.
Parte da educaçãocontinuada.
Um investimento
Uma estratégia de RH.
22
posicionamento junto aos demais. Segundo os entrevistados, este item é muito importante e
sua localização reflete a dificuldade real de todos em mensurar, valorar mesmo o
conhecimento, como disse um entrevistado:
“é muito difícil transformar em dinheiro, dar valor mesmo, ao conhecimento adquirido, repassado nas empresas em geral.”(ENTR 5)
4.2 Questão de Pesquisa B – De que forma a equipe gestora participa do processo de
treinamento, e qual a sua atuação desde o levantamento das necessidades até o
planejamento e execução do treinamento?
Utilizamos para esta e às próximas questões fechadas a escala abaixo, nas quais
solicitamos que os gestores indicassem o seu grau de concordância/discordância:
1 2 3 4 5 Discordo totalmente Discordo em parte Não tenho opinião Concordo em parte Concordo totalmente
Quadro 01
%
Quanto ao processo de treinamento na Coelba: 1 2 3 4 5
Conheço o processo desde o levantamento, até o planejamento e a execução
13 9 9 56 13
A Coelba possui uma política de T&D amplamente difundida e clara.
4 17 30 49 0
23
È prática consolidada de nós gestores, participar e acompanhar os processos de treinamento, junto ao RH, do começo ao fim.
13 17 0 61 9
É imprescindível que na fase de planejamento do treinamento, nós e o RH, discutamos com clareza os objetivos, as ações e os papéis de cada um dos envolvidos.
4 4 0 13 79
Todo o processo de treinamento é de responsabilidade do RH.
39 22 0 35 4
A minha participação no processo de treinamento, do início ao fim, precisa ser mais enérgica.
9 9 22 43 17
A importância da Avaliação de Eficácia de Treinamento é internalizada pela Coelba.
4 13 22 48 13
Fonte: Pesquisa de Campo
Conforme o item 4 do Quadro 01, “É imprescindível que na fase de planejamento do
treinamento, nós e o RH, discutamos com clareza os objetivos, as ações e os papéis de cada
um dos envolvidos”, concordar totalmente é uma condição sine qua non na construção de
indicadores e conseqüentemente na garantia de um treinamento eficaz.
Percebemos que os gestores concordam em parte com os demais itens e este resultado
retrata que os gestores não detêm todo o conhecimentos do processo e política de T&D na
Coelba, enfatizando a importância da sua participação e da Avaliação de Eficácia, a que, é a
fase final desse processo.
No item 5 do Quadro 01, “Todo o processo de treinamento é de responsabilidade do
RH”, 39% dos pesquisados discordam e 35% concordam. Nas entrevistas sobre este assunto,
os gestores se colocam responsáveis pelo processo, confirmando o item. Contudo,
observamos que falta clareza sobre o papel dos gestores no processo de Treinamento,
conforme citação de um dos entrevistados, a seguir.
”Ser responsável só não basta, precisa conhecer e interferir” (ENTR 4)
24
4.3 Questão de Pesquisa C - Qual a relação que os gestores estabelecem entre o objetivo
de treinamento e o resultado final que se deseja?
Quadro 02 %
10. Quanto ao resultado do processo de Treinamento na Coelba, você considera que:
1 2 3 4 5
Ao final dos treinamentos, os objetivos são sempre alcançados.
0 13 9 74 4
Após um treinamento, os empregados retornam ao posto de trabalho com expressiva melhoria no seu desempenho.
0 9 0 78 13
Os objetivos de treinamento estão sempre alinhados com o resultado que se deseja obter.
0 17 4 48 31
Antes do treinamento os empregados são esclarecidos quanto ao que se espera deles após o treinamento.
9 43 0 35 13
Fonte: Pesquisa de Campo
Verificamos que o problema que pode causar impacto no resultado do processo de
treinamento, é que os treinandos não são envolvidos adequadamente na fase inicial do projeto,
antes do curso. Isto causa falta de motivação dos participantes, gerando entraves para o
processo, segundo ABREU (2003, p. 38). Nas entrevistas, os gestores revelaram que é
importante o envolvimento, e que muitas vezes, são os próprios empregados que buscam os
treinamentos, tornando o trabalho dos gestores mais tranqüilo, pois gerenciará basicamente as
prioridades do setor.
4.4 Questão de Pesquisa D - Qual a percepção que a equipe gestora da Coelba tem sobre
Avaliação de Eficácia e Treinamento?
Quadro 03
%
11. Qual a sua percepção sobre Avaliação de Eficácia de Treinamento na Coelba? 1 2 3 4 5
É dispensável. 52 22 4 13 9
É um processo burocrático. 35 35 13 17 0
É um poderoso instrumento de aprimoramento do processo de T&D. 7 7 7 64 14
25
É uma das etapas do processo de T&D. 0 0 9 39 52
É uma exigência para certificação da norma ISO. 0 13 61 17 9
É uma realidade que precisa ser priorizada. 0 13 13 35 39
Fonte: Pesquisa de Campo
A Avaliação de Eficácia de Treinamento é considerada indispensável, um pode roso
instrumento de T&D e reconhecem que precisam priorizar este processo e, inclusive, não
consideram um processo burocrático. Com relação à certificação pela norma ISO, 61%
afirmam não terem opinião. Esse resultado é proveniente ao fato da Coelba não estar
buscando a certificação na maioria de suas áreas, refletindo assim o desconhecimento por
parte dos gestores, conforme comprovado nas entrevistas realizadas.
4.5 Questão de Pesquisa E – Até que ponto os objetivos da Avaliação de Eficácia de
Treinamento oferecem clareza para a equipe gestora?
Quadro 04
%
12. A Avaliação de Eficácia de Treinamento da Coelba permite verificar: 1 2 3 4 5
Os indicadores dos objetivos de treinamento são bem definidos. 0 22 30 26 22 O foco dos treinamentos têm impacto nos resultados da empresa. 0 4 4 61 31 Os programas de treinamento oferecem clareza quanto aos objetivos que pretendem alcançar. 0 9 17 57 17
Fonte: Pesquisa de Campo
Observamos um resultado relevante: 30% dos gestores não têm opinião sobre a
clareza na definição dos indicadores dos objetivos de treinamento. Podemos até antever, a
partir deste resultado, uma das dificuldades na Avaliação de Eficácia de Treinamento,
considerando que os objetivos são a base para qualquer planejamento e que sem este
indicador é complicado mensurar os resultados de treinamento.
Nos demais itens, nos quais os gestores concordam em parte, sobre a questão da
Avaliação de Eficácia de Treinamento permitir a verificação do impacto que os treinamentos
26
causam nos resultados da empresa e, se os programas de treinamento oferecem clareza quanto
aos objetivos que pretendem alcançar, o resultado ainda é tímido e perpassa a discussão do
parágrafo anterior no sentido de desconhecer a definição dos indicadores dos objetivos de
treinamento. Nas entrevistas, a definição de indicador de objetivo de treinamento é medir,
mensurar o que se espera deste, porém aí está a dificuldade, conforme o questionamento do
entrevistado abaixo:
“Como medir, se não sei e nunca participei da elaboração de indicadores dos objetivos de treinamento?”(ENTR 3)
4.6 Questão de Pesquisa F – Como a equipe gestora percebe a sua responsabilidade na
Avaliação de Eficácia de Treinamento?
Quadro 05
%
13. Minha participação na Avaliação de Eficácia de Treinamento da Coelba: 1 2 3 4 5
Fui orientado e preparado para a prática de avaliar a eficácia dos treinamentos. 17 48 4 31 0
Avaliar resultados de treinamento é tarefa do RH. 26 52 9 13 0 Sinto-me totalmente envolvido no processo de T&D. 4 44 17 35 0
Sinto-me responsável na Avaliação de Eficácia de Treinamento. 0 13 0 65 22
Sinto-me responsável nos resultados, negativo ou positivo, da Avaliação de Eficácia de Treinamento, sugerindo o devido tratamento.
0 9 13 65 13
Fonte: Pesquisa de Campo
Outro ponto relevante a ser considerado, no resultado do Quadro 05, e que podemos
também antever como mais uma dificuldade dos gestores da Coelba para avaliar a eficácia
dos treinamentos é que discordam em parte: 48% que foram preparados e orientados para
essa prática, 44% que se sentem totalmente envolvidos no processo de T&D e, ainda, 52%
que avaliar os resultados do treinamento é tarefa do setor de RH (novamente aqui a confusão
dos papéis e das responsabilidades). No entanto, 65% concordam em parte quanto a sua
responsabilidade na Avaliação de Eficácia de Treinamento e os seus reflexos nos resultados
da empresa, inclusive sugerindo o devido tratamento no caso de resultado negativo, o que foi
27
confirmado nas entrevistas. Porém, segundo eles, a dificuldade é trabalhar com os resultados
apresentados no processo.
4.7 Questão de Pesquisa G - Qual a visão dos gestores sobre as dificuldades na Avaliação
de Eficácia de Treinamento?
Quadro 06
%
14. Avaliar a Eficácia de Treinamento na Coelba: 1 2 3 4 5
Requer muito tempo. 17 26 22 35 0 Os instrumentos são eficientes. 4 22 17 57 0 É tarefa simples. 4 17 13 53 13 Existe apoio necessário para sua realização. 0 35 13 43 9
Fonte: Pesquisa de Campo
Os gestores concordam em parte: 35% que avaliar requer muito tempo, resultado este
já esperado, 57% que os instrumentos são eficientes e 43% que existe apoio necessário para a
sua realização. Segundo os entrevistados, eles necessitam realmente deste apoio, não só na
ferramenta (sistema, logística etc), mas, principalmente no processo.
O resultado que nos impressiona é o fato de 53% dos gestores concordarem em parte
que é tarefa simples avaliar a eficácia dos treinamentos. As referências de T&D admitem não
ser tarefa simples nem tampouco fácil, até mesmo por uma questão cultural, conforme
MILIONI (2004, p.147).
Todavia, este resultado reflete uma confusão entre a ferramenta utilizada pela Coelba
para fazer a avaliação de eficácia e o processo em si de avaliar os treinamentos, o que foi
confirmado nas entrevistas, onde declaram que, embora a ferramenta seja simples, necessitam
de mais apoio em todo o processo.
28
4.8 Questão de Pesquisa H - Qual (is) a(s) sugestão(ões) de melhoria do processo de
Avaliação de Eficácia de Treinamento?
Dos 23 questionários respondidos, 11 preencheram as questões abertas. As sugestões
estão em concordância com os resultados obtidos nas questões fechadas e muitas merecedoras
de reflexão para o aprimoramento do processo de Avaliação de Eficácia de Treinamento,
agrupadas e analisadas por tema.
Com relação ao prazo que o sistema de Avaliação de Eficácia da Coelba determina
aos gestores para a avaliação, 30 ou 60 dias a depender da área de treinamento, eles sugerem
uma maior elasticidade de acordo com a especificidade do treinamento.
“Apuração com 3, 6, 9, 12, 18 e 24 meses e não apenas uma vez”(PESQ 5)
“Promover reuniões conjuntas entre o avaliado, sua chefia imediata e o avaliador pelo RH, em intervalos de 30, 90 e 180 dias para consolidação do resultado de melhoria no trabalho, efetivamente realizado pelo empregado”(PESQ 6)
“É um processo importante e que deve ser realizado de acordo com os períodos adequados de avaliação e planejamento”(PESQ 13)
“Muitas vezes os cursos irão ter reflexos mais adiante. Uma avaliação logo após a realização do curso algumas vezes se torna inócua. A avaliação deveria ocorrer um ano depois do curso para alguns casos. Entendo que somente o gestor poderá definir o tempo certo para uma avaliação. Portanto, acho que o RH deveria consultar os gestores a respeito, antes de definir um prazo específico”(PESQ 17)
“O prazo da avaliação de eficácia deve ser maior para o caso de alguns tipos de treinamento . Nestes casos, ocorre do treinamento só fornecer um embasamento teórico com uma prática mínima , e poucos meses podem ser insuficientes para que o treinando demonstre os bons resultados”(PESQ 23)
Atualmente o sistema de Avaliação de Eficácia da Coelba contempla apenas os
gestores como avaliadores, observamos, entretanto, que os coordenadores são os que mais
próximos estão dos avaliados, conforme observação dos gestores.
“Envolvimento dos gestores e dos treinandos (dentro do possível) no programa do curso”(PESQ 5)
29
“Na avaliação de um colaborador procurar envolver as pessoas mais próximas possíveis do avaliado”(PESQ 6)
“Participação mais efetiva de Gestores e Coordenadores na elaboração dos cursos (antes do diagnóstico de necessidade de treinamento) ”(PESQ 19)
O retorno dos resultados das avaliações com ações de melhoria contínua do processo
de treinamento agregados a estes resultados, devem ser cada vez mais acompanhados pelos
gestores.
“Precisamos melhorar o feedback aos gestores do desempenho do empregado treinado”(PESQ 15)
“Utilizar ferramenta similar ao acompanhamento de novos empregados, pesquisando o que foi agregado resultado das tarefas após a realização do curso”(PESQ 15)
“Tornar a avaliação de eficácia menos virtual, talvez com a inserção de acompanhamento do empregado, através de profissional de RH, por um determinado período no ambiente de trabalho para avaliação da utilização da nova ferramenta”(PESQ 19)
Atualmente na Coelba, estão sendo rediscutidos os papéis do setor de RH e dos
gestores da empresa, redimensionando sua atuação, partindo do pressuposto recomendável de
que todo gestor é um gestor de pessoas, vejamos a observação de um pesquisado:
“A idéia é que o RH deve interferir mais eficazmente no que a organização espera dos seus executivos. Treinar só não basta, as expectativas devem ser no mínimo atendidas”(PESQ 8)
Divulgar novamente junto aos gestores o processo e o sistema de treinamento
existente, como forma de conscientização, mostrando a sua importância nos resultados da
empresa.
“Definição prévia dos instrumentos, da forma e conteúdo a ser avaliado”(PESQ 5)
“Priorizar os aspectos técnicos, pois atualmente apenas os aspectos comportamentais tem sido considerados de importância”(PESQ 5)
30
“Não tenho uma opinião formada a respeito do processo mas, sugerimos uma apresentação de todo o processo para os gestores e, junto à apresentação fazermos uma discussão coletiva”(PESQ 9)
“Promover divulgação ampla, geral e irrestrita sobre o processo de T&D com TODOS os empregados da Empresa”(PESQ 19)
“Criar um sistema para inclusão e consulta via intranet”(PESQ 21)
Na avaliação de eficácia dos treinamentos a importância dos indicadores de
desempenho e resultados pós treinamento são fundamentais para que resultem em valores de
investimento e de benefícios nos cursos. Os gestores devem participar da criação dos
indicadores, para que obtenhamos o êxito quanto aos resultados esperados.
O resultado colhido nos questionários e nas entrevistas nos remete a ABREU (2003, p.
51) que acredita que uma das maiores dificuldades da avaliação de eficácia é o fato de ainda
não desenvolvermos os necessários hábitos de pesquisa, de trabalhar com dados e
informações a favor dos processos organizacionais, inclusive treinamento.
5 CONCLUSÃO E RECOMENDAÇÕES
Hoje, na era da Gestão por Competência e da Gestão do Conhecimento, a chave para
manter uma empresa lucrativa ou com uma economia saudável é a produtividade da força de
trabalho aliada à capacitação e ao desenvolvimento das pessoas. Dessa forma, o treinamento é
um forte diferencial competitivo e configura-se como a sustentação das habilidades requeridas
pelo esforço de produção da empresa. Por conseguinte, para uma empresa se firmar
competitivamente no mercado globalizado, precisa treinar constantemente seus colaboradores
e abortar a teoria antiquada de que treinamento é despesa, é custo, e considerá-lo como um
investimento, como um negócio.
31
Sendo assim, como qualquer outro investimento empresarial, deve haver um retorno
dos valores investidos e conseqüentemente dos seus impactos nos resultados da empresa, isto
é, se os seus objetivos foram alcançados. No que tange a treinamento, esse retorno é realizado
através do procedimento estratégico da Avaliação da Eficácia dos Treinamentos, ou
Avaliação dos Resultados de Treinamentos. Vale ressaltar, que essa Avaliação é um
imperativo nos dias atuais, embora seja uma questão antiga, por se tratar de uma exigência da
Norma ISO 10015 para as organizações que anseiam obter a certificação ISO da Qualidade.
“Eficiência em treinamento” é um termo limitado do passado. Atualmente, a expressão
usada é “Eficácia em treinamento” que vai além da eficiência em treinamento, ou seja, é a
satisfação plena do cliente. Para tanto, é imprescindível a sinergia grupal de todos os
envolvidos no processo de T&D durante as 4 fases do ciclo de treinamento conforme ABREU
(2003, p. 13).
Avaliar a eficácia dos treinamentos não é tarefa simples, nem fácil, por ser um
problema cultural da gestão de RH. Durante muitos anos, não foi dada a devida relevância a
essa prática, assim como, na prospecção dos diversos indicadores que permeiam o processo de
treinamento do início ao fim, indicadores de carência, indicadores de resultado, dentre muitos
outros. Este fato tem gerado polêmica nas organizações, por se tratar de uma necessidade e,
ao mesmo tempo, de uma dificuldade, principalmente da parte dos superiores hierárquicos
(avaliadores) que não foram capacitados para a realização dessa atividade e nem
conscientizados quanto à importância da mesma nos resultados organizacionais, evidenciando
inclusive nos resultados de nossa pesquisa.
Apresentamos neste trabalho um estudo do pós-treinamento, dando ênfase a Avaliação
de Eficácia dos Treinamentos, por meio de pesquisas literárias de diversos autores e
consultores de T&D, correlacionando essas teorias à prática na Coelba, tendo como objetivo
32
específico verificar qual a dificuldade da sua equipe gestora em avaliar a eficácia dos
treinamentos no período de 2003/2004.
Considerando os dados resultantes da pesquisa realizada, concluímos que os gestores
da Coelba consideram a eficácia de treinamento indispensável para o desenvolvimento
empresarial, reconhecendo inclusive que precisam priorizar o processo. Verificamos,
entretanto, que carecem de maior direcionamento quanto às dificuldades encontradas sobre os
indicadores dos objetivos de treinamento. Sem estes indicadores o planejamento fica
enfraquecido, desencadeando dificuldades no decorrer do processo afetando assim os
resultados.
Nos resultados da pesquisa, ao admitirem ser tarefa simples realizar a Avaliação de
Eficácia, denotam confusão entre ferramentas, apoio e processo, percebendo carência de
maior esclarecimento quanto ao processo de treinamento e avaliação de eficácia em particular,
mesmo que, segundo eles, acompanhem todo o processo. Esta questão se reflete na afirmativa
de que precisam ser mais enérgicos na participação do processo de treinamento.
A participação dos gestores também merece atenção e investimento. Evidenciamos
estarem confusos quanto ao papel que precisam desempenhar frente ao processo de
treinamento junto às suas equipes, quando, dentre outras respostas, um terço dos entrevistados
crêem ser do setor de RH a responsabilidade pelo processo de treinamento.
5.1 Recomendações
Por tudo isso se recomenda:
33
1) Considerar que o resultado de treinamento não é só financeiro; todos os
treinamentos são passíveis de avaliação, variando apenas as estratégias usadas para avaliar. O
primeiro passo para avaliar o treinamento é ter critérios bem definidos e política de
treinamento. A facilidade na mensuração dos resultados do treinamento depende da parceria
do setor de RH com a área solicitante (gestores e treinandos) na definição dos objetivos, na
montagem do conteúdo programático, dentre outros.
2) Definição clara dos papéis e das responsabilidades de cada um dos envolvidos, por
ser um trabalho integrado e permeável, a saber:
Setor de RH à Consultor de treinamento, elaborando estratégias pragmáticas para
cada caso de treinamento. Conhecer os planos e as diretrizes do empreendimento,
planos de expansão, lançamento de novos produtos, modificações ou implantação de
sistemas e tecnologias, objetivos de cada área, programas especiais, os quais serão os
objetivos maiores nos programas de treinamento que deverão estar alinhando ao
planejamento estratégico da empresa; estimular, assessorar e orientar os gestores na
ocasião do levantamento da necessidade de treinamento e dos objetivos; criar modelo
alternativo nas diversas circunstâncias da empresa; organizar reunião geral com os
gestores e os futuros treinandos para discussão dos propósitos do programa do curso,
inclusive quanto o envolvimento de todos na mensuração fina l do projeto; preparar os
testes de investigação cognitiva e aplicá-los; elaborar a política de T&D; reunião com
os instrutores do evento para definição da metodologia e do instrumento de aferição;
diagnosticar, através de instrumentos previamente construídos, de pesquisas ou de
entrevistas, as mudanças de comportamento dos treinandos nos seus postos de
trabalho; ser modelo de gestão a fim de despertar a confiança dos clientes.
Gestores das diversas áreas à Clientes internos, são os donos do treinamento.
Diagnosticar a carência de treinamento e a conseqüência disso no resultado da sua
34
Unidade, através de Indicadores; decidir sobre os objetivos de treinamento; participar
da reunião geral com o RH e os futuros treinandos para discussão dos propósitos do
programa do curso, inclusive quanto ao envolvimento de todos na mensuração final do
projeto; convocar os colaboradores para o treinamento, negociando metas,
sensibilizando-os, envolvendo-os e assistindo-os durante todo o processo de
treinamento (pré e pós); enfim, realizar a avaliação da eficácia de treinamento.
Treinandos à Clientes internos compromissados em aplicar o conteúdo na esfera das
suas funções e cargo. Fazer a auto-avaliação pós-curso; participar da reunião geral
com os gestores e o RH para discussão dos propósitos do programa do curso, inclusive
quanto ao envolvimento de todos, na mensuração final do projeto.
3) Prospectar indicadores, por se tratar de forte ferramenta de gestão, principalmente
para a questão aqui em discussão. Assim como, instruir os gestores de como trabalhar estes
indicadores com clareza, como mensurar, conscientizando-os quanto à importância dos
mesmos no processo.
4) Política de T&D com foco no negócio da empresa.
5) Manual completo com os procedimentos detalhados, passo a passo, sobre a
atividade da Avaliação de Eficácia, assim como, prazos e responsabilidades e o tratamento a
ser dados nos casos de resultado negativo da avaliação.
6) Estratégia de “marketing”, considerando que o “marketing” envolve toda a vida de
qualquer produto, desde a sua concepção até o consumo final. Isto é, fazer um trabalho de
base com todos os colaboradores, considerando a cultura da empresa, sobre a importância da
Avaliação de Eficácia dos Treinamentos nos tempos competitivos atuais e a conscientização
do envolvimento de cada um neste processo. Vender o produto.
35
7) Utilizar produtivamente a Avaliação de Reação, ou seja, ela deve ser construída,
aplicada e analisada como fonte de subsídios importantes para o processo de avaliação de
resultados do treinamento como um todo.
8) Reunião com os egressos dos cursos, solicitando deles uma avaliação do
treinamento, seu conteúdo, material didático e, em especial, do que aprenderam e do que pode
ser aplicado na prática. Nesta oportunidade, negociar prazos, facilidades, recursos,
responsabilidades e critérios para acompanhamento da execução do plano de trabalho com
base nos novos conhecimentos assimilados, destacando sempre para o potencial de impacto
positivo nas operações daquela Unidade. É imprescindível que o colaborador saiba desse seu
compromisso pós-treinamento, antes de ir para o curso.
9) Tornar mais coeso, mais eficaz todo o apoio logístico no processo de treinamento,
no sistema, nas orientações ou no que os gestores necessitarem, a fim de facilitar a avaliação
de eficácia dos treinamentos e obter resultados satisfatórios.
Portanto, observamos que existe muita teoria sobre a questão da Avaliação de Eficácia
dos Treinamentos, mas a sua prática ainda é polêmica e complexa, carecendo da devida
prioridade e atenção, por parte dos gestores da empresa, para o aprimoramento do processo de
treinamento e desenvolvimento dos colaboradores, atingindo assim, uma competitividade
sustentável. É chegada a hora da virada: parar de reclamar e enfrentar a realidade desafiante
de demonstrar, através de indicadores e de sistemas de mensuração, que os treinamentos
impactam de maneira positiva ou negativa nos resultados da empresa.
36
REFERÊNCIAS
ABREU, Romeu Carlos Lopes de. Coordenação e Avaliação Pós-projetos em Treinamento
e Desenvolvimento de Recursos Humanos. Salvador: Reina Rodrigues, 2003.
ADELSBERG, David van & TROLLEY, EDWARD A. Fazendo do Treinamento um
negócio. www.gestaoerh.com.br , 10/10/1999.
BOOG, Gustavo G. Manual de Treinamento e Desenvolvimento. Segunda edição. São
Paulo: Ed. Makron Books, 1994.
37
CARVALHO, Antonio Vieira. Treinamento de Recursos Humanos. São Paulo: Livraria
Pioneira Editora, 1988.
CHIAVENATO, Idalberto. Recursos Humanos. Sétima edição. São Paulo: Ed. Atlas, 2002.
COSTACURTA, L. A. Desenvolvimento Gerencial o Caminho das Pedras.
www.institutomvc.com.br, 03/03/2005.
DAVIES, Ivor K. A Organização do Treinamento. São Paulo: Ed. Mcgraw-Hill do Brasil,
1976.
DUTRA, Joel Souza. Gestão de Pessoas – Modelo, Processos, Tendências e Perspectivas.
São Paulo: Ed. Atlas, 2002.
FREIRE, Paulo. Pedagogia da Esperança. Sétima edição. Rio de Janeiro: Ed. Paz e Terra,
1979.
GUIMARÃES, Sebastião. Em Busca da Eficácia em Treinamento.
www.tgtreinamento.com.br/artigo13, 05/06/2004.
HADJI, Charles. Avaliação Desmistificada. São Paulo: Ed. Artmed, 2001.
HAMBLIN, A. C. Avaliação e Controle de Treinamento. São Paulo: Mc Graw Hill, 1978.
38
LUCKESI, Cipriano Carlos. Avaliação de Aprendizagem na Escola: reelaborando
conceitos e recriando a prática. Salvador: Ed. Malabares Comunicação e Evento, 2003.
MILIONI, B. Gestão de Treinamento por Resultados. São Paulo: A.B.T.D., 2004.
MILKOVOCH, George T. & BOUDREAU, John W. Administração de Recursos
Humanos. São Paulo: Ed. Atlas, 2000.
MORGAN, Gareth. Imagens da Organização. São Paulo: Atlas, 1996.
OLIVARES, Inês Cozzo. O papel do novo profissional de T&D. www.rh.com.br ,
15/07/2003.
Rev. FAEEBA. Salvador: nº 6, jul./dez., 1996.
RUBINO, V. A Polêmica “Eficácia do Treinamento”. www.intranetics.com.br/vr2data,
07/04/2003.
RUMMLER, Geary A . Melhores Desempenhos das Empresas: uma abordagem prática
para transformas as organizações através da reengenharia. Segunda edição. São Paulo:
Ed. Makron Books, 1994.
SILVEIRA, Orlando Ferreira. Avaliando o treinamento. www.grupocvi.com.br , 11/12/2003.
39
APÊNDICES
40
APÊNDICE A
PESQUISA SOBRE AVALIAÇÃO DE EFICÁCIA DE TREINAMENTO COELBA
Ao responder a esta pesquisa você estará contribuindo para gerar dados que possibilitem a C OELBA analisar o processo de Avaliação de Eficácia de Treinamento existente na empresa, contribuindo para at ingir a excelência do processo de Treinamento.
Preencha o formulár io devolvendo -o à Unidade de Universidade Corporat iva GPUC / GDP até o dia 31/03/ 2 0 0 5 . Para complementar esta pesquisa faremos entrevistas , caso você concorde em ser entrevistado identif ique -s e .
Agradecemos sua co laboração ,
Gestor da Unidade de Universidade Corporativa
Março/ 2005
01. Há quanto tempo trabalha na Empresa: 03. Sexo: ( ) M ( ) F
( ) até 5 anos ( ) 6 a 10 anos 04. Idade: ............. anos
( ) 11 a 15 anos ( ) 16 a 20 anos 05. Órgão de Lotação: ( ) Unidade ( ) Departamento
( ) mais de 20 anos 06. Local (cidade) de Traba lho ..............................................................
02. Há quanto tempo trabalha como Gestor 07. Escolaridade: Graduação ( ) Completo ( ) Incompleto
( ) até 5 anos ( ) 6 a 10 anos Pós Graduação ( ) Completo ( ) Incompleto ( ) 11 a 15 anos ( ) 16 a 20 anos Doutorado/Mestrado ( ) Completo ( ) Incompleto ( ) mais de 20 anos
Enumere de 1 a 8 em ordem crescente de importância, sendo 1 a mais importante.
08. Você define o Treinamento como:
Apenas uma estratégia de RH. Provocador de mudanças na empresa . Essencial para o desenvolvimento organizacional . Parte da educação cont inuada. Uma ferramenta administrat iva conectada com o planejamento estratégico da emp resa . Uma mot ivação para o empregado . Garantia de equipes capazes de sustentar um crescimento ordenado e sistematizado da empresa.
41
Um inves t imento Util izar a legenda abaixo para as próximas questões:
1 2 3 4 5 Discordo totalmente Discordo em part e Não tenho opinião Concordo em parte Concordo totalmente
09. Quanto ao processo de treinamento na Coelba: 1 2 3 4 5
Conheço o processo desde o levantamento, até o planejamento e a execução A Coelba possui uma pol í t ica de T&D amplamente d i fundida e clara. È prát ica consolidada de nós gestores, part icipar e acompanhar os processos de treinamento, junto ao RH, do começo ao f im. É imprescindível que na fase de planejamento do treinamento, nós e o RH, discutamos com clareza os objetivos, a s ações e os papéis de cada um dos envolvidos.
Todo o processo de treinamento é de responsabil idade do RH. A minha part icipação no processo de treinamento, do início ao f im, precisa ser mais enérgica. A importância da Avaliação de Eficá cia de Treinamento é internalizada pela Coelba.
10. Quanto ao resultado do processo de Treinamento na Coelba: 1 2 3 4 5
Ao final dos treinamentos, os objet ivos são sempre alcançados. Após um treinamento, os empregados retornam ao posto de t r abalho com express iva melhor ia no seu desempenho. Os objet ivos de t reinamento estão sempre al inhados com o resul tado que se deseja obter . Antes do treinamento os empregados são esclarecidos quanto ao que se espera deles após o t reinamento.
11. Qual a sua percepção sobre Avaliação de Eficácia de Treinamento na Coelba? 1 2 3 4 5
É dispensável. É um processo burocrático. É um poderoso ins t rumento de apr imoramento do processo de T&D. É uma das e tapas do processo de T&D. É uma exigência para cert i f icação da norma ISO. É uma real idade que precisa ser pr ior izada.
12. A Avaliação de Eficácia de Treinamento da Coelba permite verificar: 1 2 3 4 5
Os indicadores dos objet ivos de t reinamento são bem definidos. O foco dos treinamentos têm impacto nos resultados da empresa. Os programas de t re inamento oferecem clareza quanto aos objet ivos que pretendem alcançar .
13. Minha participação na Avaliação de Eficácia de Treinamento da Coelba: 1 2 3 4 5
Fui orientado e preparado para a prática de avaliar a eficácia dos treinamentos. Avaliar resultados de treinamento é tarefa do RH. S in to-me to ta lmente envolv ido no processo de T&D. S in to-me responsáve l na Aval iação de Ef icác ia de Tr e inamen to . S in to-me responsável nos resultados, negativo ou positivo, da Avaliação de Eficácia de Treinamento, sugerindo o devido tratamento.
14. Avaliar a Eficácia de Treinamento na Coelba: 1 2 3 4 5
Requer muito tempo.
42
Os instrum entos são eficientes. É tarefa simples. Existe apoio necessário para sua realização.
15. Qual (is) a(s) sugestão (ões) de melhoria do processo de Avaliação de Eficácia de Treinamento?
APÊNDICE B
ROTEIRO DE ENTREVISTA SOBRE AVALIAÇÃ O DE EFICÁCIA DE TREINAMENTO COELBA
E n t r e v i s t a c o m p l e m e n t a r p a r a a p e s q u i s a s o b r e A v a l i a ç ã o d e E f i c á c i a d e T r e i n a m e n t o C o e l b a .
1 . O s g e s t o r e s n ã o c o n s i d e r a m o t r e i n a m e n t o c o m o i n v e s t i m e n t o . C o m o v o c ê v ê e s t a c o l o c a ç ã o ?
2 . T o d o o p r o c e s s o d e t r e i n a m e n t o é d e r e s p o n s a b i l i d a d e d o R H . C o m o s e e x p l i c a i s t o ?
3 . O q u e v o c ê a c h a s o b r e a f a l t a d e e n v o l v i m e n t o d o e m p r e g a d o d o i n í c i o a o f i n a l d o p r o c e s s o d e t r e i n a m e n t o ?
4 . V o c ê a c h a q u e a I S O 9 0 0 0 é i m p o r t a n t e p a r a m e l h o r a r a a v a l i a ç ã o d e e f i c á c i a d e t r e i n a m e n t o d a s e m p r e s as e
d a C o e l b a ?
5 . O q u e v o c ê e n t e n d e p o r i n d i c a d o r d e o b j e t i v o d e e f i c á c i a d e t r e i n a m e n t o ? V o c ê p a r t i c i p a d a e l a b o r a ç ã o
d e s s e s i n d i c a d o r e s ?
6 . V o c ê s e s e n t e r e s p o n s á v e l p e l a a v a l i a ç ã o d e e f i c á c i a ? Q u a l s u a d i f i c u l d a d e ?
43
7 . O que é ta re fa s imples para você em ef i các i a de t r e inamen to , a f e r r amen ta de ava l i ação ou o p rocesso de
a v a l i a ç ã o ?
8 . V o c ê f o i o r i e n t a d o e / o u p r e p a r a d o p a r a a v a l i a r a e f i c á c i a d o s t r e i n a m e n t o s ?
ANEXO NBR ISO 10015 – Gestão da qualidade – Diretrizes para treinamento, 30 de maio de 2001.
