ads:
FERNANDO SKACKAUSKAS DIAS
AVALIAÇÃO DE SISTEMAS DE INFORMAÇÃO: REVISÃO DE PUBLICAÇÕES
CIENTÍFICAS NO PERÍODO DE 1985-2005
Belo Horizonte
Escola de Ciência da Informação da UFMG
2006
ads:
Livros Grátis
http://www.livrosgratis.com.br
Milhares de livros grátis para download.
2
FERNANDO SKACKAUSKAS DIAS
AVALIAÇÃO DE SISTEMAS DE INFORMAÇÃO: REVISÃO DE PUBLICAÇÕES
CIENTÍFICAS NO PERÍODO DE 1985-2005
Dissertação apresentada ao programa de pós-
graduação em Ciência da Informação da
Universidade Federal de Minas Gerais, como
requisito parcial à obtenção do título de Mestre
em Ciência da Informação.
Área de Concentração: Gestão da Informação e
do Conhecimento.
Linha de Pesquisa: Avaliação de Sistemas de
Informação.
Orientador: Prof. Dr. Ricardo Rodrigues Barbosa
Belo Horizonte
Escola de Ciência da Informação da UFMG
2006
ads:
3
Dias, Fernando Sckackauskas
D541a Avaliação de sistemas de informação [manuscrito] : revisão de publicações
científicas no período de 1985-2005 / Fernando Skackauskas Dias. – 2006.
160 f. : il., graf., tab.
Orientador: Ricardo Rodrigues Barbosa.
Dissertação (mestrado) – Universidade Federal de Minas Gerais, Escola de Ciência
da Informação.
Referências bibliográficas: f. 133-143.
Anexos: f. 144-160
1. Ciência da informação – Teses 2. Sistemas de informação – Avaliação - Teses
3. Publicações Científicas - Teses I. Título II. Barbosa, Ricardo Rodrigues III.
Universidade Federal de Minas Gerais. Escola de Ciência da Informação.
CDU 659.2
Ficha catalográfica: Biblioteca Profª Etelvina Lima, Escola de Ciência da Informação da UFMG
4
DEDICATÓRIA
À minha mãe, Mare Skackauskas Dias, pelo
amor, incentivo e dedicação inigualáveis.
Aos meus irmãos Aníbal, Lídia, Aida Luiza e
José Miguel pela força e incentivos constantes.
Ao meu pai Annibal Dias da Silva, que torce
por mim em um nível mais alto.
5
AGRADECIMENTOS
Ao Prof. Dr. Ricardo Rodrigues Barbosa, pela valiosa
orientação e contribuição intelectual ao me guiar pelo longo e
tortuoso caminho da pesquisa científica.
Aos Profs. Drs. Beatriz Valadares Cendón, Marcello Peixoto
Bax e Mônica Erichsen Nassif Borges, pelas preciosas
observações no processo de qualificação.
A todos os professores da Escola de Ciência da Informação
da Universidade Federal de Minas Gerais, que souberam
demonstrar com excelência o valor da construção científica
para a evolução do pensamento humano.
A todos os amigos e funcionários do curso de mestrado e
doutorado em Ciência da Informação da UFMG.
6
Escrever não é como pintar, onde se acrescenta.
Não é o que se põe na tela que o leitor vê.
Escrever é mais como a escultura, onde se remove,
se elimina para tornar o trabalho mais visível.
Até as páginas removidas de certa forma
permanecem.
Elie Wiesel (1928-)
.
7
SUMÁRIO
1. INTRODUÇÃO
1.1 Abordagem geral .......................................................................................... 14
1.2 Contextualização .......................................................................................... 19
1.3 Objetivos ....................................................................................................... 21
2. REFERENCIAL TEÓRICO
2.1 Sistemas de Informação ............................................................................. 23
2.1.1 Classificação e benefícios dos Sistemas de Informação .................... 26
2.2 A Interdisciplinaridade do tema ............................................................... 29
2.2.1 Avaliação de SI e a Ciência da Informação ........................................... 32
2.2.2 Avaliação de SI e a Ciência da Computação ......................................... 38
2.2.3 Avaliação de SI e a Ciência da Administração ...................................... 45
2.3 Principais modelos de Avaliação de Sistemas de Informação
2.3.1 Pesquisas fundamentais ……………………………………………............ 62
2.3.2 Modelo de DeLone e McLean .................................................................. 70
2.3.3 Modelo de Pitt, Watson e Kavan ............................................................. 71
2.3.4 Modelo de Myers, Kappelman e Prybutock ........................................... 71
2.3.5 Modelo TAM - Technology Acceptance Model ...................................... 73
2.3.6 Modelo TTF - Task Technology Fit ……………………………….............. 75
3. METODOLOGIA DE PESQUISA
3.1 Tipo de pesquisa ......................................................................................... 77
3.2 Seleção das fontes de pesquisa ................................................................ 78
3.3 Critérios de seleção dos artigos ................................................................ 82
3.4 Análise do Conteúdo .................................................................................. 84
3.5 Critérios para análise dos artigos ............................................................. 86
3.6 Sistematização das análises metodológicas dos artigos ....................... 88
3.7 Limitações da pesquisa .............................................................................. 89
8
4. RESULTADOS DA PESQUISA
4.1 Categorização metodológica dos artigos ................................................ 91
4.2 Interpretação e relações interdisciplinares dos artigos ....................... 104
4.3 Categorização das variáveis utilizadas em pesquisas sobre ASI ....... 113
4.4 Categorização das palavras-chave ......................................................... 120
5. CONCLUSÕES ............................................................................................ 130
REFERÊNCIAS BIBLIOGRÁFICAS ................................................................. 133
ANEXOS
ANEXO 1 – Relação dos artigos analisados ................................................ 144
ANEXO 2 – Quadro de descrição metodológica da pesquisa .................... 157
ANEXO 3 – Quadro de descrição do artigo ................................................... 158
ANEXO 4 – Distribuição quantitativa dos artigos ......................................... 159
9
LISTA DE QUADROS
QUADRO 1: Características do processo da recuperação da Informação ......... 37
QUADRO 2: Abordagem do desempenho de um MIS ........................................ 57
QUADRO 3: Níveis e dimensões para avaliação de sistemas de informação .... 73
QUADRO 4: Fatores e dimensões do modelo TTF ............................................. 76
QUADRO 5: Relação de revistas apresentadas para seleção dos artigos ......... 80
QUADRO 6: Relação de artigos por editora ........................................................ 85
QUADRO 7: Categorizações das variáveis para classificação dos artigos ......... 89
QUADRO 8: Publicações por países ................................................................. 100
QUADRO 9: Descrição das perspectivas das variáveis .................................... 114
QUADRO 10: Categorização das variáveis ....................................................... 115
QUADRO 11: Categorização das palavras-chave ............................................. 121
10
LISTA DE FIGURAS
FIGURA 1: A interdisciplinaridade na Avaliação de Sistemas de Informação ....... 21
FIGURA 2: Esquema fundamental de Sistema de Informação ............................. 24
FIGURA 3. Etapas da avaliação dos insumos de informação ............................... 36
FIGURA 4: Variáveis de avaliação dos SI e os aspectos computacionais ............ 39
FIGURA 5: Sistemas de Informação e cadeia de valores ..................................... 48
FIGURA 6: Proposta de alinhamento do PETI ao PEE de Rezende e Abreu ....... 52
FIGURA 7: Modelo do Alinhamento Estratégico de Brodbeck e Hoppen ............. 54
FIGURA 8: Relação das variáveis identificadas na avaliação de SI ..................... 72
FIGURA 9: Modelo TAM de aceitação da tecnologia ........................................... 74
FIGURA 10: Modelo TTF de aceitação da tecnologia à tarefa ............................. 76
11
LISTA DE GRÁFICOS
GRÁFICO 1 – Finalidade da Pesquisa ............................................................… .92
GRÁFICO 2 – Procedimentos da Pesquisa ...................................................…. 94
GRÁFICO 3 – Natureza da Pesquisa .............................................................… 96
GRÁFICO 4 – Local de realização da Pesquisa ............................................… 97
GRÁFICO 5 – Área disciplinar da Pesquisa ...................................................…. 98
GRÁFICO 6 – Distribuição temporal dos artigos publicados ............................. 99
GRÁFICO 7 – Distribuição da finalidade das pesquisas ................................. 101
GRÁFICO 8 – Distribuição dos procedimentos metodológicos ....................... 102
GRÁFICO 9 – Distribuição da realização da pesquisa .................................... 103
GRÁFICO 10 – Distribuição da área da pesquisa ........................................... 104
12
LISTA DE ABREVIATURAS E SIGLAS
ASI – Avaliação de Sistemas de Informação
CMM – Capability Maturity Model
CRM – Customer Relationship Management
DSS – Decision Support System
EDI – Electronic Data Interchange
ERP – Enterprise Resource Planning
IHM – Interface Homem-Máquina
MIS – Management Information System
PEE – Planejamento Estratégico Executivo
PEI – Planejamento Estratégico da Informação
PEN – Planejamento Estratégico de Negócios
PETI – Planejamento Estratégico da tecnologia da Informação
SEI – Software Engineering Institute
SI – Sistema de Informação
SIS – Strategic Infotmation System
SCM – Supply Chain Management
SRI – Sistema de Recuperação de Informação
TAM – Technology Acceptance Model
TI – Tecnologia da Informação
TTF – Task Technology Fit
13
RESUMO
Ao rever e analisar publicações científicas sobre Avaliação de Sistemas de Informação,
construiu-se um quadro descritivo sobre as suas técnicas e métodos, delineando as
principais características, estruturas e categorização das variáveis e palavras-chave,
bem como o percurso histórico e as tendências metodológicas. Por ser necessário
determinar um arcabouço sólido sobre as principais metodologias, abordagens e
técnicas da área, é que esta pesquisa contribui com um quadro atualizado sobre o tema
de Avaliação de Sistemas de Informação. Para tal, realizou-se uma análise de artigos
publicados em periódicos internacionais no período entre 1985 e 2005, totalizando 105
artigos. Para a construção da metodologia de pesquisa, interpretação dos artigos e a
categorização das variáveis e palavras-chaves, utilizaram-se os princípios da “Análise
do Conteúdo”, os critérios de “Avaliação de Artigos de Pesquisa em Sistemas de
Informação” e os princípios de categorização do “Esquema de Classificação de
Palavras-chave”. Os resultados obtidos permitem modelar um quadro que demonstra
uma tendência das pesquisas para uma abordagem multidisciplinar, um interesse
crescente nos aspectos cognitivos do usuário, foco na determinação dos atributos de
qualidade da informação e no alinhamento dos sistemas às estratégias corporativas.
Por fim, a Avaliação de Sistemas de Informação tem surgido com novas abordagens
nos grandes centros de pesquisa, já se formando um corpo sólido e bem delimitado de
objeto de investigação.
Palavras-chave: Revisão da literatura, Avaliação, Sistemas de Informação.
14
ABSTRACT
Analyzing and revising journals of Information Systems Evaluation, was descriptive a
framework about the techniques and methods, delineating the main characteristics,
constructs, structures, disposition in categories of the variables and key words, as well
as the historical course and the methodological tendencies. One can see how difficult is
to find solid guidelines on the main methodologies, approaches and trends. It is in this
point that places the interest of this research, which means to contribute with an updated
framework on the theme of Evaluation Information Systems. In that way a revision and
analysis of reports published in the period between 1985 and 2005 were accomplished
by this research, which totalized 105 articles. To elaboration of the methodology
research, articles interpretation, disposition in categories of the variables and key word
were used the bases of the "Content Analysis", the methods of "Evaluation of Articles in
Information Systems" and the bases of the "Outline of Key Word Classification". The
outcomes of the research allows to model a context that demonstrates a tendency of the
researches for a multidisciplinary approaches, a growing interest in the user's cognitive
aspects, focus on the determination of attributes of information quality and the alignment
of the systems to the corporate strategies. Therefore, the Information System Evaluation
has arisen with new approaches in the main researches centers, building a solid
framework and a well delimited investigation object.
Key words: Literature Revision, Evaluation, Information Systems.
15
1. INTRODUÇÃO
1.1 Abordagem geral
Os Sistemas de Informação (SI) têm sido alvo de diversos trabalhos, tanto teóricos
como práticos, com o objetivo de compreender melhor os seus mecanismos, impacto e
resultado das suas implementações. Assim sendo, as pesquisas desenvolvidas sobre
Avaliação de Sistemas de Informação (ASI) têm como característica uma inter-relação e
influência muito forte de várias áreas do conhecimento, não tendo na literatura, porém,
uma definição clara e objetiva dos métodos a serem empregados (AROUCK, 2001).
Autores como Galletta e Lederer (1989) e Myers, Kappelman e Prybutok (1997)
justificam que a falta de padronização dos métodos não permite a consolidação de
dados para estudos comparativos, necessitando de constantes pesquisas para delinear
melhor o seu escopo. Para Straub (1989), é necessário que os pesquisadores de SI
estejam mais atentos para o rigor das pesquisas, com o intuito de se consolidar melhor
como área de domínio científico. Conforme descrito por Hoppen et al (1996), as
avaliações de pesquisas em SI se encontram sem uma forma bem definida de critérios
e métodos, como citado:
[...] em SI é difícil julgar o valor de uma pesquisa ou de um artigo científico, e
isto por três razões essenciais: a falta de critérios precisos de avaliação, a falta
de detalhes relativos aos procedimentos de pesquisa e impossibilidade de
utilizar os mesmos critérios em função do método escolhido (HOPPEN et al,
1996, p. 3).
Com esta forte característica de haver diversas disciplinas investigando um mesmo
objeto, o que se tem é a falta de uma estrutura clara na área de ASI. Como por
exemplo, a computação tem surgido como forte alicerce para pesquisas em SI, pois a
16
base tecnológica de hardware, software, redes, bancos de dados e Internet têm
proporcionado grandes mudanças nas mais diversas atividades. A Administração de
Empresas tem um olhar especial sobre o assunto, pois os SI têm alterado de maneira
significativa as relações produtivas, os fluxos de trabalho, as tomadas de decisão e o
desenvolvimento das estratégias competitivas. Como também é de interesse deste
tema as disciplinas que tratam do fenômeno da “explosão informacional” e da “gestão
do conhecimento”. Como é o caso da Ciência da Informação, pois a sobrecarga de
informações gerada pelos SI é notória em todas as esferas sociais, modificando os
processos de disseminação da informação e do conhecimento, alterando
consideravelmente os mecanismos de busca de informação. Portanto, o tema abrange
trabalhos originados de diversas ciências. Apesar das pesquisas em ASI se
encontrarem em um estágio inicial de definição, tem havido esforços consideráveis de
vários pesquisadores com o objetivo de torná-la uma temática com características
próprias.
Assim, com a intenção de contribuir para a consolidação da área, foi realizada uma
revisão e análise de produções científicas sobre ASI publicadas no período entre 1985
e 2005, procurando construir um quadro sobre os métodos, técnicas, tendências,
construtos e relações interdisciplinares sobre o tema. A relevância da pesquisa surge
diante da constatação da crescente importância e acelerada influência dos SI na
sociedade de um modo geral e no segmento corporativo e acadêmico de um modo
mais específico. Os estudos sobre ASI datam dos anos de 1960 e 1970, onde os
trabalhos abordavam com maior ênfase o comportamento de busca da informação
pelos usuários de bibliotecas e a análise de custo e investimento em acervos, como por
exemplo, têm-se os trabalhos de Bourne (1965) e Lancaster (1968). Avançando com
17
um crescente uso dos SI sustentados por uma base computacional, as ASI começam a
abordar questões tecnológicas mais específicas, utilizando o desempenho dos
processadores, a quantidade de acessos aos bancos de dados e a análise de logs,
como variáveis de avaliação.
Paralelamente, os investimentos em SI se tornam vultosos para as empresas e os
resultados são questionáveis (MCGEE e PRUSAK, 1994). As corporações se vêem
diante de uma situação difícil de decisão, pois é inevitável o uso cada vez mais intenso
dos SI em todo o processo administrativo, mas tem sido demonstrada uma dificuldade
muito grande em se avaliar tais investimentos. A partir da década de 1980, as empresas
começam a incorporar os SI nas suas estratégias competitivas e nas suas relações com
os clientes e fornecedores, criando uma rede extremamente rica de informações
servindo de apoio para as tomadas de decisões e monitoramento do ambiente. Surge,
novamente, a importância em se avaliar os SI, pois os sistemas começam a penetrar na
cadeia de valores e na cadeia produtiva, criando um enorme impacto nas estratégias de
competição (PORTER, 1989). A questão principal desta abordagem emerge na relação
entre custo e investimento na implantação de um SI e o retorno através da eficiência e
eficácia destes sistemas, criando-se novos métodos de avaliação.
Finalmente, com o advento da Internet e do comércio eletrônico, as ASI começam a
focar-se em novos aspectos, onde o usuário se vê diante de um SI desenvolvido em
uma nova estrutura de navegação, novos recursos de multimídia e ligações
hipertextuais. Segundo Lima (2004, p.119), “uma boa estrutura de hipertexto deve
refletir a estrutura organizacional do assunto ou uma rede semântica da sua temática”.
Portanto, o avanço das tecnologias de software e o formato alternativo de apresentação
das informações têm acelerado a elaboração de novas técnicas de ASI, sendo
18
necessário rever os critérios, métricas e variáveis de avaliação na medida em que altera
a relação entre o usuário e o SI. O que se tem é um quadro complexo sobre a temática
de ASI, permeando áreas que têm como interesse comum aprimorar as técnicas de
avaliação. A conseqüência é um panorama de construção teórico e prático muito difuso,
pois, conforme demonstrou a revisão bibliográfica, é difícil determinar uma estrutura
consolidada sobre os principais autores, metodologias, técnicas, abordagens e
tendências. O objetivo principal desta pesquisa foi construir um quadro panorâmico
sobre o tema ASI, que poderá servir como orientação para futuros estudos. As fontes
analisadas para o desenvolvimento da pesquisa foram artigos publicados nos principais
periódicos internacionais que tratam sobre o assunto, selecionados através do Portal
CAPES
1
, totalizando 105 artigos.
Pelo fato da natureza da pesquisa ser de caráter exploratório, onde foram
analisados artigos das mais diversas origens e publicações, a interpretação das fontes
é um tanto complexa e subjetiva. Para a construção da metodologia de interpretação
dos artigos e a categorização das variáveis, foram utilizados os princípios da Análise do
Conteúdo (BARDIN, 1977 e FRANCO, 2005), os critérios de avaliação de artigos de
pesquisa em SI de Hoppen et al, (1996) e os princípios de classificação de palavras-
chave propostos por Barki et al (1993). A Análise do Conteúdo foi utilizada para a
classificação e interpretação de cada artigo, determinando suas principais
características qualitativas e a perspectiva da abordagem utilizada. Os critérios de
classificação e avaliação de artigos em SI, proposto por Hoppen et al (1996) serviram
como referência para categorização das variáveis e análise metodológica dos artigos. O
trabalho desenvolvido por Barki et al (1993), onde se utiliza o esquema de palavras-
1
http://www.periodicos.capes.gov.br
19
chave e níveis de detalhamento específicos, serviu como base para a construção do
quadro esquematizado de palavras-chaves sobre ASI. Os resultados obtidos da
pesquisa permitem modelar um panorama quantitativo e qualitativo sobre ASI, uma
possível tendência de métodos e técnicas e determinar as principais características
interdisciplinares.
No corpo deste trabalho serão descritos, primeiramente, a contextualização e
conceituação sobre SI, seus campos de investigação e atuação. A seguir, será feita a
revisão bibliográfica e a descrição das áreas que abordam a temática e seus construtos
teóricos. Estas áreas foram agrupadas em Ciência da Informação, Ciência da
Computação e Ciência da Administração para um melhor entendimento das fronteiras
da pesquisa e dos principais pontos de interdisciplinaridade sobre o tema. Após, é feita
a revisão dos principais modelos de ASI, autores e técnicas, fazendo uma apresentação
histórica de descrição dos trabalhos mais recentes e correlatos ao tema. É descrita, a
seguir, a construção metodológica da pesquisa, que compreende a definição das bases
utilizadas, a descrição das variáveis da pesquisa e os critérios escolhidos para a análise
dos dados.
Concluindo-se, serão descritos os resultados da pesquisa, separados em quatro
partes. Primeiramente uma explanação estatística dos artigos, tanto na sua totalização
quanto na variação temporal. Em seguida é descrito um quadro com a categorização
das variáveis e um quadro com a categorização das palavras-chave. Finalmente é feita
uma análise comparativa entre as metodologias e as relações disciplinares. Por fim, se
têm as conclusões, observações e as considerações finais.
20
1.2 Contextualização do estudo
Estudos e pesquisas sobre ASI têm sido escritos nos últimos anos sob as mais
diversas abordagens, principalmente com um forte crescimento a partir da metade da
década de 1990. Este crescimento das pesquisas se justifica pelo grande uso dos SI
nas mais diversas atividades, modificando a relação em todas as esferas sociais, entre
empresas, clientes e fornecedores, tanto nos órgãos públicos como privados. Isto é
facilmente percebido, por exemplo, entre os bancos e seus correntistas, onde se tem
cada vez menos contato com pessoa física, pois quase todos os serviços são
disponíveis através dos caixas eletrônicos, centros de auto-atendimento e o internet-
banking. Também têm sido utilizados os SI nas entidades públicas, como exemplo as
informações tributárias e contábeis junto aos órgãos da Receita e Fazenda. Mas, a
atuação dos SI vai muito além. Por exemplo, a medicina e toda a área da saúde têm
incorporado em suas práticas os SI, como na busca de suporte para diagnósticos e
prescrições médicas, resultados de análises, pesquisas e tratamentos de saúde. As
áreas de construção, arquitetura e ciências da terra utilizam cada vez mais os SI como
parte das suas atividades. As bibliotecas se encontram disponíveis em portais,
integrando várias comunidades e facilitando as busca nas bases informacionais mais
diversas. Enfim, os SI penetraram praticamente em todas as atividades da sociedade
atual. Esta mesma sociedade que tem passado por mudanças constantes e cada vez
mais rápidas, tornando complexa todas as relações e investigações nela existentes
(MORIN, 1999). Conforme citado por Castells (1999, p. 51) "[...] a difusão da tecnologia
amplifica seu poder de forma infinita, à medida que os usuários apropriam-se dela e a
redefinem. As novas tecnologias da informação não são simplesmente ferramentas a
21
serem aplicadas, mas processos a serem desenvolvidos". Os SI participam
efetivamente desta complexidade, servindo como mola propulsora de uma carga
enorme de informações, por isso merecendo seu destaque.
A partir daí, considerando a importância dos SI, se torna imprescindível avaliá-los.
Ou seja, é necessário saber se eles têm atendido às expectativas de quem os adquiriu.
Os sistemas atendem aos seus usuários de modo satisfatório? Os custos e
investimentos tem tido retorno? Os sistemas são confiáveis? São fáceis de usar?
Retornam de maneira eficiente informações daquilo a que eles se propõem? Diante de
tantas indagações, as avaliações têm crescido enormemente. Mas o problema é que
estas avaliações não têm uma organização padronizada, não se sabe ao certo se elas
têm sido eficazes nos seus resultados, não existindo uma estrutura bem organizada
sobre o assunto. O arcabouço que trata das avaliações de SI ainda se encontra em
fase de definição teórica e prática. Percebe-se um aumento de investigações sobre as
ASI, ocorrendo sobre vários aspectos e perspectivas. Mas, é pouco claro como tem sido
guiada tais avaliações, os métodos, técnicas, variáveis e interseções disciplinares.
Na construção do referencial teórico foi possível identificar características que
circundam a maioria dos estudos. Primeiramente há a intenção em se avaliar os SI sob
a perspectiva financeira na relação custo-benefício, implantação do sistema e seu
impacto nas estruturas organizacional, estratégica e nas relações de trabalho. Por outro
lado, podem-se avaliar os sistemas pela sua estrutura tecnológica e computacional,
temática em evolução exponencial pelos avanços da área. Por fim, há a possibilidade
de avaliar sob a ótica do comportamento de busca da informação pelo usuário,
conforme citado por Figueiredo (1985), Munshi (1996), Myers et al (1997), Dias (2001) e
Gunasekaran et al (2005). Constata-se como um problema inerente a estas áreas uma
22
grande dificuldade em identificar as variáveis que demonstrem com clareza as
vantagens e desvantagens de um SI, conforme citado em Pereira e Perlingeiro (1979),
Myers et al (1997), Neto e Riccio (2000), Arouck (2001), Dias (2001), Delone e Mclean
(2003) e Gunasekaran et al (2005).
É possível agrupar os estudos de ASI, pelas suas características, em três grandes
áreas como: a “Ciência da Informação”, a “Ciência da Computação” e a “Ciência da
Administração”. Estas áreas criam uma forte interdisciplinaridade, conforme FIG. 1.
1.3 Objetivos
O problema essencial desta pesquisa foi investigar como os estudos realizados
sobre ASI têm sido desenvolvidos, identificar como as variáveis têm sido tratadas, quais
os campos disciplinares que mais investigam o assunto, quais as abordagens
realizadas, quais os modelos utilizados e como têm avançado as pesquisas nesta área.
Portanto, o objetivo geral desta pesquisa foi organizar uma estrutura sobre os estudos
FIGURA 1: A interdisciplinaridade na Avaliação de Sistemas de Informação
Ciência da
Informação
Ciência da
Computação
Ciência da
Administração
Avaliação de
Sistema de Informação
23
realizados sobre ASI, com a intenção de identificar qual tem sido o caminho percorrido
pelas pesquisas.
Como objetivos mais específicos, o trabalho procurou:
1. Identificar quais tem sido as metodologias e técnicas desenvolvidas, as
suas relações, interseções e evoluções teóricas;
2. Identificar e categorizar quais são as variáveis das ASI e como estas
variáveis estão sendo tratadas e manipuladas nas avaliações;
3. Criar uma categorização das palavras-chave para melhor organização e
compreensão dos termos da área;
4. Identificar em quais disciplinas e sobre quais perspectivas tem se
concentrado as avaliações;
5. Identificar se existe uma tendência quantitativa ou qualitativa das
avaliações implantadas.
6. Identificas as relações interdisciplinares das avaliações;
7. Analisar e comparar as relações existentes entre os modelos propostos.
24
2. REFERENCIAL TEÓRICO
2.1 Sistemas de Informação
Inicialmente, é necessário definir o que vem a ser um SI, seus conceitos e
classificações. Para Turban (2003), os SI contêm informações sobre pessoas, lugares e
coisas de interesse para os seus usuários, seja internamente a uma organização ou
externo a este ambiente. Quer dizer, os SI devem conter no seu âmbito as informações
necessárias para atender às demandas dos seus usuários. A informação, neste
aspecto, significa que os dados foram moldados de uma forma tal para serem
disponíveis e servirem para determinado propósito. Segundo Laudon e Laudon (1999):
Um Sistema de Informação pode ser definido tecnicamente como um conjunto
de componentes inter-relacionados que coleta (ou recupera), processa,
armazena e distribui informação para dar suporte à tomada de decisão e ao
controle da organização (LAUDON e LAUDON, 1999, p. 4)
Os SI não precisam ser, necessariamente, suportados por uma base
computacional. Porém, há uma notória tendência de que isto seja quase a totalidade,
dado o grande avanço e popularização dos computadores e da tecnologia de um modo
geral. Portanto, um SI compreende pessoas, máquinas e métodos organizados para
coletar, processar, transmitir e disseminar dados que representam informação para o
usuário. A informação disponível é uma fonte de poder, uma vez que permite analisar
fatores do passado e compreender o presente, criando melhores alternativas de
decisão. Os SI, por sua vez, também agregam componentes intangíveis, que são os
sinais oriundos do ambiente interno e externo, permitindo reconhecer mais claramente
um evento. Assim, eles têm a capacidade de melhorar o gerenciamento e diminuir a
25
incerteza das decisões. Para Cassaro (2001, p. 25), os SI podem ser definidos como:
“Sistemas de Informação são um conjunto de partes e componentes, logicamente
estruturados, com a finalidade de atender a um dado objetivo”. O autor demonstra a
importância da informação na relação entre os SI no contexto e na estrutura das
corporações, conforme citado:
A chave para desenvolver um dinâmico e útil Sistema de Informação Gerencial
é afastar-se um pouco dos limites clássicos dos relatórios contábeis e conceber
as informações como as mesmas se relacionam com os dois elementos básicos
do processo gerencial: o planejamento e o controle. (CASSARO, 2001, p. 69).
Portanto, os SI não dependem apenas de suas qualidades técnicas, mas também
de seu contexto organizacional, cultural e humano. A concepção básica de SI é a
relação entre a entrada de dados (input), o processamento destes dados (processo) e a
saída destes dados (output) como informação de interesse dos seus usuários,
(LAUDON e LAUDON, 2005), conforme demonstrado na FIG. 2.
Os dados, antes de processados, não fazem sentido para o usuário. Na verdade, a
função primordial de um SI é organizar estes dados, relacionando-os e disponibilizando-
os de forma lógica e inteligível, assim tendo uso efetivo para quem necessita das
informações. Para Davenport e Prusak (1998, p. 2), “dados são um conjunto de fatos
Input
dados
Processamento
Output
informação
FIGURA 2: Esquema fundamental de um Sistema de Informação
FONTE: Laudon e Laudon, 2005, p. 8
26
distintos e objetivos, relativos a eventos”. Os autores colocam que, mesmo os dados
não tendo significados inerentes, são muito importantes porque constituem a matéria-
prima essencial para a criação da informação. Para Marteleto (2002), informação não é
processo, matéria ou entidade separada das práticas e representações de sujeitos na
sociedade, inseridos em certos espaços e cultura. A informação é um fenômeno que
toma corpo na prática e nas representações da sociedade. Portanto, os SI devem ser
capazes de organizar tais dados, colocando sentido e transformando-os em informação.
Antes da popularização dos computadores, os SI se baseavam basicamente em
técnicas de arquivamento e recuperação de informações em grandes arquivos. Era
necessário um profissional responsável em organizar os dados, registrá-los, classificá-
los, catalogá-los e recuperá-los quando necessário. Esse método exigia um grande
esforço para manter os dados atualizados, bem como para organizá-los. A partir do
surgimento dos primeiros computadoes, os mainframes, a base tecnológica se tornou
parte integrante da estrutura de um SI, posteriormente migrando para
minicomputadores e microcomputadores. O usuário começa a assumir um papel cada
vez maior de interação com o sistema, pois ele constroe suas próprias seleções,
arranjos e estrutura de saída das informações. Nas organizações surgem os sistemas
departamentais, destinados a executar uma tarefa específica, como, por exemplo, um
sistema de folha de pagamento ou de controle financeiro. Na indústria, os SI
incorporam tarefas de manufatura, logística e automação, otimizando a linha produtiva,
diminuindo o tempo de produção e possibilitando redução dos custos. Os SI
alcançaram o nível estratégico das corporações através de sistemas especialistas,
assumindo um papel de apoio às decisões gerenciais, interpretação dos sinais do
ambiente e fazendo parte das estratégias competitivas. Os SI evoluem paralelamente
27
às tecnologias de computação. Com o avanço das redes, softwares e da alta
capacidade de processamento e armazenamento de informações, novas formas de SI
foram surgindo, com uma maior integração das informações e disponibilização dos
dados até então dispersos em vários sistemas diferentes.
Os SI, portanto, penetraram em todas as esferas da sociedade, alterando,
principalmente, os contextos empresarial, industrial e as relações com os clientes. Os
executivos, funcionários e consumidores se vêem diante de uma ferramenta poderosa,
no qual é difícil imaginar sem ela para executar tanto as tarefas mais rotineiras como as
mais complexas. Como descrito por Laudon e Laudon (2005, p. 7) “Além de dar suporte
à tomada de decisões, à coordenação e ao controle, esses sistemas também auxiliam
os gerentes e trabalhadores a analisar, visualizar assuntos complexos e criar novos
produtos”. A seguir serão descritos como os SI são classificados e seus benefícios em
potencial.
2.1.1 Classificação e benefícios dos Sistemas de Informação
Para fundamentar a pesquisa, é necessário classificar os SI e suas topologias. Para
Laudon e Laudon (1999), os SI podem ser investigados sob os aspectos:
• Abordagem técnica da Ciência da Administração, da Ciência da Computação e
da Pesquisa Operacional. Esta abordagem tem a ênfase em modelos
matemáticos para estudar e compreender os SI.
• Abordagem comportamental baseando-se na Sociologia, na Economia e na
Psicologia. Questões relacionadas à integração estratégica, projeto,
28
implementação, utilização e administração não podem ser exploradas
convenientemente com os modelos da abordagem técnica. São necessárias
disciplinas comportamentais para melhor compreensão dos fenômenos advindos
dos SI nas empresas e na sociedade.
Segundo os autores, os SI são identificados nas seguintes categorias:
• SI no nível executivo, que são os sistemas de apoio estratégico. Neste caso
estão os EIS (Executive Information System) e SIS (Strategic Information
System)
• SI no nível gerencial, que são os sistemas de negócios, MIS (Management
Information System) e os sistemas de apoio à decisão, DSS (Decision Support
System)
• SI no nível do conhecimento, onde se encontram os Sistema de Trabalhadores
do Conhecimento e o Sistema de Automação de Escritório.
• SI no nível operacional, que são sistema de processamento de transações.
Nesta categoria estão os ERP (Enterprise Resource Planning), EDI (Eletronic
Data Interchange), SCM (Supply Chain Management) e o CRM (Customer
Relationship Management).
É importante destacar que estes sistemas compreendem, não somente as estruturas
de software e hardware, mas processos, fluxos de informações e organização das
atividades, como o ERP, que integra tarefas e funções de maneira coordenada para um
melhor uso integrado dos recursos corporativos. Diversos são os benefícios percebidos
pela implantação dos SI. Muitos tangíveis e outros intangíveis e imensuráveis, por isso
29
a dificuldade em avaliá-los. O desenvolvimento de um SI se justifica pelos possíveis
fatores e benefícios, conforme demonstrado por Mañas (2002) e Turban (2003).
• Fornecer informações sobre o ambiente
• Reduzir a ambigüidade e fornecer uma base empírica para a tomada de decisão
• Avaliar a situação passada e presente e prognosticar o futuro
• Avaliar e monitorar as atividades em termos de processo e progresso.
• Redução de custo das operações
• Melhoria no acesso às informações, propiciando relatórios mais precisos
• Melhoria na produtividade, tanto setorial quanto global.
• Melhoria nos serviços realizados e oferecidos
• Redução do grau de centralização de decisões na organização
• Melhoria na adaptação da organização a acontecimentos não previstos
• Aumento no nível de motivação das pessoas envolvidas
• Redução dos custos operacionais
• Redução dos níveis hierárquicos
Drucker (1954), já considerava na época o papel relevante das informações como uma
base válida para as tomadas de decisões empresariais, conforme citado:
[...] nas organizações abertas de um modo geral, o processo decisório tem
origem na identificação de problemas ou oportunidades, na coleta e análise de
dados e informações sobre estes problemas/oportunidades e na conversão
dessa informação em ação. Baseando-se na análise global destes elementos, o
administrador obtém informação. A informação é a ferramenta do administrador
(DRUCKER, 1954, p. 346).
O processo de implantação de um SI não é puramente tecnológico e administrativo.
A sua implementação também ocorre na seleção das fontes de informação e no
tratamento da informação disponível. A não atenção dada a esta camada de um SI
30
justifica, em grande parte, muito dos sistemas fracassados e perdidos (MCGEE &
PRUSAK 1994). Para Tarapanoff (1995), a implementação de um SI se processa nas
seguintes etapas:
• Seleção para fornecer informação relevante selecionada para o usuário final.
• Catalogação e indexação como meio de possibilitar a seleção da informação
• Instrução e orientação para o usuário.
Os SI são responsáveis em transmitir informações fundamentais e estratégicas
neste processo, dado que os SI devem ser capazes de processar informações
passadas e prever um panorama de soluções, construído em situações já processadas.
Diante deste quadro, se tem os SI como uma ferramenta de importância incontestável
no mundo atual, interferindo diretamente no ambiente corporativo e nas relações
sociais, alterando as tomadas de decisões e modificando todo o fluxo informacional. Os
SI, principalmente quando ele existe sob uma base computacional, toma dimensões e
importância relevantes, considerando o seu poder de integração, processamento e
disseminação das informações.
2.2 A Interdisciplinaridade do tema
Conforme tem sido demonstrado nas pesquisas sobre ASI, existe na área uma forte
característica de interdisciplinaridade. A informação por si só, base fundamental para se
investigar os SI, é objeto de interesse de diversas ciências, conforme demonstrado
31
pelos pesquisadores em Ciência da Informação como Ingwersen (1992), Le Coadic
(1996), Saracevic (1996), Pinheiro (1999), Orrico (1999), Hjorland (2000), Gomez
(2001) e outros. Com o objetivo de compreender os mecanismos e características que
compõem as ASI, a interdisciplinaridade merece uma atenção especial. Nesta pesquisa
é demonstrada a relação entre as três áreas em que a ASI se faz mais presente, que é
a Ciência da Informação, a Ciência da Computação e a Ciência da Administração.
De acordo com França (2002) “Estudos ou campos interdisciplinares referem–se à
emergência de novas temáticas que começam a ser estudadas a partir do referencial
das áreas já consolidadas”. Portanto, as pesquisas em ASI advêm da evolução de
diversas investigações, diversas abordagens e estudos realizados por áreas distintas,
mas que se cruzam no interesse em entender o fenômeno informacional. Como
esclarece Orrico (1999):
Para realizar um trabalho interdisciplinar, é necessário estabelecer tanto uma
definição comum dos conceitos teóricos afins, quanto uma metodologia que dê
conta dessa situação particular. Essa redefinição conceitual e metodológica é
necessária para que se possam ultrapassar os limites impostos pela
organização acadêmica que justapôs as disciplinas como entidades autônomas,
distanciadas da vida real (ORRICO, 1999, p. 20).
Segundo Japiassu (1998), devido à complexidade cada vez maior dos problemas
colocados pela sociedade em plena mutação, exige-se a análise interdisciplinar para
serem resolvidos. Os SI estão presentes neste processo de mutação, ora interferindo
nestas mudanças, ora adaptando-se a elas. Para França (2002) a interdisciplinaridade
refere–se a determinados temas ou objetos da realidade que são apreendidos e
tratados por diferentes ciências. Não acontece ai um deslocamento ou uma alteração
no referencial teórico das disciplinas (ele não é “afetado”) pelo objeto, é o objeto que
“sofre” diferentes olhares. A transdisciplinaridade, por sua vez, compreende um
32
movimento diferente. Uma determinada questão ou problema suscita a contribuição de
diferentes disciplinas, mas essas contribuições são deslocadas de seu campo de
origem e entrecruzam – se num outro lugar – em um novo lugar. São esses
deslocamentos e entrecruzamento – esse transporte teórico – que provocam uma
iluminação e uma outra configuração da questão tratada. É esse tratamento híbrido,
distinto, que constitui o novo objeto. Compreende-se que as ASI, como objeto de
estudo, moldam-se dependendo do “olhar” e do “lugar” em que se encontra o
investigador, integrando novas variáveis ou assumindo diferentes papéis. Para autores
como Wersig (1993), a dificuldade na construção de conceitos conciliatórios em relação
aos sistemas informacionais relaciona-se à natureza do seu objeto, ou seja, a
informação. Da mesma forma, a temática sobre ASI conta com diferentes enfoques
conceituais de seu objeto de estudo, de seus métodos e limites de abrangências, não
contando, ainda, com uma base teórica sólida. Portanto, a dificuldade em compreender
os limites da interdisciplinaridade na ASI deve estar ligada a esse fato.
Falar sobre informação e sistemas é entrar em um campo complexo do
conhecimento que visa a “tornar mais acessível um acervo crescente de conhecimento”
(SARACEVIC, 1996). Por isso, é preciso compreender estes estudos no contexto de um
mundo pós-moderno e em constante mutação, conforme demonstrado por (MORIN,
1999). A forte característica interdisciplinar da ASI deve-se também ao fato de que,
como explicado por Hjorland (2000), quase toda disciplina científica usa o conceito de
informação dentro de seu próprio contexto e com relação a fenômenos específicos.
Sem dúvida, um dos grandes problemas da atualidade é a informação, sua produção,
armazenamento, organização, disseminação e uso. Os SI surgem em um contexto de
inter-relações e justaposições de olhares de diversas ciências, tornando complexo
33
identificar os seus limites e um corpo teórico bem definido. Segundo Saracevic (1996), a
Ciência da Informação é um campo interdisciplinar por atuar em áreas de concentração
de problemas altamente complexos e, como todos os problemas complexos, são
tratados de várias formas em muitos campos.
A seguir serão descritas as áreas que investigam as ASI, as suas características,
construtos metodológicos, abordagens e definição das variáveis.
2.2.1 Avaliação de SI e a Ciência da Informação
Analisando a ASI sob o olhar da Ciência da Informação, é possível perceber como
centro de atenção a organização da informação, o usuário do sistema e o seu
comportamento de busca. Ou seja, o tratamento da informação, disseminação e uso. O
estudo sobre o comportamento de busca da informação procura compreender os
processos vivenciados por indivíduos ao procurarem informações quando o estado
atual de conhecimento possuído é menor que o necessário para lidar com alguma
questão ou problema. Este conceito de um estágio de conhecimento é analisado por
diversos autores, como por exemplo, Belkin (1988), que define o conceito de “estado
anômalo do conhecimento” como critério de busca de informação e o gap do
conhecimento de Dervin (1984), que considera que o usuário não consegue verbalizar
as suas reais necessidades de informação. O processo termina quando esta percepção
não mais existe. A avaliação sob este aspecto é muito subjetiva, pois lida com
características cognitivas, percepção de valor da informação, seu uso e grau de
satisfação no processo de busca. Para se avaliar os SI sob a perspectiva do usuário,
34
deve-se considerar o comportamento e características do usuário durante o uso do
sistema, sendo que este processo está sendo suportado cada vez mais por uma base
computacional, alterando a relação entre o usuário e o sistema. A busca da informação
é um processo dinâmico, em que métodos e critérios para seleção ou rejeição da
informação variam com o tempo, e está fortemente relacionado aos hábitos pessoais do
indivíduo e ao tipo de necessidade. Choo (2003, p. 1) cita “a compreensão integral da
busca por informação como comportamento social nos ajuda a projetar melhores
processos e sistemas de Informação”. Segundo Figueiredo (1985), é possível definir as
características que identificam o processo de busca e a sua avaliação pelos seguintes
aspectos:
• Positivas: o processo de busca da informação e a satisfação do usuário
demonstram a capacidade estratégica do SI e o seu sucesso;
• Negativas: é muito subjetivo e de difícil mensuração quantitativa.
Os primeiros esforços que mais se destacam para se avaliar um SI, partiram dos
estudos do comportamento de busca e uso da informação por usuários de bibliotecas
(BOURNE, 1965 e LANCASTER, 1968) e na avaliação dos recursos, tratamento e
disponibilidade do acervo. Na realidade, a avaliação passa pelos critérios de eficiência
no tratamento econômico destes recursos. Bourne (1965) estabelece o que se chama
de “biblioteca 90%”, onde os custos crescem em escala geométrica ao tentar atender a
todos os usuários, tornando inviável cumprir todas as demandas.
Para Lancaster (1968), o processo de avaliação passa por cinco etapas:
• Decidir o que deve ser avaliado.
35
• Modelar o teste de avaliação.
• Efetuar o teste.
• Analisar os resultados.
• Interpretar os resultados seguindo padrão pré-estabelecido.
Lancaster (1968) define que “um sistema de recuperação da informação não informa
ao usuário o conteúdo da sua pesquisa, simplesmente informa da sua existência ou não
do documento relativo à pesquisa”. Isto torna a avaliação de um sistema algo um tanto
subjetivo e de difícil mensuração, pois não se sabe ao certo se as informações
recuperadas irão atender às necessidades do usuário, que podem mudar ao transcorrer
da pesquisa. A avaliação da eficiência e da operacionalidade de um Sistema de
Recuperação da Informação (SRI) se baseia no sucesso de busca da informação pelo
usuário ou na redução de tempo desta busca. Portanto, a avaliação é um processo
analítico, ou seja, procura-se determinar o quanto o sistema satisfaz às expectativas
dos usuários, determina o sucesso ou o fracasso dos recursos do sistema e quando
pode ser remediado.
Para Lancaster (1993), o usuário de um SI tem como características os seguintes
comportamentos, que irão interferir diretamente no processo de avaliação:
• O usuário quer descobrir se existe algo escrito acerca de determinado assunto e
ficará satisfeito se encontrar um item que trate do assunto.
• O usuário quer recuperar uma seleção de itens representativos sobre um
assunto, mas não precisa encontrar tudo.
• O usuário quer uma busca exaustiva e tudo sobre o assunto deve ser
recuperado.
36
• O usuário crê que nada foi publicado e se lança a prová-lo.
Hartman (1973) considera que a satisfação e benefício dos investimentos em SRI se
justificam quando conseguem atender plenamente aos usuários, porém nunca
conseguirão fazê-lo plenamente, pois as necessidades de busca da informação variam
no transcorrer do tempo, e os serviços que oferecem tais informações não conseguem
acompanhar esta velocidade. Neste sentido, Dippel e House (1969) sustentam a
hipótese argumentando que o homem se encontra em constantes interações com o
meio, que altera as suas expectativas, pois ele é dinâmico, mutável e oferece inúmeras
alternativas. Ou seja, os SI e seus recursos deveriam acompanhar tais mutações.
Porém, o processo de tratamento da fonte das informações, processamento,
transmissão para conhecimento dos usuários, representação, organização e
armazenamento é complexo e exige uma demanda considerável de tempo, não
conseguindo acompanhar o ritmo imposto pelo usuário.
Para Lancaster (1993), avaliação é o ato de medir o valor, sendo um exercício
intelectual, com o objetivo de reunir dados úteis para as atividades destinadas a
solucionar problemas ou tomar decisões. A avaliação passa pelas etapas de aquisição,
tratamento e disponibilização da informação, considerando o processo “Insumo –
Produtos – Resultados”. A complexidade da avaliação caminha no sentido de se avaliar
características tangíveis para intangíveis no mesmo sentido. Ou seja, os critérios de
avaliação são mais tangíveis e mensuráveis nas primeiras etapas deste processo,
porém, se tornam cada vez mais intangíveis e de difícil mensuração quando o processo
finaliza, conforme FIG. 3:
37
Os indicadores de avaliação dos insumos são quantitativos, por exemplo, custo de
aquisição. Os produtos, ou seja, as informações disponíveis estão diretamente
relacionadas com o fator resultado, que é o sucesso ou não da busca do usuário. Os
produtos podem ser avaliados pelo número de documentos fornecidos, encaminhados,
quantidade de buscas, etc. Os resultados, fator altamente subjetivo, avaliam o grau de
satisfação e atendimento do documento ás necessidades do usuário. Neste sentido,
Lancaster (1993), define que os resultados da avaliação são mensurados pelos
seguintes critérios:
• Eficácia: proporção de demandas de usuários que foram satisfeitos
• Benefícios: obtenção dos resultados desejados
• Custo: tempo despendido na busca da informação e custo de aquisição dos
documentos.
INSUMOS
Organização e controle
• Catalogação
• Classificação
• Indexação
• Redação de resumo
• tradução
Serviço
• Sob demanda
o Documentos
o Busca
o Perguntas
• Notificação
o solicitação
PRODUTOS
FIGURA 3. Etapas da avaliação dos insumos de informação.
FONTE: Lancaster, 1993.
RESULTADOS
Mais fácil mensurar
os critérios de avaliação
Mais
difícil
mensurar os critérios de avaliação
38
Portanto, ao se avaliar um SI, vários aspectos são considerados, desde fatores
relacionados ao custo de aquisição, técnicas de tratamento dos documentos e
disponibilização da informação. Além disso, as pesquisas sobre o comportamento de
busca do usuário devem englobar as seguintes características (LANCASTER, 1993),
como descrito no QUADRO 1.
Princípio do menor esforço O sistema deve ser fácil de usar e possibilitar ao usuário
encontrar as informações de forma objetiva e sem
dualidade.
Resistência à mudança As mudanças no SI devem ser realizadas de maneira
gradual e evolutiva, sem criar um impacto negativo na
usabilidade.
Quantidade de informação
necessária
O Sistema deve ser planejado de tal maneira a atender
às necessidades objetivas do usuário
Pesquisas orientadas Os SI devem estar planejados com a capacidade de
possibilitar pesquisas orientadas e abertas aos usuários.
Temporalidade As informações disponíveis devem ser atualizadas no
menor espaço de tempo possível para não haver conflito
entre a realidade e o teor das informações disponíveis.
Qualidade da informação As informações disponibilizadas pelo sistema devem ter
alto rigor de precisão e confiabilidade.
Consistência Variável associada ao desempenho do sistema de
acordo com as expectativas do usuário
Continuidade Está associado à capacidade do Sistema de não haver
ininterrupção que prejudique o andamento normal do
trabalho do usuário
Precisão Quantidade de erros enfrentados pelo usuário no
processo de busca da informação
QUADRO 1
Características do processo da recuperação da Informação
39
Corretude Está associado aos fatores de usabilidade de software
(portabilidade e extensibilidade)
Satisfação do usuário Realização de pesquisas semi-estruturadas que
possibilitem acompanhar e adaptar o Sistema para um
“estado da arte”. Os fatores são ligados às variáveis da
informação que explicitam o perfil dos usuários e suas
expectativas.
2.2.2 Avaliação de SI e a Ciência da Computação
Outra perspectiva para se avaliar os SI é sob aspectos ligados à estrutura
tecnológica e computacional. Estas avaliações se encontram cada vez mais presentes
e necessárias devido aos grandes avanços tecnológicos e ao fato de que a maioria dos
SI, atualmente, se encontra suportado por uma base computacional. Para Turban
(2003, p. 17), um Sistema de Informação baseado em computador - SIBC é definido
como: “é um sistema de informação que usa o computador e a tecnologia de
telecomunicações para executar suas tarefas. Uma tecnologia da informação é um
componente particular de um sistema”. Os aspectos mais importantes a serem
considerados são: tempo de acesso à informação que depende diretamente do
desempenho do hardware, rede e processadores; apresentação da informação que
está diretamente ligado às características técnicas do desenvolvedor do sistema;
organização das bases de dados; integração entre sistemas distribuídos e a capacidade
do sistema em manter os dados atualizados e disponíveis. Dias (2001) esquematizou
FONTE: Lancaster, 1993.
40
os níveis de ASI e a relação com os aspectos a serem avaliados sob a perspectiva
computacional, conforme FIG. 4.
Nesta FIG. 4, Dias (2001) considera como níveis de avaliação o valor percebido
dos usuários com relação ao sistema, aspectos relativos ao uso, custo e confiabilidade.
Os critérios de utilidade e usabilidade estão diretamente relacionados aos parâmetros
de uso e custo do sistema, e a confiabilidade está relacionada à qualidade. Para a
autora, todos estes fatores estão diretamente relacionados às configurações
tecnológicas. A partir destes aspectos, é possível identificar características mais
particulares de avaliação e suas variáveis específicas sob a perspectiva computacional,
como:
Avaliação de
Sistemas
Valor
adicionado
Uso Custo Confiabilidade
Utilidade Usabilidade Qualidade
- abrangência
- funcionalidade
- interface c/ usuário
- operacionalidade
- flexibilidade
- eficiência
- consistência
- continuidade
- corretude
- precisão
- tempestividade
- satisfação do usuário
FIGURA 4: Variáveis de avaliação dos SI e os aspectos computacionais
FONTE
: Dias, 2001
41
Abrangência - verifica se o sistema executa todas as rotinas responsáveis pelo seu
completo funcionamento. Avalia-se pela razão entre a quantidade de rotinas que foram
automatizadas e que contribuem para o atendimento das necessidades dos usuários e
a quantidade das rotinas solicitadas pelo usuário.
Funcionalidade - é o conjunto de métricas para o bom atendimento às necessidades
do usuário final. Cada serviço ou modificação para reparar uma deficiência pode
representar uma métrica para avaliação, quantificado pela razão entre quantidade de
requisitos atendidos e a quantidade de requisitos solicitados pelo usuário.
Usabilidade - considera as características que influenciam na Interface Homem-
Máquina (IHM):
• Facilidade de uso
• Facilidade de reuso
• Eficiência
• Poucos erros
• Auto-aprendizagem
• Satisfação e prazer
• Percepção favorável do usuário
Software - São os aspectos relativos à qualidade do software e sua capacidade de se
adequar às necessidades do usuário e facilidade de uso:
• Entradas dos campos são pré-definidos
• Crítica às entradas
• Atualização dos dados já fornecidos
• Capacidade de selecionar dispositivos de entrada/saída
42
• Possibilidade de formatação da saída
• Saídas padronizadas e identificadas
• Existência de sistema de ajuda
• Documentação abrangente
• Procedimentos dos manuais são suficientes para executar as tarefas
• Material didático suficiente.
Operacionalidade - Engloba as características de desempenho do SI:
• Tempestividade = rapidez que a informação é liberada, considerando o
Intervalo de tempo entre atualizações.
• Eficiência = recursos e tempo envolvido na operação estejam compatíveis
com o nível de desempenho requerido pelo usuário.
Como os SI têm migrado para a Internet, as características tecnológicas de
avaliação devem ser revistas. Segundo os estudos em bibliotecas digitais de
Böhmerwald (2003), o grau de facilidade com que o usuário encontra, entende e utiliza
a informação disponível, servem como parâmetros que norteiam a avaliação dos SI. A
interface amigável, taxa de erros, facilidade de aprendizado e memorização das
funções, eficiência na recuperação e flexibilidade de busca, são fatores fundamentais
para avaliar o SI. Percebe-se, então, uma relação muito forte entre a Ciência da
Informação e a Ciência da Computação nos aspectos relacionados à usabilidade, pois
ambas tratam da disponibilização das informações e eficiência na busca pelo usuário. .
Para Allen (1994) a Ciência da Informação e da Computação partilham fortemente do
mesmo objeto de estudo. Segundo o autor, um dos objetivos das pesquisas em Ciência
43
da Informação é investigar processos que melhorem a atuação dos sistemas. Encontra-
se, portanto, uma forte relação de interdisciplinaridade entre as ciências, pois os testes
de usabilidade passam a ter importância em ambas as esferas. Para Levi e Conrad
(1997, p.2), “o teste de usabilidade é o processo pelos quais as características de
interações homem-computador de um sistema são medidas, e as fraquezas são
identificadas para correção”. Um fator importante a ser considerado é a avaliação de
usabilidade durante o desenvolvimento do sistema, e não somente após. As alterações
são mais facilmente feitas, não só na interface, mas o usuário se torna mais
participante. Segundo pesquisa de Böhmerwald (2003) as avaliações de usabilidade
podem ser efetuadas segundo as seguintes perspectivas:
• Análise heurística: é a identificação de problemas de usabilidade por
especialistas de Interface Homem-Computador, onde cada problema encontrado
é classificado como uma violação de um ou mais princípios de usabilidade.
• Testes com usuário final: representantes com tarefas específicas de simulação,
utilizando variáveis como tempo de uso e número de páginas acessadas. Os
trabalhos podem ser feitos com usuário e especialistas, duplas de usuários ou o
usuário utilizando o dia-a-dia, sem contato com os especialistas. Pode ser usado
um laboratório com filmagem com a técnica “pensar em voz alta”. Neste caso, a
opinião do usuário é importante e a análise é mais realista. Porém, é um teste
demorado, caro e o usuário pode se sentir intimidado. Às vezes são utilizados
“agentes inteligentes” para simular tempo de download ou carga de página.
Também softwares que monitoram a ação do usuário, sendo visto pelo
especialista à distância, podendo, inclusive, gravar as ações do usuário.
44
• Ferramentas de log: gravam-se características de navegação do usuário, como
tempo de leitura, duração da sessão, etc. Verifica-se o comportamento do
usuário em um ambiente natural e pode-se usar a base de vários usuários.
Porém, o log pode comprometer o desempenho do sistema e o usuário não está
presente para manifestar o sucesso ou não da busca.
• Questionário: demonstram as características subjetivas como satisfação,
eficácia, aparência, utilidade e capacidade de aprendizado..
• Classificação de fichas: testa aspectos globais e estruturais do sistema.
Outras abordagens utilizadas para ASI no âmbito da Ciência da Computação são os
métodos de teste de caixa-branca, caixa-preta e análise de ponto de função, descrito
por Paula Filho (2000), onde se avalia a qualidade do software desenvolvido e as
margens de erro do sistema. Os sistemas são colocados sob exaustivos testes, que
pode ser tanto manual quanto automático, simulando situações reais e inserindo
possibilidade de erros. Estes testes validam os métodos de desenvolvimento de
sistemas, eliminando informações equivocadas para os usuários. Uma outra abordagem
para a ASI neste âmbito é o modelo de maturidade do sistema – CMM (FIORINI et al,
1998). O CMM (Capability Maturity Model) é um modelo de avaliação do
desenvolvimento de sistemas que enfatiza a documentação dos processos
considerando. O CMM, proposta desenvolvida pelo SEI (Software Engineering Institute)
da Universidade de Carnegie Mellon
2
, considera que a qualidade de um produto é o
reflexo da qualidade do gerenciamento do processo utilizado em seu desenvolvimento.
Mesmo um processo consistente de Engenharia de Software não consegue superar a
2
http://www.sei.cmu.edu/
45
instabilidade criada pela ausência de sólidas práticas gerenciais. O grande desafio do
desenvolvimento dos SI é desenvolver sistemas com qualidade assegurada, elevada
produtividade, dentro do prazo estabelecido, sem necessidade de mais recursos do que
os alocados. A causa para este fato é a baixa qualidade dos sistemas, alto custo de
desenvolvimento, alto custo de manutenção, falta de cumprimento dos prazos, falta de
processo de desenvolvimento claramente definido e efetivo. Ou seja, não se segue um
método de desenvolvimento que tenha normas definidas, precisas e documentadas, e
que haja um acompanhamento da evolução de novos produtos. O CMM Considera
cinco níveis de maturidade:
1. Inicial - processo imprevisível e quase sem controle.
2. Repetitivo - desenvolvimento bem sucedido pode ser repetido.
3. Definido - processo bem caracterizado e satisfatoriamente bem atendido
4. Gerenciado - processo medido e controlado
5. Otimizado - foco na melhoria do processo.
Este método de avaliação de maturidade de SI é explorado por Ehms e Langen
(2002), quando incorpora ao modelo fatores como ambiente e parcerias, pessoas e
competências, colaboração e cultura. Outros fatores influenciam no modelo como
liderança e suporte às decisões, estruturas do conhecimento organizacional, tecnologia,
infra-estrutura, processos e papéis. Esta abordagem KMMM (Knowledge Management
Maturity Model) incorpora conceitos de níveis de maturidade do CMM e a gestão do
conhecimento como caminho para a avaliação de diversos aspectos organizacionais e
informacionais.
46
2.2.3 A Avaliação de SI e a Ciência da Administração
Os SI estão, cada vez mais, inseridos no ambiente corporativo, auxiliando nos
processos administrativos, dando suporte às decisões e integrando estratégias
competitivas. Para Porter (1999, p. 83) “A revolução da informação está passando de
roldão por toda a economia. Nenhuma empresa escapa dos seus efeitos” Para Porter
(1999, p. 84), a revolução da informação está afetando a competição de três maneiras
vitais:
• Muda a estrutura setorial e, assim, altera as regras de competição.
• Gera vantagem competitiva ao proporcionar às empresas novos modos de
superar o desempenho dos rivais.
• Dissemina negócios inteiramente novos, em geral a partir das atuais operações
da empresa.
Considerando a ASI sob a perspectiva da Administração de Empresas, é necessário
fazer uma relação entre os SI e o Planejamento Estratégico, as relações na cadeia
produtiva, na estrutura organizacional e o uso das informações para redução da
incerteza na tomada de decisão. O Planejamento Estratégico, um dos principais
mecanismos de orientação que uma empresa tem para competir no mercado, tem se
transformado consideravelmente nas últimas décadas. O Planejamento Estratégico é
elaborado por meio de uma técnica administrativa de análise do ambiente, das
ameaças e oportunidades, dos pontos fortes e fracos da corporação (HITT et al, 2002).
A intensa competitividade tem obrigado as empresas a repensar a modelagem das
estratégias de negócio, pois, além da competição acirrada, agregam-se grandes
avanços tecnológicos. Segundo Kaplan e Norton (1997, p. 3), “[...] o advento da era da
47
informação nas últimas décadas do século XX tornou obsoleto muita das premissas
fundamentais da concorrência [...]”. Portanto, a informação e os SI tem servido como
uma das principais forças desta mudança. A relação que existe entre o Planejamento
Estratégico de uma empresa com os SI é consideravelmente forte, pois os parâmetros
que orientam o seu desenvolvimento são as informações geradas, acessadas,
transformadas e consumidas em todos os níveis hierárquicos. Portanto, os SI atuam
como geradores destas informações, ocupando um papel fundamental na elaboração
do Planejamento Estratégico, dada a rápida evolução dos sistemas, as suas aplicações
cada vez mais próximas das operações empresariais e na atuação dos sistemas em
todas as áreas das corporações, tanto nos níveis administrativos como de produção.
Conforme descrito por Laudon e Laudon (1999),
Sistemas de informação estratégica mudam as metas, as operações, os
produtos, os serviços ou os relacionamentos ambientais das organizações para
ajudá-las a ganhar vantagens sobre os concorrentes (LAUDON e LAUDON,
1999, p. 37).
Essa possibilidade, de que os SI possam atuar sobre as operações, produtos e
relacionamentos de uma empresa se dão sob dois aspectos (DIAS, 2004):
- Primeiramente quando eles (os SI) atuam diretamente na cadeia produtiva, ou
seja, na relação com os clientes e fornecedores. Como exemplo, na implantação
de Sistemas de relação com o cliente e mercado (CRM - Customer Relationship
Management); e em sistemas de integração com os fornecedores (EDI –
Electronic Data Interchange).
- No segundo aspecto, quando os SI penetram na cadeia de valores da empresa,
alterando o processo produtivo.
48
O conceito de Cadeia de valores é descrito como:
A cadeia de valores desagrega uma empresa nas suas atividades de relevância
estratégica para que se possa compreender o comportamento dos custos e as
fontes existentes e potenciais de diferenciação (PORTER, 1989, p. 31).
Quando os SI têm a função de atuar estrategicamente sobre o processo produtivo,
eles devem ser capazes de obter economias de escala e escopo, ou seja, a redução
dos custos operacionais por unidade e a possível melhoria da qualidade de produção.
As economias de escala estão associadas à redução de custo em função de ganhos de
especialização e o uso apropriado do processo produtivo, conforme descrito por Looty e
Szapiro (2002).
Prosseguindo com esta análise, é possível verificar que as cadeias de valores entre
as empresas se conectam, formando uma rede de cadeias chamada de Sistema de
Valores (PORTER, 1989). Ou seja, os SI têm a capacidade de extrapolar o ambiente
interno das corporações e se inter-relacionam na cadeia produtiva, gerando
informações estratégicas fora e dentro da corporação. Os SI formam entre os
fornecedores, as empresas, os clientes e o próprio processo interno, uma malha
complexa e altamente rica de informações estratégicas, conforme FIG.5. As empresas,
percebendo esta capacidade, têm investido montantes cada vez maiores em SI. O
grande problema é que, muitas vezes, não existe um planejamento adequado e
integrado entre os princípios do Planejamento Estratégico e os SI. Segundo Mcgee e
Prusak (1994):
As grandes empresas estão gastando mais dinheiro do que nunca na obtenção
de informações, mas muito dinheiro é perdido na construção de ineficientes
centros informacionais baseados em bancos de dados não apropriados ou
carregados de informações não relevantes (MCGEE e PRUSAK 1994, p. 102).
49
Tem-se, então, o peso considerável das informações geradas pelos SI e a sua
interseção com a elaboração do Planejamento Estratégico, conforme analisado por
Mcfarlan (1998), Jamil (2001), Mañas (2002) e Löbler (2004). Citando Jamil (2001, p.
49), “O relacionamento entre estratégia e informações é inevitavelmente estreito,
mesmo sem considerarmos a qual tipo de organização estamos nos referindo”. Mesmo
assim, a maioria das empresas tem dificuldade em entender, planejar, programar e
operacionalizar esta relação. Segundo Mcfarlan (1998, p. 92), “o processo se complica
pelo fato de que muitos produtos dos Sistemas de Informação são estratégicos, embora
benefícios potenciais sejam muito subjetivos e de difícil verificação”.
Na realidade, os SI estão criando um papel que vai além de um mero gerador de
informações. Os SI, em vários segmentos, estão formando o principal mecanismo da
estratégia de negócio. Ele cumpre essa missão no momento em que atua diretamente
FORNECEDOR
EMPRESA
CLIENTE
SISTEMAS DE
INFORMAÇÃO
SISTEMAS DE
INFORMAÇÃO
SISTEMAS DE
INFORMAÇÃO
SISTEMA DE VALORES
Cadeia de Valores Cadeia de Valores Cadeia de Valores
FIGURA 5: Sistemas de Informação e cadeia de valores
FONTE: adaptado de Porter, 1989.
50
sobre os processos produtivos e as relações existentes na cadeia produtiva,
penetrando na cadeia de valores e interferindo nas relações de produção, custos e
qualidade. Ocorre, então, que os SI estão ocupando duas formas de interseção com o
Planejamento Estratégico: primeiro como gerador de informações para tomadas de
decisões e a orientação da estratégia de negócios, e em seguida como sendo o SI a
própria estratégia. É necessária a criação de conectores que possibilitem uma maior
eficiência na interseção entre os SI e o Planejamento Estratégico, dada a alta
correlação existente entre eles e o impacto sobre a operacionalização das metas
estabelecidas.
Diversos métodos têm sido criados para verificar a coerência na elaboração de
ambos os planejamentos, para que os SI possam apresentar a sua principal função
como mecanismo estratégico e empresarial. A abordagem de McFarlan (1998)
demonstra a necessidade que as empresas têm em avaliar o impacto ao se adotar os
SI como estratégia de negócios. Segundo McFarlan (1998), para que as empresas
possam avaliar o impacto dos SI e em que proporção este impacto afeta a sua
estratégia, cinco perguntas devem ser feitas:
• O SI pode erguer barreiras a entradas?
• O SI pode impedir a troca de fornecedores?
• O SI pode alterar a base competitiva?
• O SI pode alterar o equilíbrio de poder nas relações com os fornecedores?
• O SI pode gerar novos produtos?
Pelos princípios de McFarlan (1998), destacam-se dois aspectos importantes: a
criação de barreiras de entrada ocorre quando um novo entrante, ou seja, um novo
51
concorrente necessita dispor de altos recursos financeiros e estratégicos para poder
diminuir o marketshare das outras empresas, e criar condições de uma competição no
mesmo nível, conforme descrito por Porter (1980). Os SI atuam como criadores dessas
barreiras no momento em que o competidor que está ingressando no mercado
necessitar de mais tempo e recurso para alcançar o nível que a empresa concorrente já
se encontra. Portanto, a empresa já estabelecida pode desenvolver novos mecanismos
de competição por ocupar uma posição estratégica mais confortável.
Um outro aspecto importante é quando os SI criam uma forte relação com os
fornecedores, pois a base informacional pode acarretar diminuição dos custos
operacionais, de transporte e estocagem, assim obtendo economias de escala e
escopo. Além disso, na relação com os fornecedores podem existir altos custos de
transação, ou seja, são os custos de negociação e cumprimento dos acordos. Segundo
Fiani (2002, p. 269), “são os custos que os agentes enfrentam toda vez que recorrem
ao mercado”. Custos de Transação são os custos que envolvem as negociações da
cadeia produtiva, além dos próprios custos de operação. Caso os SI possam atuar
nesta relação, a possibilidade de serem estratégicos é bastante considerável.
Turban et al (2003) consideram os SI como ferramentas geradoras de estratégias
competitivas a partir do momento que suportam as estratégias principais da empresa na
negociação, conforme citado:
Sistemas de Informação Estratégicos (SIS – Strategic Information System) são
aqueles que dão suporte ou formam a estratégia competitiva de uma
organização. Um SIS é caracterizado por sua possibilidade em modificar
significativamente o modo de negociar (TURBAN et al, 2003, p. 439).
52
Segundo Turban et al (2003) os Sistemas Estratégicos tem quatro funções:
• Criam aplicações que oferecem uma vantagem estratégica imediata às
organizações;
• Oferecem suportes para mudanças estratégicas como a otimização;
• Oferecem novidades tecnológicas ou atuam como acionadores de inovação;
• Oferecem Inteligência Competitiva, obtendo e analisando informações sobre
novidades de mercado, concorrentes e mudanças ambientais.
Portanto, Turban et al (2003) consideram que a TI e os SI como estratégias
aplicadas para manter a vantagem competitiva através da mudança estrutural. A
Tecnologia dos SI funciona como um aumento da produtividade através da automação
de processos internos e como agente gerador de vantagem estratégica.
Para se obter dos SI como função de ferramenta integrante do Planejamento
Estratégico, é necessário modelar o alinhamento entre os dois. A não modelagem deste
alinhamento é o grande responsável pela falta de retorno empregado em SI. Deve
existir uma sinergia e integração bem fundamentada para garantir a execução da
estratégia de negócios com a informação. Para Rezende e Abreu (2003) é necessário
que as organizações tenham seus Planejamentos Empresariais e de sistemas
integrados e sinergia e o alinhamento estratégico dos negócios e dos SI é muito
importante para a sobrevivência das organizações.
O Planejamento Estratégico não é um processo estático e delimitado. Na realidade,
é um processo altamente dinâmico e em constante evolução. Segundo Rezende e
Abreu (2003) o Planejamento Estratégico é um processo dinâmico e interativo para
determinação dos objetivos, políticas e estratégias empresariais.
53
O modelo de alinhamento proposto por Rezende e Abreu (2003) é sustentado pelos
vetores:
• Tecnologia da Informação;
• SI e do conhecimento,
• Recursos Humanos e
• Contexto Organizacional.
O alinhamento entre o “Planejamento Estratégico da Informação” (PEI) e
“Planejamento Estratégico Executivo” (PEE), com as dimensões, recursos, ferramentas
e seus negócios, formam a interseção entre as dimensões, conforme FIG. 6.
TECNOLOGIA DA INFORMAÇÃO
(TI)
SISTEMAS DE INFORMAÇÃO E
DO CONHECIMENTO (SI)
RECURSOS SUSTENTADORES DO ALINHAMENTO ESTRATÉGICO
PESSOAS OU RECURSOS
HUMANOS (RH)
CONTEXTO ORGANIZACIONAL
(CO)
PLANEJAMENTO
ESTRATÉGICO
DA
TECNOLOGIA DA
INFORMAÇÃO
(PETI)
PLANEJAMENTO
ESTRATÉGICO
EMPRESARIAL
(PEE)
ALINHAMENTO
ESTRATÉGICO
(AE)
Para os autores, é necessário que as organizações tenham seus Planejamentos
Empresariais e SI integrados, coerentes e com sinergia, onde as estratégias
empresariais e as estratégias dos SI devam estar plenamente alinhadas entre si.
FIGURA 6 – Desenho da visão geral do modelo proposto de alinhamento do PETI ao PEE
FONTE Rezende e Abreu, 2002.
54
Portanto, o alinhamento entre os Planejamentos de SI e Executivos constitui a partir da
relação vertical, horizontal, transversal, dinâmica e sinergética das funções
empresariais que promovem o ajuste ou a adequação estratégica das tecnologias
disponíveis de toda a organização, como uma ferramenta de gestão empresarial
contemplada pelos conceitos de qualidade, produtividade e inteligência competitiva.
Um outro modelo proposto é o de Brodbeck e Hoppen (2002). Eles consideram
que, mesmo as empresas percebendo a importância do alinhamento entre
Planejamentos Estratégicos e de SI, os problemas enfrentados na execução do
alinhamento possuem vários obstáculos a serem ultrapassados. Conforme eles
demonstram, mesmo havendo concordância geral com o impacto positivo do
alinhamento para as organizações, ainda existem alguns elementos inibidores do
processo como um todo, sejam eles problemas de comunicação, perda de recursos ou
de comprometimento. Os autores propõem um modelo baseado em alinhamentos
circulares e contínuos entre os dois planejamentos. São consideradas as variáveis que
identificam o alinhamento estratégico durante a etapa de formulação dos planos de
negócio e de SI e as variáveis adicionais que identificam o alinhamento estratégico
durante a etapa de implementação dos objetivos e estratégias do plano de negócio.
Este modelo de alinhamento está baseado em duas suposições: de que o desempenho
econômico está diretamente relacionado com a habilidade do gerenciamento para criar
uma adequação estratégica e de que a adequação estratégica é essencialmente
dinâmica.
Portanto, o alinhamento estratégico não é um evento isolado, mas um processo
contínuo de adaptação e mudança. O modelo conceitual tem dois elementos
promotores do alinhamento: a adequação estratégica entre os objetivos de negócios e
55
de SI, promovendo um processo de revisão contínua das estratégias estabelecidas e
uma integração funcional entre as diferentes funções do negócio. O modelo é analisado
sob as duas perspectivas: o alinhamento circular entre objetivos e estratégias de
negócios e de Informação, indicando que o re-direcionamento de alinhamento pode ser
feito por ambos, a qualquer instante, e o alinhamento cíclico e crescente no tempo e
espaço, indicando o movimento dos itens planejados do estado presente para o estado
futuro, implementado-se a visão básica de processo em movimento.
O plano PEN (Planejamento Estratégico de Negócios) e o PETI (Planejamento
Estratégico da Tecnologia da Informação) compreendem estratégia, objetivos,
processos, infra-estrutura, pessoas. Forma-se, portanto, o alinhamento através de
adequação estratégica, integração informacional e integração funcional, conforme
mostrado na FIG. 7.
Etapa de FORMULAÇÃO do Processo de PE Estágio 1
Etapa de IMPLEMENTAÇÃO do Processo de PE Estágio 1
PLANO DE
NEGÓCIO (PEN)
- estratégias
- objetivos
- processos
- infra-estrutura
- pessoas
PLANO ESTRATÉGICO
Estratégias e Objetivos Organizacionais de Longo Prazo
Etapa de FORMULAÇÃO do Processo de PE
PLANO DE
TI (PETI)
- estratégias
- objetivos
- processos
- infra-estrutura
- pessoas
Alinhamento Estratégico (AE)
- adequação estratégica
- integração informacional (SII)
- integração funcional (SII)
PLANO DE
NEGÓCIO (PEN)
- estratégias
- objetivos
- processos
- infra-estrutura
- pessoas
Etapa de IMPLEMENTAÇÃO do Processo de PE Estágio n
PLANO DE
TI (PETI)
- estratégias
- objetivos
- processos
- infra-estrutura
- pessoas
Alinhamento Estratégico (AE)
- adequação estratégica
- integração informacional (SII)
- integração funcional (SII)
- metodologia
- comprometimento
- sincronização de recursos
- instrumentação da gestão
Estado Presente
Estado Futuro
Horizonte 1-5 a
n
os
Ci
c
lo
1
A
l
i
n
h
a
m
e
n
t
o
C
o
n
t
í
n
u
o
-
i
n
s
t
r
u
m
e
n
t
a
ç
ã
o
d
e
g
e
s
t
ã
o
Ciclo n
Estado Presente
X
Y
Z
FIGURA 7: Modelo Operacional do Alinhamento Estratégico
FONTE: Brodbeck e Hoppen, 2002.
56
Para Wolstenholme et al (1993), enquanto se tem dado atenção bastante à relação
custo-benefício dos SI, pouco se tem realizado para definir o verdadeiro valor e sua
contribuição para as organizações. Apesar do crescimento elevado de pesquisas
realizadas nesta área, os estudos não são congruentes e não chegam a um escopo
concreto sobre critérios de avaliação. Wolstenholme et al (1993), os critérios utilizados
para avaliar um MIS (Management Information System) e garantir a sua funcionalidade
para as organizações, elas devem atender aos seguintes princípios:
• Acessibilidade: a informação deve estar acessível no momento imediato à sua
pesquisa.
• Relevância: a informação deve estar acima do estágio atual de conhecimento do
usuário.
• Temporalidade: o sistema deve oferecer o tempo mínimo de busca e
recuperação da informação.
• Acurácia: determina a diferença entre o estado atual e real da informação, ou
seja, o nível de confiabilidade que a informação que representa para o usuário.
O grande problema para as organizações é poder garantir que os investimentos
realizados em SI consigam atender às necessidades da empresa e dos funcionários.
Para Wolstenholme et al (1993):
apesar de cada vez mais inseridos no contexto e na estrutura empresarial,
usuários continuam insatisfeitos com o desempenho, tempo e confiabilidade
das informações geradas pelos Sistemas de Informações Gerenciais
(WOLSTENHOLME et al 1993, p. 5).
Na realidade, os SI são desenvolvidos isoladamente, sem uma integração efetiva
das informações e sem uma afinidade com a realidade das empresas, criando um hiato
entre a realidade e aquilo que os SI oferecem. O alinhamento entre os SI e os negócios
57
das organizações, convertendo em vantagens competitivas, requer uma adaptabilidade
dos SI às mudanças e velocidade às respostas. Com isto, três funções dos SI e a
posição estratégica são necessárias, Wolstenholme et al (1993):
• Identificar e entender os componentes e estrutura da organização e as funções
específicas onde o SI pode ser aplicado.
• Entender as características do SI e como elas podem ser exploradas.
• Identificar a relação destes fatores com o impacto organizacional.
A maioria dos métodos de ASI se baseia na relação custo-benefício, para justificar
os altos investimentos. Porém, a efetividade é pouco explorada, como descrito por
Conrath (1990), Wolstenholme et al (1993), Cassaro (2001) e Brodbeck e Hoppen
(2002). Provavelmente os sistemas não são desenvolvidos considerando-se a inserção
do sistema em um mundo real. Ele é baseado em situações particulares e requisições
específicas, sem uma relação maior com todo ambiente onde ele se encontra. Portanto,
apesar da visão holística inicial do desenvolvimento de um SI, ele é rapidamente
movido do alto nível para o baixo, em uma visão reducionista. Essa visão reduz a
análise das possibilidades de atuação do sistema. Isto, portanto, não considera o
verdadeiro impacto do SI na empresa como possibilidade estratégica. Situações
isoladas, ou particulares, podem ser bem avaliadas, mas não são ao todo, com o
mesmo potencial que fossem realizadas em conjunto.
O QUADRO 2 demonstra a abordagem do desempenho de um MIS, segundo
McGee e Prusak (1994).
58
Beneficiário Medidas primárias Medidas secundárias
EMPRESA
• Custo / benefício.
• Contribuição para
o posicionamento
estratégico
• Rentabilidade,
produtividade.
• Vantagem competitiva
USUÁRIO
• Utilização
• Qualidade da
decisão
• Satisfação do
usuário
• Número de demandas
atendidas
• Contribuição aos
objetivos, tempo para
resposta às decisões.
• Acurácia,
confiabilidade,
temporalidade,
relevância,
compreensibilidade.
A Avaliação de SI e a Gestão do Conhecimento
O conhecimento nas organizações tem sido alvo de atenção de diversos
pesquisadores, no intuito de reconhecer a dinâmica da sua construção. Os gestores
têm no conhecimento um recurso imenso de potencial e diferenciação. Porém, esta é
uma questão altamente complexa, devido ao seu caráter intangível, subjetivo e não
mensurável, conforme descrito por Nonaka e Takeuchi (1994) e Choo (1998, 2003),
entre diversos outros. É importante analisar a relação entre os SI e ASI com a Criação e
Gestão do Conhecimento nas organizações. Para Choo (1998, p. 25), “a criação do
conhecimento provoca inovações e gera competências organizacionais que ampliam o
QUADRO 2
Abordagem do desempenho de um MIS
FONTE: McGee e Prusak, 1994
59
horizonte das escolhas possíveis no processo de tomada de decisão”. Os SI, devido à
sua penetração nos processos produtivos e fonte para tomadas de decisão, acaba se
relacionando direta ou indiretamente ao conhecimento organizacional. A relação SI –
tomada de decisão – conhecimento, cria uma série de fatores que interferem nas ASI.
Portanto, analisar o conhecimento tem como base a análise da busca e uso da
informação no nível coletivo e individual, criando um impacto nas atividades
corporativas. Para Choo (2003) a busca de informação é o processo pelo qual o
indivíduo procura informações de modo a mudar seu estado de conhecimento. Os SI
ocupam esta função de maneira notória e ocupam um importante papel de geração de
conhecimento.
Choo (1998, 2003), discute a Gestão do Conhecimento propondo o ciclo de
conhecimento que aborda o uso da informação nos processos de construção de sentido
(sense making), criação do próprio conhecimento e tomada de decisão. Para Choo
(2003), a busca da informação é o processo pelo qual o indivíduo procura informações
de modo a mudar seu estado de conhecimento. Nesta perspectiva, esta procura que
ocorre no nível do indivíduo, baseia na abordagem cognitiva de criação de significado
desenvolvido por Dervin (1992). Choo (2003) define o uso da informação como a
seleção de mensagens relevantes, de modo a gerar uma mudança no estado de
conhecimento do indivíduo ou em sua capacidade de agir. Neste processo, o modelo de
Choo (1998) é influenciado pela teoria da “criação de significado” de Weick (1995),
onde o objetivo da construção de sentido é gerar uma interpretação do ambiente
externo que seja compartilhada por todos na organização. Para Weick (1995), a
organização dá sentido ao seu ambiente por meio de sub-processos interligados.
60
Portanto, existe uma forte relação entre os SI e a Gestão do Conhecimento definido
pelos autores, pois os SI servem de base para a disseminação das informações no
ambiente corporativo e serve como fonte de tomadas de decisão e interpretação do
ambiente. Os SI acumulam informações que servirão para a modelagem do
conhecimento, o seu fluxo e criação de sentido. Conforme citado por Carvalho (2006):
o papel principal da Tecnologia da Informação (TI) na gestão do conhecimento
consiste em ampliar o alcance e acelerar a velocidade dos fluxos de
conhecimento. As ferramentas de gestão do conhecimento pretendem auxiliar
no processo de captura e estruturação do conhecimento de grupos de
indivíduos, disponibilizando este conhecimento em uma base compartilhada por
toda a organização (CARVALHO, 2006, p. 53).
Esta “base compartilhada” é sustentada pelos SI, pois as informações se
encontram disponíveis para acelerar este processo. Avaliar estes sistemas, então,
encontra uma relação com a potencialidade dos SI em gerar tais conhecimentos. Ou
seja, os SI são capazes de intervir no processo de gestão do conhecimento? Tais
abordagens são recentes e ainda em fase de construção de um corpo teórico e
empírico mais consistente (CARVALHO, 2006). Segundo o autor, “tanto na literatura da
Ciência da Informação quanto na Ciência da Computação não existe um consenso que
permita delimitar claramente a fronteira entre o que é um sistema de informação e o que
é um sistema de gestão do conhecimento...” (CARVALHO, 2006, p. 59). Portanto,
ambas as abordagens se sobrepõem, as variáveis se encontram e não existe um limite
claro sobre as funções de cada sistema. Ou seja, quando se coloca na tarefa de avaliar
um SI, em certa medida também se está avaliando a gestão do conhecimento da
organização, pois elas se interagem mutuamente. Alavi e Leidner (2001, p. 114)
entendem que “os sistemas de GC como uma classe de sistemas de informação
desenvolvidos para suportar e melhorar os processos organizacionais de criação,
61
armazenamento, recuperação, transferência e aplicação do conhecimento”. Por fim,
todas estas abordagens oferecem a imagem do extenso panorama que é a temática de
ASI, demonstrando o universo enorme de possibilidades de investigação e relações
disciplinares.
Visão crítica da tecnologia no desempenho produtivo
Porém, o uso da tecnologia nas organizações é, muitas vezes, contestado. O
“paradoxo da produtividade”, termo surgido a partir da percepção de que a
produtividade não acompanha os investimentos em tecnologia, é explorado por
diversos autores. Como demonstrado por Brynjolfsson (1993), o crescimento da
produtividade tem diminuído a cada década, desde 1960, enquanto investimentos em
tecnologia da informação não afetam a produtividade. Carr (2003) corrobora com esta
idéia a partir do momento em que ressalta que a importância das tecnologias de
informação devem ser revistas pelas organizações, devido ao pouco impacto causado
nas estratégicas.
Mesmo com estas abordagens, é inegável a influência dos SI e TI na atualidade. É
difícil imaginar atividades rotineiras sem uma base de sistema informacional. No dia-a-
dia urbano, toda a população está em contato com SI direta ou indiretamente. É fácil
perceber a migração do atendimento bancário para os caixas-eletrônicos e o internet-
banking, como também com o uso cada vez maior de transações através de cartões de
débito e crédito, substituindo o dinheiro em espécie e cheques.
Esta pesquisa pressupõe o enorme impacto e influência dos SI na sociedade atual e
a necessidade de investigar com profundidade as avaliações destes sistemas. Diversos
pesquisadores têm se debruçado sobre as avaliações, validando modelos, sugerindo
62
novas abordagens e critérios. A seguir serão demonstrados os principais modelos de
ASI.
63
2.3 Principais modelos de Avaliação de Sistemas de Informação
2.3.1 Pesquisas fundamentais
É importante analisar o sentido do que é avaliação. A questão da avaliação não é
um tema simples, tendo diversas interpretações e funções, confundindo-se com outros
termos. Para Aguilar e Ander-Egg (1994), que desenvolvem pesquisas de avaliação em
pesquisas sociais, o termo avaliação aparece “elástico”, pois tem usos diferentes e
pode ser aplicado a uma gama bastante variada de atividades humanas, pois:
em um sentido lato, a palavra avaliação se refere ao termo valor e supõe um
juízo sobre algo. Em outras palavras, a avaliação é um processo que consiste
em emitir um juízo de valor. Trata-se, pois, de um juízo que envolve uma
avaliação ou estimação de algo (objeto, situação ou processo), de acordo com
determinados critérios de valor com que se emite o juízo (AGUILAR e ANDER-
EGG, 1994, p.17)..
Aguilar e Ander-Egg (1994) diferenciam a avaliação de controle, pois o controle é
uma verificação de resultados, enquanto a avaliação é uma ponderação ou julgamento
desses resultados. Tem-se, portanto, que o ato de avaliar é subjetivo e carregado de
valores, tornando complexo a análise de avaliações. Cohen e Franco (1993, p.73),
consideram que avaliações podem ser realizadas de acordo com os seguintes critérios:
• Em função do momento em que se realiza pode ser ex-ante ou ex-post, caso
seja realizada antes ou depois do projeto ter sido realizado.
• Quanto a quem realiza a avaliação pode ser uma avaliação externa ou interna.
• Levando em consideração a escala do projeto a avaliação demanda estratégias
diferentes para projetos grandes ou projetos pequenos.
• Em função dos destinatários da avaliação, uma vez que tomadores de decisões
diversos têm demandas diferentes.
Para Lancaster (1968), avaliar é o ato de medir o valor de uma atividade ou objeto.
A avaliação é a aplicação de métodos científicos para determinar a qualidade do
64
desempenho que reúne dados necessários para determinar quais entre várias
estratégias alternativas parecem ter mais probabilidade de obter um resultado almejado
Portanto, porque avaliar SI? Primeiramente, para justificar os investimentos, preparar
mudanças, comparar sistemas e identificar possíveis falhas. As ASI se encontram em
um universo repleto de subjetividades e de variáveis diversas que demonstram a sua
complexidade, sendo movida por diversos fatores externos, sociais, comportamentais,
tecnológicos, cognitivos e das mais diversas ordens. Para Arouck (2001) os objetivos da
ASI é operá-los e mantê-los contribuindo para a empresa. Há duas perspectivas para
esse cumprimento:
• Determinar a eficácia que utiliza os recursos disponíveis (RH, equipamento e
orçamento)
• Determinar a eficácia de uso dos SI na ação dos usuários individuais ou da
organização para realizar a missão das empresas.
Nos estudos realizados, Dias (2001) diz não existir nenhuma medida global que
retrate claramente a utilização dos SI. A autora considera que as ASI podem se dar sob
dois aspectos:
• Quantitativo - representa os indicadores de desempenho como percentual de uso
do processador, quantidade de acessos;
• Qualitativo - desempenho em nível de serviço, como disponibilidade para o
usuário final, tempo de resposta.
A temática “Avaliação de Sistemas de Informação“ ressurge em meados dos anos
1970 com outras pesquisas e novas abordagens, como as de Mason (1978) e Zmud
65
(1979). Eles tomaram como base para a ASI a teoria matemática da comunicação de
Shannon e Weaver (1949), onde o objetivo era detectar os problemas de comunicação.
Segundo estes autores, os problemas de comunicação se dão em três níveis.
Primeiramente no nível técnico, tendo a acuidade como variável na transmissão dos
símbolos. Em seguida se dá no nível semântico, onde se analisa a precisão da
transmissão. Finalmente, no nível da eficácia, através do impacto no comportamento
dos envolvidos. Estes parâmetros são utilizados como referencial na ASI e são
fundamentais para a sua compreensão. Zmud (1979) define três categorias que devem
ser consideradas em se avaliar o sucesso dos SI que é o desempenho do usuário, uso
do sistema e satisfação do usuário.
Segundo Arouck (2001), desde 1980 a Society for Information System e
Management Information System Research Center realizam pesquisas para determinar
as questões mais críticas sobre a Gestão de SI e ASI. As pesquisas demonstram na
sua maioria, que medidas de eficácia dos SI devem ser vinculadas ao desempenho
organizacional. Enquanto o valor de custo para implantação dos SI é de fácil
mensuração, os benefícios são difíceis de avaliar e mensurar. Além disso, quanto mais
próximo dos níveis mais altos da organização, ou seja, dos níveis estratégicos, é mais
difícil avaliar os benefícios, pois a subjetividade, associada às tomadas de decisão é
inevitável, tornando quase impossível avaliar a eficácia dos sistemas e seu potencial
estratégico (GALLETTA e LEDERER, 1989; CONRATH e MIGNEN, 1990; GROVER,
JEONG e SEGARS, 1996 e MYERS et al 1997). É de comum visão à maioria dos
autores a falta de padronização das medidas e variáveis de ASI. Este parece ser a
maior barreira para avanços nesta área.
66
A seguir serão descritos autores e as pesquisas mais recentes que têm se
debruçado com mais notoriedade sobre a ASI, seus mecanismos, características e
principalmente revisão de publicações científicas: A referência desta revisão partiu de
estudos correlacionados, de Arouck (2001), Liebowitz (2003) e Livari (2005).
• Primeiramente Ives e Olson (1984) elaboram trabalhos onde definem duas
classes de variáveis para a avaliação dos sistemas: “Qualidade” e “Aceitação do
Sistema de Informação” que compreendem as variáveis de: usabilidade do
sistema, impacto na operação das tarefas executadas pelo usuário,
comportamento do usuário, satisfação com a informação.
• Galletta e Lederer (1989), desenvolvem um trabalho onde verificam a
fidedignidade da ASI através da satisfação do usuário. O trabalho considera os
motivos de satisfação com fatores de usabilidade e impacto na rotina de trabalho.
Os autores ressaltam o cuidado na interpretação dos dados, pelo fato de que o
instrumento de avaliação ser muito heterogêneo nos seus critérios.
• Conrath e Mignen (1990) realizaram diversas pesquisas empíricas. Os resultados
das pesquisas levam à conclusão de que poucas organizações avaliam
sistematicamente a satisfação dos usuários e os métodos aplicados. Os usuários
aplicam modelos de ASI em usuários de um Management Information System e
que ocupam cargos de tomadores de decisão. São inseridas variáveis
dependentes que tratam da motivação em avaliar sistemas e a periodicidade das
aplicações.
• Delone e McLean (1993), definem a dimensão “Qualidade do Sistema de
Informação”, onde é considerado um conjunto de operações que recebem e
67
processam dados a partir de regras. Os fatores fundamentais para a avaliação
são: acessibilidade da informação, flexibilidade de uso do sistema, integração de
tarefas através da informação, tempo de resposta às solicitações realizadas,
confiabilidade na informação recebida, facilidade de uso do sistema e nível de
utilidade da informação. Este trabalho, juntamente com o trabalho de Saunders e
Jones (1992), serviu de base para o trabalho de Myers, Kappelman e Prybutok
(1997)
• Grover, Jeong e Segars (1996) contribuem com as pesquisas de ASI ao
questionarem e relacionarem os sucessos de ASI através da eficácia das
variáveis de avaliação.
• Myers, Kappelman e Prybutok (1997), analisam a percepção de valor do usuário
como um conjunto de variáveis da ASI e o impacto destes fatores no
desempenho individual e no grupo de trabalho.
Em todos estes estudos, mensurar o impacto dos SI no indivíduo e no grupo é o
fator mais difícil de ser definido e avaliado. Questões como tempo de uso e quantidade
de acessos, forma de utilização pelos usuários e o nível de utilização geram as
variáveis que identificam a satisfação do usuário, satisfação com características
específicas, com a informação, com o software, e com a tomada de decisão. No
impacto individual é avaliada a compreensão da informação, o nível de aprendizagem,
a eficácia na tomada da decisão, a melhoria na produtividade, a capacidade de intervir
na decisão tomada e identificar e solucionar os problemas. Na questão do impacto
organizacional é possível avaliar a valorização patrimonial, capacidade de aumento de
68
lucros, redução de custos de funcionamento, ganhos de produtividade, aumento de
vendas, crescimento do mercado e na melhora da relação custo e benefício.
Dos diversos estudos realizados, vários estipulam a “Qualidade da Informação”
como uma das variáveis mais importantes de se avaliar os SI. A qualidade da
informação é, por si só, um fator extremamente subjetivo. Segundo Arouck (2001),
avalia-se pelos seguintes aspectos:
• Disposição da informação, arranjo, clareza, exatidão, confiabilidade,
veracidade, atualização, completude, suficiência, concisão, singularidade,
compreensibilidade, relevância, quantidade, eficácia, importância,
utilidade, aplicabilidade, tempo de resposta, concepção geográfica e meio.
Diversos pesquisadores utilização dos fundamentos de marketing como referência
para avaliar sistemas, onde o serviço é fonte confiável para a avaliação. Pelos estudos
de Parasuraman et al (1985), existem os chamados “gap models”, que é o grau de
discrepância entre as expectativas do serviço e a percepção do serviço prestado. Esta
análise da discrepância se dá nas relações existentes entre as seguintes perspectivas:
• Percepção que o prestador espera do usuário e o serviço esperado pelo
usuário, e tradução das percepções em especificações;
• Prestação do serviço;
• Suporte, comunicação e percepção do usuário, relação final e total entre o
ofertado e o esperado.
Custódio (1981) realizou uma pesquisa de ASI baseando-se nas premissas das
tomadas de decisão e a relação entre o investimento e custo de implantação dos
69
Sistemas e o retorno esperado. Para o autor, a decisão sobre aplicação em Sistemas
de Informação deve ser tomada à luz de critérios objetivos, como qualquer outro
projeto. A reação mais imediata é a relação entre custo e benefício. Contudo, os
argumentos mais comuns dizem respeito à dificuldade de se avaliar de maneira
quantitativa o maior benefício que um SI pode apresentar que é a melhoria das
decisões com base nas informações geradas. Para o autor, as abordagens usadas para
a ASI, segundo a perspectiva da relação custo, investimento e benefício, são:
a) Valor Econômico da Informação: baseado na estatística da decisão. Os SI são
um instrumento composto de homem-máquina que coletam dados ou observações a
respeito do ambiente, processam e enviam mensagem a um ou mais tomadores de
decisão que, a partir delas, tomam decisão que são convertidas em ações sobre o
ambiente. Os elementos são:
• Conjunto de dados da natureza ou do ambiente, conjunto de ações
disponíveis face estes estados ambientais, conjunto de sinais, conjunto de
SI, conjunto de resultados.
b) Custo-Benefício: mais adequado à realidade empresarial. Os custos e benefícios
que não são avaliados monetariamente devem ser explicitados como intangíveis.
Benefício e Custo de Oportunidade devem identificar pelo menos um projeto alternativo.
Ainda que seja a de nenhum projeto. Existe a variação compensatória, ou seja, pagar o
máximo pelos benefícios ou aceitar as perdas mínimas.
• Devem-se explicitar ao máximo e com clareza os itens de custos e
benefícios. As externalidades devem ser consideradas.
70
• É necessário quantificar, ou seja, determinar o valor monetário. Pode-se
ter como base os valores de mercado. Caso não seja possível determinar
este preço, coloca-se o “preço-sombra”, ou seja, uma determinação muito
subjetiva do valor de tal benefício, sendo muito subjetivo e paradoxal.
Como estimar o que não existe? E, ainda por cima, é necessário fazer
investimento prévio. Os benefícios mensuráveis são difíceis, mas devem
estar ligados à redução de custos administrativos ou operacionais. Porém,
quanto menos operacional será mais difícil mensurar os benefícios dos SI,
pois os valores são bem mais intangíveis. O grande problema é “o método
não fornece instrumentos práticos para quantificar certos benefícios que,
em determinadas circunstâncias são intuitivamente percebidos como os
mais valiosos” (CUSTÓDIO, 1981, p. 11). Os intangíveis são muito mais
qualitativos, portanto incomensuráveis, sendo necessário medir em outro
padrão que não seja o monetário.
c) Custo-Eficácia: problemas de avaliação nos quais os benefícios gerados pelos SI
não podem ser quantificados em preço de mercado ou qualquer meio monetário. Os
elementos dos custos-eficácia são:
• Tomadas de decisão que tem como objetivo atingir e medir os benefícios,
verificar os Custos de Oportunidade, definir se o modelo prediz os custos
de eficácia, criar regras e padrões entre as variáveis.
Segundo Custódio (1981), as etapas para estipular os custos-eficácia são:
• Análise das missões para atingir os objetivos com os SI, análise funcional
das atividades, construção do modelo de avaliação, estimativa dos dados,
71
simulação dos SI, estimativa dos custos e das incertezas, criação de
alternativas aos SI.
A diferença entre a relação custo-benefício e custo-eficácia, é que no custo-eficácia
os benefícios não precisam ser mensurados em termos financeiros. São indiferentes os
objetivos dos SI e para que ele faça sua contribuição. Nos modelos descritos, o
tomador de decisão é um ser eminentemente racional, ou seja, as características
pessoais não são consideradas. Na realidade isto não ocorre desta maneira. Há uma
enorme subjetividade por parte do tomador de decisão e depende de diversos fatores
intangíveis, inclusive a própria cultura organizacional e ambiente de trabalho. O valor
dos SI depende do quão bem ele atende às necessidades objetivas e subjetivas do
usuário.
Os trabalhos de Delone e McLean (1992), Pitt, Watson e Kavan (1995) e Myers,
Kappelman e Prybutock (1997) serviram como base para outras abordagens muito
utilizadas em avaliações de sistemas, como o TTF e TAM. Serão descritos com mais
detalhes estes modelos para melhor entendimento da relação entre eles.
2.3.2 Modelo de DeLone e McLean
O modelo de Delone e McLean (1992) é largamente aplicado em pesquisas sobre ASI.
Este modelo serviu de referência para diversas outras propostas de avaliações. Os
autores identificam a dimensão “Qualidade do Sistema de Informação”, onde é
considerado um conjunto de operações que recebe e processam dados a partir de
regras. Os fatores fundamentais para a avaliação são:
72
• Acessibilidade da informação, Flexibilidade de uso do sistema, Integração de
tarefas através da informação, Tempo de resposta às solicitações realizadas,
Confiabilidade na informação recebida, Facilidade de uso do sistema e Nível de
utilidade da informação.
Os autores sistematizam trabalhos na área de ASI, propondo dimensões para
agrupar os diferentes fatores analisados nas pesquisas realizadas. Esta
esquematização se baseou na teoria de Shannon e Weaver (1949). Segundo suas
pesquisas, o nível de impacto é o mais difícil de ser definido e avaliado de forma
objetiva.
2.3.3 Modelo de Pitt, Watson e Kavan
Os autores aplicam o modelo de Delone e McLean (1992) para medir a efetividade
da avaliação de um sistema. Eles usam os princípios do esquema Servqual
(PARASURAMAN, et al, 1988), que é a proposta de utilização dos princípios de
marketing para dimensionar a satisfação dos clientes. A extensão da pesquisa destes
autores se propõe a adaptar as dimensões do modelo base (DELONE e MCLEAN,
1992) com a qualidade do serviço na estrutura de análise. São consideradas as
variáveis relacionadas à facilidade física do sistema como responsividade e apatia do
usuário.
2.3.4 Modelo de Myers, Kappelman e Prybutock
Os trabalhos de Delone e McLean (1992) e de Pitt, Watson e Kavan (1995)
serviram de base para o trabalho de Myers, Kappelman e Prybutok (1997) “A
Comprehensive Model for Assessing the Quality and Productivity of the Information
73
Systems Function. Toward a Contingency Theory for Information Systems
Assessment”. São questionadas as dimensões de qualidade proposta nos trabalhos
anteriores. São avaliadas as interdependências das dimensões: qualidade do sistema,
qualidade da informação e qualidade do serviço. Estas dimensões se relacionam com
os critérios de impacto individual ou em grupo devido à freqüência de uso, podendo
afetar positivamente ou negativamente nos resultados. O impacto individual do uso SI
afeta diretamente a esfera do grupo e todo o desempenho organizacional, conforme
FIG. 8.
Para Arouck (2001), é necessário definir claramente os níveis, dimensões e
características a serem utilizadas nas ASI. Os níveis considerados pelo autor é o nível
“técnico”, onde se encontra a dimensão qualidade do sistema; o nível “semântico”, onde
está a qualidade da informação e qualidade do serviço; e por fim o nível de eficácia,
onde estão as dimensões satisfação do usuário, impacto individual, impacto no grupo e
impacto organizacional. Este esquema se baseia em trabalhos que organizam os SI em
categorizações e níveis de análise, inicialmente pela transferência da informação de
Qualidade de Serviço
Qualidade de Sistema
Qualidade da Informação
Uso Sistemas de informação
Satisfação do Cliente
Impacto Individual
Impacto no Grupo
Impacto na Organização
FIGURA 8: Relação das variáveis identificadas na avaliação de SI
FONTE: Myers, Kappelman e Prybutok, 1997
74
Shannon e Weaver (1949). Portanto, é possível organizar os autores e suas pesquisas
conforme QUADRO 3:
2.3.5 Modelo TAM - Technology Acceptance Model
Um dos modelos mais utilizados de ASI é o TAM - Technology Acceptance Model –
desenvolvido por Davis (1989). O modelo TAM se baseia na teoria da ação de Fishbein
(1975), considerando a utilidade percebida e a facilidade de uso. O objetivo é prover
uma explicação dos determinantes da aceitação de computadores que seja
Autor Ano Níveis e dimensões
Nível técnico Nível semântico Nível de eficácia
Shannon e Weaver
1949 - produção - produto - recepção
- influência no receptor
Mason
1978 - produção - produto - recepção
- influência no receptor
- influência no sistema
DeLone e McLean
1992 - qualidade do sistema -qualidade da informação - uso
- satisfação do usuário
- impacto individual
- impacto organizacional
Pitt, Watson e Kavan
1995 - qualidade do sistema - qualidade da informação
- qualidade do serviço
- uso
- satisfação do usuário
- impacto individual
- impacto organizacional
Myers, Kappelman e
Prubytock
1997 - qualidade do sistema - qualidade da informação
- qualidade do serviço
- uso
- satisfação do usuário
- impacto individual
- satisfação no grupo
- impacto organizacional
QUADRO 3
Níveis e dimensões para avaliação de sistemas de informação
FONTE: Arouck, 2001
75
genericamente suficiente para abranger um amplo leque de tecnologias e de
populações de usuários, e que seja, também, teoricamente justificado. Este modelo
tenta explicar o comportamento de usuários de sistemas informatizados. O modelo TAM
foi, inicialmente testado na IBM do Canadá, em um grupo de 112 usuários e em 40
estudantes de MBA da Universidade de Boston. Para Detlor (2004, p. 71), o modelo
TAM tem recebido suporte teórico e empírico de mais de uma centena de estudos
conduzidos nas últimas décadas. Davis (1989) define os dois principais determinantes
do TAM da seguinte maneira: utilizada percebida (perceived usefulnbess), ou seja, grau
em que uma pessoa acredita que o uso de um sistema particular pode melhorar o seu
desempenho e facilidade de uso percebida (perceveid ease of use) que é o grau em
que uma pessoa acredita que o uso de um sistema de informação será livre de esforço.
A FIG. 9 ilustra o modelo TAM:
Detlor (2004) considera que ambas variáveis do modelo TAM são baseadas na
percepção cognitiva do usuário, mas que a percepção do usuário é entendida como
sinônimo de realidade. Segundo Carvalho (2006), diversos estudos baseados no
modelo TAM têm concluído que a variável utilidade percebida é mais importante que a
facilidade de uso. Ou seja, se o sistema for realmente útil, o usuário tende a utilizá-lo
mesmo existindo dificuldade para tal.
Utilidade
percebida
Facilidade de uso
percebida
Intenção de uso uso
FIGURA 9 – Modelo TAM de aceitação da tecnologia
FONTE: Davis, 1989
76
2.3.6 Modelo TTF – Task Technology Fit
Outro modelo largamente utilizado tem sido o TTF, proposto por Goodhue e
Thompson (1995). O modelo analisa as relações existentes entre o uso dos sistemas e
o desempenho dos indivíduos. O modelo TFF também considera que uma tecnologia
tem um impacto positivo no desempenho organizacional quando é utilizada e quando se
ajusta bem com as tarefas que pretende apoiar. Os construtos desta metodologia são:
tecnologia, ferramentas, tarefas e ações. O modelo TTF foi validado através de dados
coletados com 600 indivíduos usando 25 sistemas diferentes e trabalhando em 26
departamentos de duas organizações, sendo uma empresa transporte e outra uma
companhia de seguros dos Estados Unidos. O modelo TTF tem como base o modelo de
Delone e McLean (1992). Estes modelos relacionam critérios de avaliação de sistemas
com o fator de sucesso, qualidade do sistema, da informação, uso do sistema e
satisfação do usuário. As variáveis de uso do sistema e satisfação do usuário estão
relacionadas com o impacto dos sistemas no nível individual e organizacional.
O modelo TTF considera que o SI impacta positivamente no desempenho do usuário
somente quando existe uma correspondência entre as funcionalidades do sistema e as
necessidades de informações vinculadas às tarefas do usuário. Os principais construtos
do modelo TTF são:
• Tecnologias: são ferramentas usadas pelos indivíduos para realizarem suas
tarefas. O modelo é proposto no sentido de ser genérico suficiente para permitir
a análise de impacto de um sistema específico ou de um conjunto de sistemas;
77
• Tarefas: são as ações desempenhadas pelos indivíduos para transformarem
entradas em saídas. O modelo concentra em tarefas para as quais o indivíduo
dependerá de tecnologia para executá-las;
• Adequação das Tecnologias às Tarefas (TTF): consiste no grau de extensão que
uma tecnologia auxilia o indivíduo na realização de suas tarefas.
O modelo pode ser esquematizado conforme FIG. 10 e as dimensões QUADRO 4.
Fator TTF Dimensão TTF
TTF 1 – Qualidade
TTF 2 – Localização
TTF 3 – Autorização
TTF 4 – Compatibilidade
TTF 5 – Pontualidade da produção
TTF 6 – Estabilidade do sistema
Atualidade dos dados
Exatidão dos dados
Nível de adequado de detalhamento dos dados
Facilidade de localização dos dados
Facilidade de entendimento do significado dos dados
Autorização para acesso aos dados
Facilidade de consolidar ou agrupar dados de diferentes fontes sem
inconsistências
Capacidade do setor de TI em cumprir os prazos estabelecidos
processamento dos dados e geração de relatórios
Capacidade do sistema de estar disponível para acesso dos
usuários
Facilidade do uso de hardware e software
Facilidade em obter treinamento referente ao uso do sistema
QUADRO 4
Fatores e dimensões do modelo TTF
Características da
tarefa
Características da
tecnologia
Fatores TTF
(adequação da
tecnologia à tarefa)
Impacto no
desempenho
individual
Utilidade
FIGURA 10 – Modelo TTF de aceitação da tecnologia à tarefa
FONTE: Goodhue & Thompson, 1995.
78
TTF 7 – Facilidade de uso/treinamento
TTF 8 – relacionamento do setor TI
Entendimento das atividades de negócios da organização por parte
do setor de TI
Interesse e dedicação do setor de TI
Agilidade no atendimento ao usuário por parte do setor de TI
Disponibilidade e qualidade de assistência técnica aos usuários
Desempenho do setor de TI no suporte às necessidades de negócio
3. METODOLOGIA DE PESQUISA
3.1 Tipo de Pesquisa
Tendo como alvo elaborar uma revisão de artigos em ASI, a técnica da pesquisa se
caracteriza como uma exploração bibliográfica: Para Marconi e Lakatos (2002), a
exploração bibliográfica tem como objetivo:
colocar o pesquisador em contato direto com tudo o que foi escrito, dito ou filmado sobre determinado
assunto, inclusive conferências seguidas de debates que tenham sido transcritos por alguma forma, que
publicadas que gravadas (MARCONI e LAKATOS, 2002, p. 71).
Conforme explicado pelas autoras, a pesquisa bibliográfica, ou de fontes
secundárias, abrange toda, ou boa parte da bibliografia já tornada pública em relação
ao tema de estudo, desde publicações avulsas, boletins, jornais, revistas, livros,
pesquisas, monografias, teses, entre outros, onde se encontra a natureza deste
trabalho. Portanto, esta pesquisa procura contribuir para melhor entendimento dos
estudos desenvolvidos sobre o tema, objetivando a ampliação de conhecimentos
teóricos da área. Assim, esta pesquisa tem um caráter descritivo, ou seja, “delineia o
que é“ e aborda aspectos: como descrição, registro, análise e interpretação de artigos
publicados, para a descrição organizada dos trabalhos recuperados. Para diversos
autores isto surge como uma necessidade, pois é preciso definir mais claramente os
estudos na área de ASI. Segundo Laville e Dionne (1999) e Hoppen e Meirelles (2005)
para que uma área temática se consolidar efetivamente como área de conhecimento
FONTE: Goodhue & Thompson, 1995
79
científico, os temas que constituem o objeto de estudo devem ser mais específicos e
delimitados, e a metodologia de pesquisa deve ter aplicação apropriadamente
adaptada. Segundo os autores, a maioria das metodologias nestas investigações é
importada de outras disciplinas, ocorrendo uma falta de estruturação bem definida das
metodologias. Esta característica de interdisciplinaridade é inerente à temática, pois ela
se forma a partir de diversos olhares, às vezes se sobrepondo, pois a temática de ASI
engloba diferentes áreas de interesse.
Conforme é descrito por diversos pesquisadores em SI (BARKI et al, 1993 e
HOPPEN et al, 1996) não existe uma metodologia definitiva que possa servir como
referência para pesquisas na área. Ou seja, é necessário cada pesquisador criar sua
própria metodologia. Diante deste panorama, foi construído nesta pesquisa um
arcabouço metodológico baseando em teorias já bem definidas e utilizadas. O método
de análise dos artigos utiliza tipologias e classificações para modelar o quadro que se
pretende construir, e métodos de interpretação de artigos científicos. A fonte que serviu
de base para a organização das tipologias e das unidades de análise foi uma
adaptação do trabalho desenvolvido por Barki et al (1993) e Hoppen et al (1996) onde
foi construído um arcabouço para classificação e categorização de trabalhos científicos
sobre SI. Para a seleção e interpretação dos artigos foram utilizados os princípios de
Análise do Conteúdo (BARDIN, 1977 e FRANCO, 2005):. A seguir são descritos os
procedimentos metodológicos..
3.2 Seleção das Fontes de Pesquisa
Esta pesquisa se inicia com a seleção de artigos que tenham como objetivo realizar
pesquisas sobre ASI. Para tal, foram selecionados os editores onde são publicados os
80
periódicos que tratam do assunto. A fonte de obtenção dos artigos foi o Portal CAPES.
A escolha desta fonte se deve à qualidade dos artigos publicados, pelo rigor exigido
para as suas publicações. Segundo Spector (2001):
Uma contribuição científica só passa a existir formalmente no momento em que
é publicada em um periódico científico. Ainda que o conteúdo de um estudo
seja antecipado em congressos ou na impressa leiga, esse estudo não terá
maior significado se não for publicado. Duas razões determinam a importância
capital da publicação científica: a possibilidade de uma análise crítica profunda
do trabalho e o valor documental da publicação (SPECTOR, 2001, p. 7).
Outro fator relevante é a importância da utilização de portais eletrônicos como meio
de pesquisa em pós-graduação, conforme descrito por Cendón (2006). Os portais
eletrônicos têm surgido como fonte interessante para pesquisas científicas e
levantamento de dados secundários para investigação. Cunha (1997)
o periódico representa o espaço, por excelência, de divulgação e registro, em
primeira mão, dos resultados de pesquisa e elaboração de teses [...] outra
função básica é construir uma base coletiva de conhecimento. Para o
pesquisador, a publicação de artigos funciona, ainda, como um indicador de sua
performance acadêmica (CUNHA, 1997, p. 78).
Para realizar a pesquisa no portal, foi feita uma busca na opção “Textos
Completos” através da palavra-chave “Information System”. A pesquisa retorna os
periódicos que publicam temática referente ao assunto pesquisado. Foram utilizadas,
também, as edições dos MIS Quarterly – Management Information System Quarterly -
para recuperação de artigos, que não foi exibida na pesquisa inicial, mas é uma das
revistas mais relevantes de publicação sobre SI. O resultado da pesquisa apresentou
as seguintes editoras (QUADRO 5)
81
ACM Transactions on Office Information Systems
AGRIS: AGRIS/CARIS International Information System for the Agricultural Sciences
Campus Wide Information Systems
Computer and Information Systems Abstracts
Database for Advances in Information Systems
European Journal of Information Systems
European Journal of Operational Research
Industrial Management & Data Systems
Information Systems and e-Business Management
Information Systems Frontiers
Information Systems Journal : ISJ
Information Systems Management
Information Systems Research
Information Systems Security
Information & Management
Information Systems: Databases Creation, Management and Utilization
International Journal of Accounting Information Systems
International Journal of Information Management
International Journal of Management Science
International Nuclear Information System
Internet Research
Journal of Decision Support Systems
QUADRO 5
Relação de revistas apresentadas para seleção dos artigos
82
Journal of Documentation
Journal of Enterprise Information Management
Journal of Information Systems
Journal of Information Systems Education
Journal of Intelligent Information Systems
Journal of Management Information Systems : JMIS
Journal of Strategic Information Systems
Knowledge and Information Systems
Logistic Information Management
MIS – Quarterly
Online Information Review
Program : Electronic Library and Information Systems
Surveying and Land Information Systems
World Health Organization (WHO). WHO Statistical Information System (WHOSIS)
World Wide Web: Internet and Web Information Systems
A seguir, em cada editora, realiza-se a segunda etapa de recuperação das fontes.
No site de cada editora, se fez a busca pelas palavras-chave “assessment” e
“evaluation”. Ambas as palavras são sinônimos e têm o sentido de “avaliação” na língua
inglesa. É importante ressaltar que o processo de busca no portal de cada editora varia
consideravelmente. Os mecanismos de recuperação de documentos permitem
recuperações mais detalhadas, onde se há uma maior precisão dos documentos e
outros mecanismos menos detalhados, onde há um maior índice de revocação. As
palavras-chave “assessment” e “evaluation” foram pesquisadas no título dos artigos e
no abstract, para permitir uma precisão maior de artigos que tratam sobre ASI.
83
3.3 Critérios de seleção dos artigos
. Foi efetuada a busca pela entrada “Information System Assessment” e “Information
System Evaluation”. Dentre os trabalhos recuperados, o interesse da pesquisa se
concentra naqueles que se enquadram nos seguintes critérios:
• Trabalhos que tratam diretamente sobre a temática ASI. Muitos trabalhos
recuperados fazem uma análise, não no Sistema de Informação propriamente
dito, mas em outros aspectos da pesquisa executada. Alguns artigos avaliam
aspectos que não são interessantes para esta pesquisa e foram excluídos.
• Foram considerados tanto trabalhos empíricos quanto teóricos. Isto é
interessante, considerando que esta pesquisa tem o objetivo de analisar o
percurso da temática ASI, sendo este tema tratado tanto em trabalhos práticos
que aplicam modelos inéditos para ASI, quanto à discussão de conceitos
fundamentais. Os trabalhos teóricos permitem aprimorar a base desta pesquisa,
pois demonstram características de tendências metodológicas.
• Houve um recorte temporal de 20 anos (1985 – 2005). Este recorte temporal
concentra artigos que já estão disponíveis em arquivos eletrônicos, raros antes
do ano de 1985. Este recorte temporal também permite uma análise mais
abrangente de tendências de técnicas das avaliações.
84
• Foram selecionados arquivos que estão disponíveis em texto completo no
formato PDF
3
.
O próximo passo para a execução deste trabalho foi a seleção dos artigos que
realmente interessam ao assunto a ser pesquisado. Conforme descrito, muitos artigos
que foram filtrados não são pesquisam diretamente o tema de Avaliação de Sistemas
de Informação, mas outros aspectos relacionados, não sendo interessante para esta
pesquisa, mesmo tendo no título ou no abstract a palavra-chave “Information System
Assessment” ou “Information System Evaluation”. Para efetuar este filtro foi necessário
fazer uma leitura do resumo (abstract) de cada artigo, para reconhecer o objetivo do
trabalho e selecioná-lo ou excluí-lo. Para este filtro, foi feito o uso da técnica de Análise
de Conteúdo, que permite uma seleção mais precisa dos trabalhos. A seguir será
descrito a técnica de Análise de Conteúdo e como ela foi adequada para este trabalho.
3.4 Análise de Conteúdo
A análise de conteúdo aparece como um conjunto de técnicas de análise das
comunicações, que utiliza procedimentos sistemáticos e objetivos de descrição do
conteúdo das mensagens. Especificamente neste trabalho, o objetivo é a análise dos
aspectos metodológicos do artigo para determinar o seu enquadramento no escopo da
pesquisa. A intenção da Análise de Conteúdo é a inferência de conhecimentos relativos
de condições de produção (ou, eventualmente de recepção), inferência esta que recorre
3
www.acrobat.com
85
a indicadores (quantitativos ou não), conforme descrito por Bardin (1977) e Franco
(2005).
A análise de conteúdo pode ser uma análise dos “significados” (exemplo: a análise
temática), embora possa ser também uma análise dos “significantes” (análise léxica,
análise dos procedimentos), conforme descrito por (BARDIN, 1977, p. 34). A técnica
consiste em classificar os diferentes elementos contidos nas fontes, segundo
determinados critérios para fazer surgir um sentido capaz de introduzir numa certa
ordem na confusão inicial. Neste sentido, o que se procura estabelecer é uma
correspondência entre as estruturas semânticas ou lingüísticas através do uso de
palavras-chave que determinam o escopo do trabalho e a descrição do objetivo e
metodologia do trabalho, além da intenção do autor.
A seguir serão descritos os passos utilizados para a seleção dos artigos, segundo
regras gerais da Análise de Conteúdo.
Pré-análise: Corresponde a um período de intuições, mas, tem por objetivo tornar
operacional e sistematizar as idéias iniciais, de maneira a conduzir a um esquema
preciso do desenvolvimento das operações sucessivas. (BARDIN, 1977, p. 95)
Escolha dos documentos
1. Leitura flutuante: primeiro contato com os documentos a analisar e em conhecer
o texto, deixando-se invadir por impressões e orientações. Uso das palavras-
chave “assessment” ou “evaluation” no contexto do abstract
2. Escolha dos documentos:
86
a. Regra da exaustividade: considera as fontes que não se enquadram na
pesquisa, pois não abordam o interesse do objetivo do trabalho.
b. Regra da representatividade: A amostragem diz-se rigorosa se a amostra
for parte representativa do universo inicial. Neste caso, representa os
artigos que tratam diretamente sobre ASI, seja com caráter empírico ou
teórico.
c. Regra da homogeneidade: os documentos retidos devem ser
homogêneos, quer dizer, devem obedecer a critérios precisos de escolha
e não apresentar demasiada singularidade fora destes critérios de
escolha.
d. Regra de pertinência: os documentos retidos devem ser adequados,
enquanto fonte de informação, de modo a corresponderem ao objetivo
que suscita a análise.
Após a utilização dos critérios acima descritos, foi possível obter um universo de
105 artigos. A distribuição dos artigos por revista está mostrada no QUADRO 6 A
relação dos artigos com todas as informações de cada um se encontra no anexo 1.
Serão descritos, a seguir, os critérios para análise metodológica de cada artigo.
EDITORA ARTIGOS
ACM Transactions on Office Information Systems 15
Database for Advances in Information Systems 8
European Journal of Information Systems 10
QUADRO 6
Relação de artigos por editora
87
European Journal of Operational Research 1
Industrial Management & Data Systems 3
Information Systems Frontiers 1
Information Systems Journal : ISJ 14
Information Systems Management 3
Information Systems Research 1
Information Systems Security 1
Information & Management 5
International Journal of Accounting Information Systems 1
International Journal of Information Management 2
International Journal of Management Science 1
Internet Research 1
Journal of Decision Support Systems 3
Journal of Documentation 1
Journal of Enterprise Information Management 3
Journal of Management Information Systems : JMIS 7
Journal of Strategic Information Systems 7
Knowledge and Information Systems 1
Logistic Information Management 4
MIS Quarterly 12
105
3.5 Critérios para análise dos artigos
Nos artigos analisados são considerados os principais elementos de avaliação,
baseando-se no trabalho de Hoppen et al (1996). Segundo os autores, é essencial
questionar a pertinência do método de pesquisa, sua construção e uma adequação
88
entre o método utilizado e o problema de pesquisa escolhido. Os elementos analisados
são:
Questão da pesquisa
Corresponde a várias dimensões do estudo. Na análise é preciso interrogar sobre os
objetivos e sua pertinência. São considerados o rigor metodológico e o grau de controle
adotado pelo autor da pesquisa. Neste elemento também são verificadas as bases
teóricas utilizadas para fundamentar o estudo.
Desenho de pesquisa
É definido como a seqüência lógica que liga os dados da pesquisa à questão inicial e
aos resultados. Deve-se identificar o objetivo do estudo e a estratégia utilizada para
responder à pergunta fundamental da pesquisa. Neste elemento é importante verificar o
tipo de estudo, se é um corte longitudinal ou transversal.
Instrumento de medida e coleta dos dados
Neste elemento estão os conceitos relacionados com os procedimentos para o
desenvolvimento dos instrumentos de medida, com os procedimentos de amostragem e
com os métodos de coleta de dados. A representatividade da amostra é uma
característica fundamental para a interpretação de trabalhos, pois irá identificar a
validade da representação junto ao universo existente.
Validade dos construtos
A validade dos construtos está diretamente relacionada à questão do que o estudo,
através do instrumento de pesquisa, está realmente medindo. Para Peter (1981) o
termo validade do construto refere-se à correspondência vertical entre um construto,
que se encontra um nível conceitual inobservável, e uma medida que se pretende
equivalente e que se encontra num nível operacional.
89
3.6 Sistematização das análises metodológicas dos artigos
As características que serão analisadas nos trabalhos tentam demonstrar as
metodologias da avaliação e a em que área sob qual perspectiva ocorreu a avaliação. A
perspectiva irá demonstrar se a avaliação ocorreu sob a ótica do impacto
organizacional, da estrutura tecnológica ou do comportamento do usuário na busca da
informação, conforme descrito nas três áreas – Ciência da Informação, Ciência da
Computação e Ciência da Administração,
Através da análise destas variáveis será possível delinear como têm sido desenvolvidas
as pesquisas sobre ASI, os seus percursos metodológicos e as possíveis tendências
em abordar uma perspectiva ou outra.
Os aspectos analisados serão:
• Área de implementação da Avaliação do Sistema de Informação
• Procedimentos metodológicos utilizados na avaliação
• Variáveis utilizadas na pesquisa
o Variáveis que consideram a estrutura tecnológica
90
o Variáveis que consideram o impacto organizacional
o Variáveis que consideram o comportamento de busca do usuário
• Característica quantitativa ou qualitativa da pesquisa
• Campo disciplinar da pesquisa
As categorizações das variáveis são apresentadas no QUADRO 7, baseando na
proposta por Hoppen et al (1996) e auxiliadas por Rudio (1989) e Santos (2002).
• Finalidade • Básica
• Aplicada
• Procedimentos • Bibliográfica
• Documental
• Experimental
• Levantamento exploratório
• Estudo de caso único
• Estudo de casos múltiplos
• Natureza • Quantitativa
• Qualitativa
• Local de Realização • Campo
• Laboratório
• Bibliográfico
• Área de concentração da pesquisa • Ciência da Informação
• Ciência da Computação
• Ciência da Administração
3.7 Limitações da pesquisa
FONTE: Adaptado de Rúdio (1989) e Santos, 2002.
QUADRO 7
Categorizações das variáveis para classificação dos artigos
91
Devido ao caráter exploratório da pesquisa, algumas limitações foram encontradas
no transcorrer do trabalho. Primeiramente, o extenso universo de publicações em
portais eletrônicos torna complexa a seleção de artigos. Na avaliação da recuperação
de um documento, são considerados dois conceitos fundamentais (PIEDADE, 1983): a
revocação, que considera a relação entre documentos relevantes recuperados e o
número total de documentos relevantes existentes, e a precisão, que determina a
relação entre documentos recuperados relevantes e o número total de documentos
recuperados.
Outros dois conceitos importantes na classificação documental é a exaustividade,
onde se determina a relação de conceitos pertinentes à procura, e a especificidade,
onde determina o nível de profundidade da pesquisa. Neste trabalho foram
encontrados, no início da seleção, 587 artigos pertencentes à área. Após análise do
conteúdo dos trabalhos, chegou-se à base de 105 artigos, sendo bastante exaustiva a
seleção, devido à diversidade de formatos e ausência de padronização dos
documentos.
Outra barreira encontrada foi uma extensa variação nos portais das editoras.
Algumas construíram seus mecanismos de busca com bastante usabilidade e precisão
para pesquisa, outras, nem tanto. As possibilidades de busca dos documentos
modificam-se consideravelmente entre elas, interferindo no retorno das seleções.
É interessante ressaltar que, durante o desenvolvimento da pesquisa, foi possível
aplicar os princípios de ASI no próprio processo de seleção dos artigos nos portais, pois
neste momento estavam sendo colocados em prática os critérios de usabilidade dos
sistemas. Como por exemplo, a facilidade de busca, qualidade das pesquisas,
92
distribuição das informações na tela, etc., demonstrando uma diversidade enorme de
configurações e a real necessidade de aprimorar os SI.
4. RESULTADO DA PESQUISA.
4.1 Categorização metodológica dos artigos
Os artigos foram categorizados segundo parâmetros metodológicos. Esta
categorização se baseia no trabalho “Avaliação de Artigos em Sistemas de Informação”
(HOPPEN et al, 1996). Neste trabalho, os artigos foram classificados e enquadrados
conforme seu desenvolvimento metodológico, técnica de pesquisa e área de
desenvolvimento. A seguir, serão descritos as categorizações e os resultados obtidos.
a) Finalidade da Pesquisa
Para Kourganoff (1990), pesquisa é o conjunto de investigações, operações e
trabalhos intelectuais ou práticos que tenham como objetivo a descoberta de novos
conhecimentos, a invenção de novas técnicas e a exploração ou a criação de novas
realidades.
As pesquisas científicas podem ser classificadas conforme sua finalidade, ou seja,
em que perspectiva a pesquisa se propõe alcançar. As pesquisas podem
questionar os fundamentos da área de pesquisa, ou seja, os conceitos que
consolidam os limites da ciência. Por outro lado, as pesquisas podem ter como
finalidade testar os modelos da área de investigação, ou seja, aplicar e validar os
93
construtos da área. Esta aplicação pode se dar em estudos de caso, pesquisas
survey, revisão bibliográfica e documental, entre outros. Esta pesquisa não tem o
objetivo de questionar os fundamentos da área, mas aplicar os seus fundamentos
em situações que comprovem os seus princípios.
Neste trabalho, os artigos foram classificados segundo a aplicação prática, ou seja,
a validação de um determinado modelo de ASI. Estas pesquisas visam checar o
modelo, testar a sua validade e conferir as hipóteses e premissas metodológicas.
Por outro lado, os artigos podem não necessariamente aplicar um modelo na
prática, mas questionar teoricamente os fundamentos da temática ASI. Estas
pesquisas buscam analisar e comparar conceitos, limites da área, percurso histórico,
visão dos pesquisadores e questionamentos básicos da área.
Pela análise dos artigos, a grande maioria (87%) se encontra com a finalidade de
aplicação prática de modelos, ou seja, validar os modelos e métodos de ASI e 13%
se concentraram em questionamentos teóricos, ou seja, de discussão da área.
Pesquisa
apliicada
87%
Pesquisa
fundamental
13%
GRÁFICO 1
–
Finalidade da Pesquisa
94
b) Procedimentos de Pesquisa
Os procedimentos identificam “como será desenvolvida a pesquisa”, ou seja, qual
será a forma como a pesquisa será direcionada para que possa validar os
pressupostos. Os procedimentos podem ser classificados em:
• Bibliográfico: “A Pesquisa bibliográfica é fundamentada nos conhecimentos
de biblioteconomia, documentação e bibliografia; sua finalidade é colocar o
pesquisador em contato com o que já se produziu a respeito do seu tema de
pesquisa.” (Rúdio, 1989). A pesquisa bibliográfica requer conhecimento de
termos técnicos e sinônimos, servindo para registrar e organizar os dados
bibliográficos referentes aos documentos obtidos e empregados na pesquisa
científica. Este tipo de pesquisa tem como objetivos desvendar, recolher e
analisar as principais contribuições sobre um determinado fato, assunto ou
idéia.
• Documental: se propõe a validar documentos que tratam do assunto e foram
publicados em meios confiáveis. Estes documentos podem ser relatórios,
oficiais, visuais, etc. Documento é “Qualquer suporte que contenha
informação registrada, formando uma unidade, que possa servir para
consulta, estudo ou prova. Inclui impressos, manuscritos, registros
audiovisuais e sonoros, imagens, sem modificações, independentemente do
período decorrido desde a primeira publicação”. (ASSOCIAÇÃO BRASILEIRA
DE NORMAS TÉCNICAS. NBR 6023, 2000). Este tipo de procedimento dá
ênfase para fontes de informações ainda não publicadas, que não receberam
95
tratamento analítico ou não foram organizadas como: relatórios de empresas,
correspondência pessoal ou comercial, obras originais de qualquer natureza.
• Experimental: se propõe a analisar um fato/fenômeno/processo da realidade
onde é reproduzido de forma controlada, com objetivo de descobrir os fatores
que o produzem ou que por ele sejam produzidos. Experimentos são
geralmente feitos por amostragem – conjunto significativo que compõem a
amostra. Os resultados válidos para uma amostra, por indução, são válidos
também para o universo.
• Pesquisa Survey: Caracteriza-se pela interrogação direta das pessoas, cuja
opinião se quer conhecer. Este tipo de pesquisa passa por etapas
específicas, como seleção da amostra, aplicação de questionários,
formulários ou entrevista tabulação dos dados e análise com auxílio de
ferramentas estatísticas.
• Estudo de Caso: é o estudo aprofundado e exaustivo de um ou de poucos
objetos, de maneira a permitir o seu conhecimento amplo e detalhado. É
adequado para explorar situações da vida real, descrever a situação do
contexto em que está sendo feita determinada investigação, explicar as
variáveis causais de determinado fenômeno em situações muito complexas.
Os estudos de caso podem ser caracterizados como único (um objeto de
aplicação da pesquisa) ou múltiplo (vários objetos de aplicação).
No GRAF. 2 é mostrada a distribuição dos procedimentos de pesquisa.
96
Survey
25%
Caso único
22%
Casos
múltiplos
29%
Experimental
10%
Documental
3%
Bibliográfico
11%
c) A natureza da pesquisa demonstra a abordagem e técnicas adotadas para a
condução e validação das variáveis. A natureza pode ser:
• Quantitativa: pesquisas quantitativas são adequadas para apurar opiniões e
atitudes explícitas e conscientes dos entrevistados, pois utilizam
instrumentos estruturados (questionários). Devem ser representativas de
um determinado universo de modo que seus dados possam ser
generalizados e projetados para aquele universo. Seu objetivo é mensurar e
permitir o teste de hipóteses, já que os resultados são mais concretos e,
conseqüentemente, menos passíveis de erros de interpretação. Em muitos
casos geram índices que podem ser comparados ao longo do tempo,
permitindo traçar um histórico da informação.
• Qualitativa: a abordagem qualitativa apresenta-se como a tentativa de uma
compreensão detalhada dos significados e características situacionais
GRÁFICO 2
–
Procedimentos da Pesquisa
97
apresentadas pelos entrevistados, ou documentos, em lugar da produção
meramente quantitativa de características e comportamentos.
Como mostrado no GRAF. 3 há um equilíbrio na relação entre pesquisas
quantitativas (48%) e qualitativas (52%), demonstrando uma preocupação em
avaliações com resultados mensuráveis e com caráter mais subjetivo, com uma
tendência para pesquisas qualitativas.
Qualitativa
52%
Quantitativa
48%
d) A realização da pesquisa pode ser dividida em:.
• Bibliográfico: a aplicação é puramente teórica, não necessitando de o
pesquisador ir ao campo.
• Laboratório: a pesquisa é realizada sobre um ambiente controlado, as
variáveis são medidas e alteradas, o comportamento dos envolvidos na
pesquisa.
GRÁFICO 3
–
Natureza da Pesquisa
98
• Campo: é quando a pesquisa é realizada em um ambiente onde as variáveis
não são controladas, o pesquisador se envolve no ambiente e observa e
analisa as variáveis e características na realidade existente.
Pelo GRAF. 4 é notório constatar (66%), a predominância das pesquisas em campo.
Laboratório
20%
Bibliográfico
14%
Campo
66%
e) Perspectiva da pesquisa representa qual o campo de interesse que foi focado
na pesquisa. No caso específico deste trabalho, as áreas foram classificadas
em:
• Ciência da Informação: o interesse da pesquisa se concentra na busca da
informação pelo usuário do sistema, no seu comportamento, aspectos
relacionados à sua satisfação, usabilidade e qualidade da informação. A
Ciência da Informação tem interesse mais aprofundado destes aspectos, pois
o seu objeto de pesquisa, a “informação”, aparece como forma de redução da
GRÁFICO 4
–
Lo
cal de realização da Pesquisa
99
incerteza em um estado de conhecimento. Os SI, portanto, são avaliados sob
critérios que permeiam estes fatores.
• Ciência da Computação: neste caso, o foco da pesquisa se concentra nas
bases tecnológicas do sistema. Isto compreende o desempenho do hardware
e software, critérios de usabilidade metodologias de desenvolvimento de
sistemas.
• Ciência da Administração: neste aspecto, o interesse da pesquisa se
concentra no impacto dos sistemas no ambiente corporativo, no desempenho
individual, em grupo e da empresa como um todo. Fazem parte desta
abordagem aspectos como custo, investimento, eficiência, eficácia e
alinhamento estratégico dos sistemas.
Ciência da
Computação
17%
Ciência da
Informação
35%
Ciência da
Administração
48%
GRÁFICO 5
–
Área
disciplinar
da Pesquisa
100
Pelo GRAF. 5 é possível identificar uma tendência das ASI sobre um olhar da
administração e um interesse de avaliar os impactos nas corporações e nas relações de
custo/benefício. Isto se deve ao alto custo de desenvolvimento e aquisição dos
sistemas e do enorme uso dos sistemas nas mais diversas atividades empresariais. Ou
seja, as corporações se vêem cada vez mais dependentes dos SI, sendo que os custos
são altos e de difícil avaliação. As técnicas, portanto, tentam demonstrar o sucesso ou
fracasso dos SI, na justificativa da sua aquisição.
A análise temporal dos artigos no GRAF. 6 permite identificar alguns
comportamentos das avaliações, identificando as relações existentes entre os critérios
de classificação. Através da análise temporal dos artigos, é possível estabelecer
comparações entre as metodologias utilizadas, perspectiva de aplicação da avaliação,
finalidade área de realização.
No quadro abaixo se tem a quantidade de publicações dos artigos em escala temporal.
0
2
4
6
8
10
12
14
16
18
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
Anos
Quantidade
GRÁFICO 6 – Distribuição temporal dos artigos
101
Percebe-se um crescimento das publicações sobre ASI a partir de meados de
1990. As publicações demonstram uma concentração maior nas áreas da Ciência da
Informação e administração e dos impactos dos sistemas nas corporações. É possível
deduzir e fazer uma relação com a aplicação das metodologias que surgiram nesta
época, conforme demonstrou a revisão teórica. Os modelos TAM - Davis (1989), TTF -
Goodhue e Thompson (1995), Delone e McLean (1992) e Myers, Kappelman e
Prybutock (1997) surgem como ferramentas que tentam mensurar a eficiência dos
sistemas. Como a maioria dos artigos é de finalidade aplicada, verifica-se que existe um
interesse em testar os modelos, criticá-los e validá-los. É interessante cruzar também
com a área de interesse, que preocupa em avaliar o impacto dos sistemas no
comportamento e tomada de decisão dos usuários.
Através da análise dos artigos, é possível perceber uma concentração das
pesquisas oriundas dos Estados Unidos e Reino Unido, como países que mais
publicaram nesta área. Os outros países se concentram na Europa, Oriente e Austrália.
Há uma participação pequena de países como Gana e Kwaiti e a inexistência de
qualquer país da América Latina, conforme QUADRO 8.
QUADRO 8
Publicações por países
PAIS QUANTIDADE DE PUBLICAÇÕES
Estados Unidos 44
Reino Unido 22
Canadá 5
Singapura 5
102
Austrália 3
Hong Kong 3
Itália 3
Noruega 2
Suécia 2
China 2
Coréia 2
Alemanha 1
Israel 1
Egito 1
Suíça 1
Finlândia 1
Portugal 1
Espanha 1
Eslovênia 1
Irlanda 1
Grécia 1
Gana 1
Kwaiti 1
TOTAL 105
De acordo com a finalidade da pesquisa – básica ou aplicada – percebe-se uma
estabilidade de pesquisas básicas e um aumento considerável das pesquisas
aplicadas, corroborando com o crescente interesse em pesquisas empíricas que testam
os modelos que surgiram a partir dos anos 1990, conforme descrito no GRAF. 7.
103
0
2
4
6
8
10
12
14
16
18
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
Anos
Quantidade
Aplicada
Bãsica
No quadro a seguir são mostradas a evolução das publicações e as relações com
os procedimentos metodológicos (bibliográfico, documental, exploratória, estudo de
caso único, estudo de casos múltiplos). Pelo quadro é possível identificar uma
tendência de pesquisas utilizando estudos de casos únicos e múltiplos, com uma
constância de pesquisas bibliográficas e documentais. Houve um crescimento, também,
de pesquisas experimentais, ou seja, o surgimento de metodologias e técnicas inéditas
e que fazem correlação com outras técnicas, como o Balanced Scorecard (BSC
4
) e
Gestão do Conhecimento. Cruzando estas informações com as concentrações de
pesquisas, têm uma tendência de avaliar os SI nas corporações através de estudos de
casos aplicados e experimentação de novas técnicas.
Com relação à natureza da pesquisa – qualitativa ou quantitativa – tem havido uma
evolução relativamente igual, com uma tendência para pesquisas qualitativas (GRAF.
8). Isto ocorre como uma tendência das pesquisas para avaliar o impacto do SI no
4
KAPLAN, Robert S; NORTON, David P. A estratégia em ação. 1997.
GRÁFICO 7
–
Distribuição da finalidade das pesquisas
104
desempenho dos indivíduos nas organizações, que são variáveis qualitativas, como
percepção de valor e qualidade da informação.
0
2
4
6
8
10
12
14
16
18
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
Anos
Quantidade
Qualitativa
Quantitativa
Com relação ao local de realização das pesquisas, existe uma tendência para
pesquisas em campo. Isto reafirma as características de pesquisas desenvolvidas em
estudos de casos.
0
2
4
6
8
10
12
14
16
18
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
Anos
Quantidade
Campo
Laboratóio
Bibliográfico
GRÁFICO
8
–
Distribuição da natureza das pesquisas
GRÁFICO 9
–
Distribuição da realização da pesquisa
105
Finalmente, tem-se a distribuição das publicações de acordo com a área de
interesse – Ciência da Informação, Ciência da Computação e Ciência da Administração.
Os trabalhos desenvolvidos sobre a abordagem da Administração são predominantes
em quase todos os anos, sendo seguido pelas abordagens da Ciência da Informação e
Ciência da Computação. Pode-se concluir uma evolução das pesquisas com uma
abordagem administrativa, com interesse em justificar investimentos e avaliar o impacto
no desempenho dos funcionários e no posicionamento estratégico. Os estudos de
casos são mostrados como as pesquisas mais efetuadas, pois permite aplicar os
modelos em situações reais. Há um equilíbrio entre as pesquisas quantitativas e
qualitativas, que mostra uma preocupação em avaliar os sistemas sob uma perspectiva
tanto subjetiva como objetiva A seguir será realizada uma explanação dos artigos
analisados, suas relações e evoluções metodológicas.
0
2
4
6
8
10
12
14
16
18
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
Anos
Quantidade
C. Adminisração
C. Computação
C. Informação
GRÁFICO 10
–
Distribuição da área da pesquisa
106
4.2 Interpretação e relações interdisciplinares dos artigos
Os primeiros trabalhados analisados tratam, mais especificamente, da ASI sob uma
perspectiva tecnológica, ou seja, do uso e desempenho dos computadores. Estes
trabalhos consideram como variável o número de transações efetuadas através da
análise de log (TOLLE, 1985). Ou seja, é considerado como fator de sucesso ou
fracasso as transações completadas ou que falharam. Tolle (1995) retorna os estudos
sobre ASI na perspectiva de análise dos logs gerados pelos sistemas revendo as
características das variáveis utilizadas. Outras pesquisas têm como objetivo validar e
criticar modelos de ASI, como King (1985) e Saaksjarvi (1985), onde aplicam o modelo
de Nolan
5
, avaliando a evolução e uso da informática nas organizações. Estes trabalhos
tinham como fundamentação justificar os investimentos tecnológicos e computacionais.
Estes modelos mensuram o potencial dos sistemas através da relação entre
investimento e aquisição em informática e uso dos computadores, substituindo
processos manuais.
Trabalhos como o de Leyland et al (1995 e 1997), Watson et al (1998) e Livari
(2005) avaliam a efetividade dos SI através da metodologia Servqual, já utilizada nos
trabalhos de Delone e McLean em três diferentes contextos. A metodologia Servqual se
baseia na satisfação do usuário com base nos fundamentos de marketing e satisfação
do consumidor. O objetivo é mensurar o intervalo existente entre as diversas
expectativas criadas pelos usuários e o SI, avaliando os motivos desta distorção..
5
Nolan R. L. Managing the crisis in data processing. Havard Business Review. March/April 1979 – p. 115-126
107
Abdallah (1996) e Alemna (1999) propõem a ASI como forma integrada de diversas
variáveis, considerando o ambiente, método, documentação e desempenho do sistema.
Estas perspectivas multivariáveis e em várias abordagens começam a surgir com mais
freqüência a fim de aprimorar as técnicas de ASI. Um exemplo é a pesquisa de McBride
(2003), que propõe a avaliação sob a abordagem da Teoria do Caos, em que os
princípios são utilizados para explicar os fenômenos corporativos complexos, inclusive
os SI. As Variáveis são: escopo, estágio inicial, comportamento, incidentes, nível de
não-equilíbrio, condição de decisão, ciclo e relação tecnologia, software e hardware.
Chau (1996) aplica o modelo TAM (Technology Acceptance Model) como
determinação da aceitação do SI. O autor agrega variáveis de usabilidade como longo
prazo e curto prazo. A questão da usabilidade e do comportamento do usuário na busca
pelas informações é tema recorrente em grande maioria dos artigos, como o trabalho de
Tague (1988) e Casey et al (2003) em que retorna questões fundamentais sobre a
usabilidade e comportamento psicológico do usuário, utilizando variáveis como tempo
de resposta, compreensibilidade e efetividade da busca. O trabalho utiliza o conceito de
“estado anômalo do conhecimento” de Belkin (1988) como critério de busca de
informação pelo usuário e o gap do conhecimento de Dervin (1984). Estas abordagens
surgiram e começaram a ser utilizadas como abordagens multidimensionais. Já no
trabalho de Sassone (1988), a ASI é tomada como uma relação entre custo e benefício.
O autor analisa as abordagens que consideram a capacidade que o SI oferece nas
tomadas de decisão.
O que se tem, na maioria das vezes, são avaliações que procuram integrar as
dimensões usabilidade, qualidade do sistema e retorno esperado. Ahituv (1998),
Francalanci et al (2004), Pinsonneault (1998), Teo e KING (1997), Croteau e Bergeron
108
(1999), Scott (1995), Kulmar (1990) validam modelos de ASI através da adequação da
informação e o impacto dos SI nas rotinas da organização. Por outro, lado, o trabalho
de Lamberti (1990), analisa as interfaces inteligentes em sistemas especialistas. É
interessante notar que a organização e disseminação do conhecimento são
consideradas como variáveis do SI, ou seja, até que ponto o SI permite gerar
conhecimento nas organizações. Neste sentido, Lundsgaarde (1993) desenvolve sua
pesquisa considerando as resistências encontradas pelos usuários dos SI como uma
variável crítica para a difusão da informação e fracasso de diversos sistemas. Por outro
lado, Mathieson (1994) desenvolve um trabalho onde descreve como os usuários
percebem os fatores ligados à satisfação dos SI em situações diferenciadas, ou seja, o
que ele chama de “variações definicionais”. Ele considera, também, que usuários
diferentes têm percepções diferentes sobre os mesmos SI. Isso acarreta níveis de
avaliações diferenciados, dependendo do usuário, sobre a mesma realidade. Tais
variações podem comprometer o nível de investimento em SI, como também a resposta
às expectativas dos usuários.
As pesquisas sobre ASI retornam constantemente a atenção para os aspectos
cognitivos dos usuários, na tentativa de mensurar o verdadeiro impacto na
produtividade e no desempenho individual. Brajnik et al(1996) avaliam a qualidade da
informação e efetividade do sistema através do uso de thesauros e usabilidade em
profissionais de uma determinada área onde os SI são críticos para a sobrevivência da
organização. Neste sentido, Tesch et al (2005), Chilton e Hardgrave (2004), Jiang et al
(2003), Joshi e Raí (2000) e Kirs et al (2003) focam seus trabalhos na esfera
psicológica / cognitiva dos desenvolvedores de SI e dos usuários. Segundo os autores,
muita atenção é dada às questões externas ao SI, como características da informação,
109
ambiente, software e hardware. As pesquisas se concentram nas características
cognitivas e dos conceitos e preconceitos e na relação destes fatores com o sucesso ou
fracasso dos SI.
Outra grande parte das pesquisas tem como foco aspectos ligados ao desempenho
organizacional e a relação dos SI com as estruturas corporativas. Premkumar (1992)
considera como fator de ASI o papel exercido do SI nas estratégias competitivas. Ou
seja, o alinhamento existente entre os negócios e os SI, suporte para decisões e
posicionamento estratégico. Smits (1997) e Saunders e Jones (1992) analisam o papel
dos SI nas organizações e a relação entre os investimentos e o retorno. Tal
preocupação começa a emergir nos trabalhos, pois as corporações investem altos
montantes nos SI sem perceber um retorno mais efetivo dos sistemas.
Neste sentido, outras abordagens administrativas começam a surgir, como a
pesquisa de Collier e Dixon (1995), onde realizam a avaliação através dos auditores
das empresas. As variáveis consideradas são a organização e disposição das
informações para a auditoria, capacidade de fornecer a análise financeira e apoio
estratégico. Outros trabalhos, como o de Lewis et al(1995) avaliam os recursos
utilizados nos SI, como planejamento, segurança, integração de negócios e
tecnológicos. Huerta (1999) e Khalifa (1997) avaliam a qualidade do SI pela interface do
SI e o impacto na produtividade. O sucesso do sistema depende da satisfação do
usuário, que, segundo o método, é diretamente ligado à usabilidade do sistema. Kaplan
et al (1998) avaliam os SI como suporte para as decisões financeiras, interferindo tanto
no nível interno como no nível externo da empresa. Outra abordagem muito utiizada
são as metodologias para averugüar a confiabilidade nas informações, considerda
crucial para a tomada de decisão. As variáveis são aplicadas através do número de
110
erros ocorridos, número de acessos e opções disponíveis e não usadas. Remenyi e
Sherwood-Smith (1999) propõem a ASI como uma attitude constante das corporações.
A abordagem é a relação entre investimento e retorno, o valor do SI e a sua relação na
cadeia produtiva. Van Der Zee e Jong (1999) fazem a análise entre SI e as estratégias
através de multiníveis de avaliação. Eles agregam uma perspectiva de expectativa dos
gerentes e uma estrutura de avaliação de resultados através do BSC (Balanced
Scorecard). A técnica do BSC é utilizada em diversos trabalhos, como na pesquisa de
Martinsons et al (1999) que utiliza o BSC como ferramenta de medição do sucesso de
IS.
Trabalhos com enfoques alternativos, como o Ballantine et al (2003), refletem sobre
a ética nas AIS. O foco se dá no humano, no avaliador e as características éticas, como
a filosofia da avaliação, relações de poder, cultura, estilo gerencial e perfil do avaliador.
Outra pesquisa em perspectiva diferenciada e o de Barron et al (2003), onde avaliam os
SI sob uma visão da semiótica, que considera os sinais sintáticos, semânticos,
pragmáticos e sociais, considerando como fatores de avaliação a estrutura, significado,
uso e conseqüência da informação. A análise se da na relação entre o domínio de
aplicação, complexidade, conseqüência social, aquisição, usabilidade de entrada e de
saída, justificativa, relação do sistema com a realidade e representação do SI.
Unruch et al (2004), Fowler e Wilkinson (2003), Shaw et al (2002), Shang e Seddon
(2002), Shallendra (2001), Irani e Love (2002), Killingsworth (2001), Sicar et al (2003)
avaliam sobre a relação entre os investimentos em TI/SI e o desempenho da empresa
no ambiente macro-econõmico. Eles questionam: é possível medir? Como se relaciona
os investimentos com o marketshare, valor de mercado, vendas e lucros? Neste
sentido, Levy et al (2003), Caldeira e Ward (2002), Counihan et al (2002) avaliam o
111
retorno dos investimentos em SI e consideram o tamanho da empresa como fator
relevante na ASI.
Luftman (2003) avalia o alinhamento entre SI e as estratégias competitivas utilizando os
conceitos de CMM. Como exposto anteriormente, o CMM (Capability Maturity Model) é
uma metodologia desenvolvida por pesquisadores da Carnegie Mellon para averiguar o
nível de maturidade do desenvolvimento de software
6
.
Serafeimidis e Smithson (2003) avaliam o SI como uma entidade ligada
diretamente a toda estrutura corporativa e propõe uma visão mais holística e social.
Esta abordagem também fundamenta os trabalhos de Liebowitz (2003), Shin (2003),
Tallon e Kraemer (2003), Cegielski et al (2003) Phillips-Wren et al (2003).
Os autores mais recentes como Kankanhalli et al (2003), Beynon-Davis et al
(2004), Poh (2004), Dymonke-Bradshaw e Cox (2004), Leem e Kim (2004), Peak et al
(2004) e Wendt et al (2005) consideram a avaliação de forma integrada baseando na
melhoria contínua dos processos de avaliação do desempenho dos SI. Já Lynch e
Gregor (2004), Kohli (2005), Price (2005) Sanderson e Zobel (2005) e Lee e Xia (2005)
consideram como fatores determinantes do sucesso de SI a participação do usuário nos
desenvolvimento de SI para suporte à decisão, sua participação nas avaliações e como
principal forma de desempenho organizacional. Com o surgimento do ambiente web, as
pesquisas começam a agregar variáveis específicas para estes sistemas, além de
analisarem fatores de comportamento de busca, como desenvolvido no artigo de Fung
et al (2000), Aladwani (2002), Soliman e Janz (2003), Kleist (2003), Phippen et al
(2004). Quintana et al(1993), realizam a ASI nos sistemas hipetextuais, onde considera
características cognitivas, expectativa e se existe variação da motivação diante de
6
www.carnegiemellon.edu
112
textos hipertextuais ou lineares. O trabalho avalia sob as dimensões da experiência do
usuário, tipo de interface e estrutura de busca. Os autores consideram como fatores
críticos para avaliação de hipertextos o tempo de espera pelo resultado de uma
pesquisa, tempo de interpretação, quantidade da informação recebida, apoio à tomada
de decisão e assimilação do conteúdo. O dimensionamento da tela, seqüência do
diálogo, estrutura do documento, quantidade de nós, números de links, seqüência de
hierarquia e número de referência são as variáveis analisadas.
Outras pesquisas focam, também fatores decorrentes da Internet, como o trabalho
de Oppenheim (2000) que considera como avaliação das máquinas de busca na web.
As variáveis são: número de páginas acessadas, retornadas, número de links,
relevância, sintaxe da busca, escolhas da pesquisa, possibilidade de alteração, opções
de busca, interface, qualidade dos resumos e uso de conectores lógicos. Agarwal e
Venkatesh (2002) e Tillotson (2002) consideram a ASI na web através de uma visão
holística. Associa, além da usabilidade, as fraquezas à organização das informações.
Neste sentido, Adamantia (2004), Pateli e Giaglis (2004), Lesjak e Vehovar (2005) e
Irani et al (2005) avaliam de modelos de SI em ambientes de e-Business, e-
goverfnment, business-to-business e business-to-customer e o impacto dos Si na
satisfação dos usuários.
Questões como a relação dos SI e a integração com os processos têm sido
exploradas por vários pesquisadores. Estes trabalhos avaliam o desempenho dos SI e
seu poder de suporte aos aspectos gerenciais. Belcher (1993), desenvolve seus
trabalhos sobre sistemas de EIS (Executive Information System), onde o foco principal é
o impacto do SI na produtividade, utilização dos recursos e auxílio nas tomadas de
decisão. Pinsonneault (1993) realiza uma revisão literária dos principais métodos de
113
MIS (Managment Information System), onde verifica a diferenciação entre pesquisas
survey e de laboratório, consideradndo as variáveis dependentes e independentes.
Wende et al (1994), consideram que o processo de avaliação compreende dois níveis.
Primeiramente, o suporte que o SI oferece às processos administrativos, e em seguida,
à qualidade técnica do sistema. Baker (1995), Vassilis e Smithson (1999) e Poo (2003)
pesquisam o alinhamento estratégico como fator de sucesso de um SI, tendo como
satisfação o retorno do usuário. Eles consideram o contexto, processos e métodos
como parâmetros de avaliação.
Teo e King (1999) analisam o alinhamento estratégico e os SI, através dos
processos, do desempenho e comunicação entre as estruturas de SI e definição de
estratégias. Eles propõem quatro níveis de integração: separada, recíproca, integrada e
completa. É importante perceber a amplitude das pesquisas, como o trabalhos de King
e Sethi (1999), onde avaliam os SI em empresas transnacionais, analisando a estrutura,
contexto e cultura. São considerados os aspectos relativos à cadeia de valores, sistema
de valores, alianças estratégicas. Kanellis et al (1999) propõem uma teoria
contingencial, onde as dimensões consideradas são: tomada de decisão, inovação,
aquisição e distribuição da informação. Giaglis (1999) amplia esta perspectiva
analisando a ASI sobre a quantificação dos benefícios dos SI através do modelo
interativo e contínuo de avaliação, considerando os aspectos relativos à Identificação
dos processos de negócios e expectativa dos benefícios, simulação do ambiente do
sistema, substanciação, ou seja, a implementação do modelo, Utilização do modelo e
Estimação dos resultados. A aplicação da avaliação em sistemas que estruturam a
cadeia produtiva é explorada por diversos pesquisadores, como Themistocleous et al
(2003) e Buxmann et al (2004), onde avaliam o desempenho de um SI em um SCM –
114
Supply Chain Management e toda a estrutura informacional integrada da empresa. O
ERP – Enterprise Resource Planning – é investigado em diversos trabalhos, como de
Hedman e Borell (2004), Keil e Tiwana (2005), Lim et al (2005) e Sharif et al (2005) Os
autores avaliam o ERP através da integração com os processos administrativos.
Por fim, algumas pesquisas têm como objetivo revisar fundamentos teóricos sobre
o tema e a evolução dos conceitos. Powell (1996) realiza uma revisão dos estudos
sobre investimentos e retorno dos SI, criando um quadro comparativo de métodos. O
autor aborda questões fundamentais dos SI como forma de aprimorar os métodos de
avaliação, pois, pode haver uma crise de conceitos nas ASI, devido há sua intensa
interdisciplinaridade e diversas metodologias diferentes. Farbey e Targett (1999)
executam uma revisão da evolução das ASI, percebendo uma direção para a
aprendizagem organizacional e tomada de decisões. Boudreau et al (1999) fazem uma
revisão retrospectiva das ASI, considerando as novas abordagens, questões
profissionais e expectativas dos usuários.
4.3 Categorização das variáveis utilizadas em pesquisas sobre ASI
Objetivando contribuir na identificação e sistematização dos diversos aspectos
relativos à ASI, foram categorizadas as variáveis utilizadas nos artigos estudados. As
variáveis se encontram sob objetivos, contextos e características diversos. Para melhor
organização das variáveis, elas foram organizadas em perspectivas e grupos
separados. Estas perspectivas se associam ao foco por onde são utilizadas as variáveis
e qual o objetivo da sua aplicação. Dentro de perspectiva, as variáveis foram separadas
por grupo, ou seja, as variáveis pertencem a objetivos semelhantes, como por exemplo,
115
a variável “eficiência” e “eficácia”, onde ambas validam o sucesso no processo de busca
da informação. Porém, na essência das variáveis são utilizados critérios distintos de
mensuração. Esta sistematização se torna relevante no momento em que é utilizada a
mesma variável em contextos e objetivos diferentes, como é o caso da variável que
mede a relação “custo-benefício”. Quando esta variável é utilizada sob a perspectiva do
usuário, ela tem o sentido de “medir a relação entre a obtenção dos resultados
desejados e o tempo despendido na busca da informação e custo de aquisição dos
documentos”. Porém, quando esta mesma variável é utilizada sob a perspectiva
empresarial, ela assume a função de medir a “relação entre o custo de implantação de
um sistema e a sua capacidade gerar ganhos para a organização.”. No Quadro 9 são
explicadas as perspectivas em que estão dispostos os artigos.
Na perspectiva associada aos critérios de uso do SI, estão as variáveis focadas no
usuário, sua percepção de qualidade, usabilidade e sucesso na busca da informação.
Na perspectiva tecnológica, se encontram as variáveis que medem o desempenho dos
sistemas, aspectos de hardware e software. Finalmente, na perspectiva empresarial, se
encontram as variáveis que mensuram o ganho da corporação pela aquisição do SI,
seu impacto no desempenho individual e em grupo dos funcionários e nas estratégias
competitivas. A organização das variáveis se encontra no QUADRO 10. Foram
categorizadas 104 variáveis.
QUADRO 9
Descrição das perspectivas das variáveis
PERSPECTIVA DO USUÁRIO
Grupo
Usabilidade Facilidade de uso do sistema
116
Utilidade Grau de benefício percebido pelo usuário
Qualidade Nível de impacto do sistema na produtividade individual e grupo
PERSPECTIVA TECNOLÓGICA
Grupo
Interface Desenho do sistema e acesso às informações
Estrutura Base tecnológica
PERSPECTIVA ADMINISTRATIVA
Grupo
Produtividade
Aspectos relacionados ao impacto financeiro e na produção
Retorno Relação entre a expectativa do investimento e o retorno percebido
Desempenho
Grau de uso do sistema e melhoria da qualidade dos processos
PERSPECTIVA DO USUÁRIO
Grupo Variável Descrição
Usabilidade
Acurácia Diferença da percepção entre o estado atual e real da
informação.
Benefício Obtenção dos resultados desejados
Compreensibilidade
Indica se o formato da apresentação está disposto para
rápida compreensão do usuário.
Custo Tempo despendido na busca da informação e custo de
aquisição dos documentos
Efetividade Nível de relação entre a eficiência e a eficácia
Eficácia Proporção de demandas de usuários que foram satisfeitos
Eficiência Quantidade de esforço requerido para se atingir um objetivo
do usuário
Empatia Nível de usabilidade do sistema
Grau de resistência
Nível de adaptação do usuário ao sistema e suas
modificações
QUADRO 10
Categorização das variáveis
117
Relevância A informação deve estar acima do estágio atual de
conhecimento.
Tempo de uso Tempo despendido na busca e assimilação do conteúdo da
informação requerida.
Utilidade
Completeza Associação da informação com assuntos correlatos que
podem agregar valor à pesquisa
Custo-benefício Relação entre a obtenção dos resultados desejados e o
tempo despendido na busca da informação e custo de
aquisição dos documentos
Custo-efetividade Relação entre o nível de relação entre a eficiência e a
eficácia e o tempo despendido na busca da informação e
custo de aquisição dos documentos
Custo-eficácia Relação entre a proporção de demandas de usuários que
foram satisfeitos e o tempo despendido na busca da
informação e custo de aquisição dos documentos
Custo-eficiência Relação entre o de esforço requerido para se atingir um
objetivo do usuário e o tempo despendido na busca da
informação e custo de aquisição dos documentos
Personalização Capacidade do sistema em adaptar às características de
cada usuário
Qualidade
Acessibilidade Indica que a informação deve estar disponível em um
primeiro momento da pesquisa.
Adaptabilidade Capacidade do sistema em adaptar às mudanças
ambientais e contingências
Adequação da
informação
Relação entre as informações recebidas e as necessidades
do usuário
Assimilação Capacidade do sistema em disponibilizar as informações
em formato para uma boa compreensão
Confiabilidade Nível de confiança do usuário nas informações recebidas.
Consistência Relação de confiabilidade entre as informações recebidas
Continuidade Está associado à capacidade do Sistema de não haver
ininterrupção que prejudique o andamento normal do
trabalho do usuário
Difusão da
informação
Capacidade do sistema em disseminar as informações.
Número de
alternativas
Alternativas possíveis para se atingir as necessidades do
usuário
Precisão Índice quer demonstra a relação entre a quantidade de
informação recuperada e amplitude do retorno.
Qualidade da
informação
Nível de compreensibilidade da informação recebida e sua
adequação às necessidades do usuário.
118
Quantidade da
Informação
Sobrecarga de informação na apresentação da pesquisa
Revocação Índice que demonstra a relação entre a quantidade de
informação recuperada e a necessidade específica desta
informação.
Segurança Capacidade do sistema em garantir a integridade e
privacidade das informações
Tempo de
atualização
Capacidade do sistema de manter as informações
disponíveis para serem atualizadas no menor espaço de
tempo para não haver conflito na tomada de decisão
Tempo de resposta
Tempo de espera do usuário no momento de requisição de
uma informação
PERSPECTIVA TECNOLÓGICA
Grupo Variável Descrição
Interface
Alterabilidade Capacidade do sistema em possibilitar ao usuário alterar as
pesquisas efetuadas.
Desenho da tela Nível de facilidade de compreensão dos recursos disponíveis
nas tela.
Facilidade de
busca
Capacidade em obter as informações de forma rápida e
objetiva através dos comandos disponíveis.
Facilidade de
ligação entre os
itens
Coerência na relação entre as informações e comandos
disponíveis.
Facilidade de
navegação
Capacidade que o sistema oferece ao usuário em transitar
entre as opções disponíveis de maneira lógica.
Facilidade de
reconhecimento
Capacidade que o sistema oferece ao usuário em identificar
os objetivos dos comandos.
Facilidade de uso Relação coerente entre as opções de entrada de dados,
saída e interpretação das respostas obtidas.
Navegação Facilidade que o sistema oferece em navegar entre as telas,
os links, nós, páginas e comandos de um sistema.
Número de links Quantidade de links distribuídos na tela que não
sobrecarreguem o sistema
Número de
páginas
Quantidade de páginas distribuídas na tela que não
sobrecarreguem o sistema
Qualidade das
entradas
Facilidade do uso e compreensão das entradas dos dados.
Qualidade das
saídas
Facilidade do uso e compreensão das saídas dos dados.
119
Uso de ajuda
Capacidade dos comandos de help e manuais para auxiliar
as pesquisas do usuário.
Estrutura
Atualização dos
dados
Capacidade do sistema em manter os dados atualizados em
tempo hábil.
Check-list Capacidade do sistema em retornar os comandos
executados.
Completeza da
transação
Capacidade do sistema em não interromper a transação
efetuada.
Estabilidade do
sistema
Capacidade do sistema em estar disponível o maior tempo
possível sem interrupções e perda de informações.
Facilidade de
compra
Facilidade que o sistema oferece em efetuar aquisições de
produtos on-line
Número de
acesso aos
bancos de dados
Quantidade de acessos aos dados disponíveis.
Qualidade dos
resumos
Nível de compreensão dos resumos oferecidos pelo sistema.
Suporte para
busca
Capacidade do sistema em oferecer facilidades de busca
pelo usuário.
Taxa de erros Número de erros retornados pelo sistema durante
determinado período de tempo
Tempo de
transação
Tempo decorrido entre o início da pesquisa efetuada pelo
usuário e a resposta do sistema.
PERSPECTIVA ADMINISTRATIVA
Grupo Variáveis Descrição
Produtividade
Auditoria Capacidade do sistema em auxiliar nas auditorias internas
e externas à empresa.
Aumento no nível de
motivação
Capacidade do sistema em melhorar o desempenho e dos
indivíduos e estímulo para a execução das suas tarefas.
Benefício Ganhos obtidos pela organização em função da
implantação de um sistema.
Custo Montante gasto na aquisição/desenvolvimento de um
sistema, incluindo todas as despesas gastas com tarefas
para a sua disponibilização e utilização, como treinamento,
suporte, documentação.
Efetividade Nível de relação entre a eficiência e a eficácia
Eficácia Capacidade do sistema em utilizar todos os recursos
disponíveis, atingindo os seus objetivos.
Eficiência Capacidade do sistema em atingir os propósitos ao qual
ele foi adquirido em alinhamento aos objetivos da
organização.
120
Ética Relação do sistema com as relações de ética e
comprometimento dos gestores.
Monitoramento das
atividades
Capacidade do sistema em administrar as funções dos
usuários, reduzindo gastos desnecessários.
Otimização das
tarefas
Capacidade do sistema em executar as tarefas em tempo
hábil e com precisão.
Reduzir a
ambigüidade
Capacidade que o sistema oferece em reduzir a
ambigüidade oriunda das informações internas e externas
à corporação.
Relações de poder Capacidade do sistema em amenizar as relações de poder
em uma organização.
Relatórios mais
precisos e rápidos
Capacidade do sistema em oferecer relatórios de fácil
compreensão.
Suporte para
decisões – impacto
nas decisões
Capacidade que o sistema oferece em auxiliar o usuário
nas tomadas de decisão.
Retorno
Alinhamento
estratégico
Capacidade do sistema em promover as estratégias
corporativas.
Aumento do lucro Capacidade do sistema em incrementar os lucros da
corporação.
Cadeia de valores Integração do sistema nas funções coordenadas nas
organizações, otimizando os processos executados.
Competitividade Auxílio do sistema em manter ou melhorar a
competitividade da empresa junto aos concorrentes.
Crescimento
organizacional
Capacidade do sistema em melhorar o desempenho
organizacional.
Cultura Nível do impacto que o sistema na cultura organizacional.
Custo de
agenciamento
Capacidade do sistema em reduzir os custos de
oportunismo dos funcionários.
Custo-benefício Relação entre o custo de implantação de um sistema e a
sua capacidade gerar ganhos para a organização.
Custo-efetividade Relação entre o custo de implantação de um sistema e a
sua capacidade em ser efetivo e eficaz.
Custo-eficácia Relação entre o custo de implantação de um sistema e a
sua capacidade em utilizar todos os recursos disponíveis,
atingindo os seus objetivos.
Custo-eficiência Relação entre o custo de implantação de um sistema e a
sua capacidade em atingir os propósitos ao qual ele foi
adquirido em alinhamento aos objetivos da organização.
Custos de transação
Capacidade do sistema em diminuir as margens de
oportunismo e irracionalidade nas relações de negócios.
Economia de escala
Capacidade do sistema em incrementar a produção sem
aumento direto dos custos.
121
Economia de
escopo
Capacidade do sistema em incrementar a produção de
mais de um produto sem aumento direto dos custos.
Facilidade de
comunicação –
melhoria na
comunicação
Capacidade que o sistema oferece em melhorar a
comunicação interna da empresa.
Impacto
organizacional na
posição estratégica
Contribuição do sistema em manter ou melhorar o
posicionamento estratégico da empresa no mercado.
Integração dos
processos – nível de
integração
Capacidade do sistema em interagir os processos
administrativos, otimizando o fluxo organizacional.
Melhoria na
adaptação da
organização
Contribuição do sistema em facilitar as modificações
estruturais e estratégicas.
Melhoria nas
negociações
Capacidade do sistema em prover recursos e facilidade de
negociação
Melhoria no
processo de P&D
Contribuição do sistema nos processos de pesquisa e
desenvolvimento da corporação em novos produtos.
Posicionamento
estratégico
Auxílio do sistema em manter ou melhorar a o
posicionamento estratégico da empresa junto aos
concorrentes
Produtividade do
grupo – impacto no
grupo
Capacidade do sistema em otimiza o desempenho do
grupo de usuário na execução das suas tarefas, integrando
as atividades e facilitando a comunicação e redução de
esforços.
Produtividade
pessoal – impacto
pessoal
Capacidade do sistema em otimiza o desempenho do
usuário na execução das suas tarefas.
Redução da
burocracia
Capacidade do sistema em minimizar as burocracias
administrativas, reduzindo custo e tempo.
Redução de custos Capacidade do sistema em reduzir os custos operacionais
ou de produção.
Redução do grau de
centralização -
verticalização
Capacidade do sistema em distribuir melhor as tomadas de
decisão.
Redução dos níveis
hierárquicos
Capacidade do sistema em enxugar os níveis hierárquicos
Retorno sobre
investimento
Relação entre o investimento no sistema e o retorno
esperado.
Desempenho
Custo de
implantação
Relação entre o custo de implantação de um sistema e sua
usabilidade.
Documentação Capacidade do sistema em oferecer documentos de
confiáveis.
Facilidade de
instalação
Rapidez e objetividade que o sistema oferece em ser
instalado
122
Suporte Capacidade do sistema em oferecer suporte para situações
complexas e possíveis erros.
Treinamento Nível da eficiência dos treinamentos necessários à
utilização do sistema.
Utilização dos
recursos
Capacidade que o sistema oferece em utilizar o máximo de
recursos implantados.
4.4 Categorização das palavras-chave
A organização das palavras-chave dentro de uma determinada área do
conhecimento tem servido como base para um melhor entendimento dos seus estudos
e evolução. A MIS Quartely (Management Information Systems Quartely) publicou em
1988 um esquema de classificação das palavras-chave no âmbito dos SI. Este
esquema teve como intenção descrever a disciplina, introduzindo uma linguagem e
vocabulário comum, acessível aos pesquisadores que atuam nesta área de
desenvolvimento. Este esquema tem passado por diversas incrementações com o
objetivo de manter esta relação sempre atualizada, pois, como toda área de
conhecimento, as relações interdisciplinares e o surgimento de novas técnicas, fazem
da ciência um objeto em constante mutação. Os autores Barki H, Rivard S, e Talbot J.
publicaram em 1993 uma nova topologia destas classificações, passando de 700 para
1.300 palavras.
Este esquema, além de prover um vocabulário unificado de interesse dos
pesquisadores, mostra a evolução da área e a alteração e interseção entre as áreas
limítrofes de estudo. Isto se torna interessante, pois auxilia no desenvolvimento de
novos estudos e serve como bússola para os pesquisadores.
Com a intenção de contribuir para a área de ASI, organizaram-se as palavras-
chave encontradas nos artigos analisados, agrupando-os em sessões e associando os
123
atributos das palavras-chave através de descritores, tomando como base o trabalho de
BARKI et al (1993). Os grupos onde foram agrupadas as palavras-chave e suas
relações seguem, também a topologia proposta por Barki et al (1993). Neste trabalho
foram categorizadas 327 palavras-chave. Porém, houve uma adaptação do modelo de
referência para se adequar melhor ao trabalho proposto e pela diferença entre o
universo de variáveis.
A REFERENCE DISCIPLINES
AA INFORMATION
AA01 Information science
AA02 User information behavior
AB SYSTEMS
AB01 Information systems
AB02 Systems design
AB03 Systems development
AC COMPUTER SCIENCE
AC01 Cybernetics
AC02 Information technology
AD MANAGEMENT SCIENCE
AD01 Management
AD02 Business
AD03 E-Business
AD04 Strategyc planning
AE BEHAVIORAL SCIENCE
AE01 Behavior
AE02 Cognition
AE03 Cognitive dissonance theory
AE04 Cognitive models
AE05 Cognitive style
AF DECISION THEORY
AF01 Decision making style
AF02 Heuristic decision rules
B INFORMATION SYSTEMS USAGE
BA TYPE OF INFORMATION SYSTEMS
QUADRO 11
Categorização das palavras-chave
124
BA01 Management systems
BA0101 Business-to-business
BA0102 Enterprise integration application
BA0103 Enterprise resource planning
BA0104 Enterprise systems
BA0105 Executive Information System
BA0106 Executive Support System
BA0107 Expert system
BA0108 Global Information Systems
BA0109 Intelligent decision system
BA0110 Management Information system
BA0111 Strategic Information Systems
BA0112 Supply chain management
BA0113 Transaction processing systems
BA02 Decision support systems
BA0201 Group decision support systems
BA0202 Distribuided decision-making systems
BA03 Information storage
BA0301 Information retrieval system
BA04 Electronic systems
BA0401 Electronic commerce
BA0402 Enterprise Data Interchange
BA0403 Hypertext System
BA0404 Transactional web sites
BA0405 Web sites
BB INFORMATION SYSTEM CHARACTERISTCS
BB01 Information systems components
BB0101 Information systems centralization
BB0102 Information systems classification
BB0103 Information systems cost
BB0104 Information systems definitions
BB0105 Information systems designer
BB0106 Information systems development process
BB0107 Information systems Investiments
BB0108 Information systems management
BB0109 Information systems network
BB0110 Information systems planning
BB0111 Information systems research agenda
BB0112 Information systems research methods
BB0113 Information systems skill
BB0114 Information systems strategic planning
BB0115 Information systems strategy
BB02 Information systems variables
BB0201 Information systems adoption
BB0202 Information systems aligment
BB0203 Information systems benefit
BB0204 Information systems efetivity
BB0205 Information systems effectiveness
BB0206 Information systems eficacy
125
BB0207 Information systems eficiency
BB0208 Information systems evaluation
BB0209 Information systems quality
BB0210 Information systems success
BC INFORMATION CHARACTERISTCS
BC01 Information diffusion
BC02 Information effectiveness
BC03 Information management
BC04 Information product
BC05 Information quality
BC06 Information quantity
BC07 Information resource management
BC08 Information retrieval
BC09 Information strategy
C INFORMATION TECHNOLOGY
CA COMPUTER SYSTEMS
CA01 Computer components
CA0101 Ask time
CA0102 Atualization time
CA0103 Computer-human interface
CA0104 Data quality
CA0105 Design screen
CA0106 Infrastructure
CA0107 Internet
CA0108 Real-time
CA0109 Web interface
CA02 Information technology organization
CA0203 Information technology adoption
CA0204 Information technology alignment
CA0205 Information technology investment
CA0206 Information technology millennium
CA0207 Information technology pay-off
CA0208 Information technology personnel
CA0209 Interoperability
CA0210 Packaged software development
CA0211 Software selection
CB STRUCTURE
CB01 Hardware
CB0101 Database
CB0102 Data minig
CB0103 Data warehousing
CB0104 Netwotk
CB02 Software
CA0201 Capability Maturity Model
CA0202 Programming language
CA0203 Software development
126
CA0204 Software test
D INFORMATION SYSTEM ASSESSMENT
DA ASSESSMENT VARIABLES
DA01 User variables
DA0101 Attitude
DA0102 Dissatisfaction
DA0103 End-user computing
DA0104 End-user satisfaction
DA0105 End-user support
DA0106 Expectancy
DA0107 Multiple informants
DA0108 Perceiced usefulness of information systems
DA0109 Perceived benefits
DA0110 Perceived ease of information systems use
DA0111 Perceptual differences
DA0112 Performace measures
DA0113 Psychometrics
DA0114 Psychometric tests
DA0115 Recognition easeness
DA0116 Resistance level
DA0117 User envolvement
DA0118 User influency
DA0119 User information satisfaction
DA0120 User interface evaluation
DA0121 User Interfaces
DA0122 User participation
DA0123 User requirements
DA0124 User satisfaction
DA02 System variables
DA0201 Complexity
DA0202 Confirmatory factors analysis
DA0203 Consonance
DA0204 Construct validity
DA0205 Contend Validity
DA0206 Critical failures factors
DA0207 Critical sucess factors
DA0208 Effectiveness
DA0209 Feedback
DA0210 Flexibility
DA0211 Resource quality
DA0212 Role ambiquity
DA0213 Systems attributes
DA0214 Usability
DA0215 Use
DA0216 Use time
DA0217 Validation
127
DA0218 Validity
DA03 Information variables
DA0301 Dependency
DA0302 Discrepance
DA0303 Effectiveness of incomplete Information
DA0304 Information acuracy
DA0305 Information benefits
DA0306 Information efficacy
DA0307 Information efficiency
DA0308 Reliability
DA0309 Tailorability
DA0310 Value of information
DA04 Business variables
DA0401 Benefits
DA0402 Business efficacy
DA0403 Business efficiency
DA0404 Business performance
DA0405 Competitivity
DA0406 Costs
DA0407 Investments
DA0408 Profit
DA0409 Strategic aligmnment
DA0410 Strategic position
DB ASSESSMENT METODOLOGIES
DB01 Assessment models
DB0101 SERVQUAL
DB0102 CMM – Capability Maturity Model
DB0103 Delone and McLean Model
DB0104 E-governement evaluation model
DB0105 Heuristic evaluation
DB0106 Post hoc model
DB0107 Process-oriented assessment
DB0108 Role selection model
DB0109 TAM – Technology Acceptance Model
DB0110 Total quality
DB0111 TTF – Task Technology Fit
DB02 Metodologies components
DB0201 Anonymity
DB0202 Boundaries
DB0203 Experiment
DB0204 Guidelines
DB0205 Instrumentality
DB0206 Microsoft usability guidelines
DB0207 Search and development
DB0208 Search engines
DB0209 Task analysis
DB03 Assessment theory
DB0301 Analytic hiearchy process
DB0302 Appraisal techinques
128
DB0303 Assessment
DB0304 Case research
DB0305 Case Studies
DB0306 Chaos theory
DB0307 Continuos improvement
DB0308 Crisis theory
DB0309 Empirical study
DB0310 Expectancy theory
DB0311 Human problem solving
DB0312 Human-computer interaction
DB0313 Integrated approach
DB0314 Interpretative research
DB0315 Longitudinal study
DB0316 Methodology
DB0317 Phenomenology
DB0318 Positivist research
DB0319 Pragamatic evaluation
DB0320 Quantitative research
DB0321 Research frameworks
DB0322 Semiotics theory
DB0323 Significance tests
DB0324 Structural equation modeling
DB0325 Structured case method
DB0326 Transaction analysis
DC ASSESSMENT OUTPUTS
DC01 User features
DC0101 Individual impact
DC0102 Individual produtivity
DC0103 Job satisfaction
DC0104 Time-constrained decision making
DC02 System features
DC0201 Informatin systems success
DC0202 Performance measurement
DC0203 Quality assessment
DC0204 Quality assurance
DC0205 Security
DC0206 Service quality
DC0207 Sucess factors
DC0208 System quality
DC0209 System stability
DC0210 System success
DC0211 Technology changes
DC03 Business feature
DC0301 Benefits
DC0302 Communication improvement
DC0303 Customer satisfaction
DC0304 Group produtivity
DC0305 Investment evaluation
DC0306 Organizational impacts
129
DC0307 Organizational performance
DC0308 Project evaluation
DC0309 Qualty of role conflict
DD ASSESSMENT COMPONENTS
DD01 Evaluation
DD0101 Evaluation criteria
DD0102 Evaluation orientations
DD0103 Evaluation roles
DD0104 Evalutions methods
DD02 Measurement
DD0201 Evolution
DD0202 Measurement
DD0203 Measurement development
DD0204 Measuring instrument
DD0205 Model
DD0206 Modelling
E INFORMATION SYSTEM MANAGEMENT
EA
MANAGEMENT SYSTEMS RESOURCES
EA01 Management system benefits
EA0101 Business benefits
EA0102 Management benefits
EA0103 Mean average precision
EA0104 Operational benefits
EA0105 Profit improvement
EA0106 Reduction costs
EA0107 Return on investment
EA0108 Strategic advantage
EA0109 Strategic alignment
EA0110 Strategic attractors
EA0112 Strategic benefits
EA02 Impacts on organization
EA0201 Business process reengineering
EA0202 Cost benefit analysis
EA0203 Decision analysis
EA0204 Decision making
EA0205 Decision support
EA0207 Decision support system
EA0208 Ethic
EA0209 Group decision making
EA0210 Group support systems
EA0211 Investment decision-making
EA0212 Investment analysis
EA0213 Knowledge presentation
EA0214 Knowledge sharing
EA0215 Learning organization
EA0216 Manipulation validity
130
EA0217 Performance management
EB
MANAGEMENT SYSTEM INTEGRATION
EB01 Information system alignment
EB0101 Alignment
EB0102 Audit
EB0103 Computer-based collaborative work
EB0104 Life cicle costs
EB0105 Planning systems
EB02 Information system process integration
EB0201 Accounting Systems
EB0202 Corporate planning
EB0203 Integration process
EB0204 Interorganizational information system
EB0205 Knowledge management systems
EB0206 Knowledge-based decision support system
EB0207 Manufaturing resource planning
EB0208 Marketing of information system
EB0209 Process theory
EB0210 Stochastic
EC
ATTRIBUTES OF MANAGEMENT SYSTEMS
EC01 Business change
EC02 Business model
EC03 Business process
EC04 Business strategy
EC05 Business units
EC06 Integration
EC07 Integration requirements
EC08 Management of computing
EC09 Management of Information Technology
EC10 Professional certification
F ORGANIZATION ENVIRONMENT
F01 INTERNAL ENVIRONMENT
F0101 Centralization
F0102 Corporate culture
F0103 Descentralization
F0104 Organization benefits
F0105 Organization changes
F0106 Organization growing
F0107 Organization improvement
F0108 Organizational roles
F0109 Power relationship
F0110 Value chain
F02 EXTERNAL ENVIRONMENT
F0201 Community information
F0202 Competitivity
F0203 Economic perspectives
131
F0204 Multinacional corporations
F0205 Small and Medium-sized enterprises
F0206 Stakeholders
F0207 Strategic position
5. CONCLUSÕES
Conforme demonstrado na revisão bibliográfica, as pesquisas em ASI se
encontram em um estágio inicial de estruturação do seu escopo metodológico. Mas é
notória uma tendência para a organização dos modelos aplicados. A
interdisciplinaridade, pressuposto desta pesquisa, confirma o extenso universo das
técnicas de avaliação.
Diversos trabalhos tratavam, mais especificamente, da avaliação de sistemas sob
uma perspectiva tecnológica, Ou seja, é considerado como fator de sucesso ou
fracasso as transações efetuadas. As pesquisas têm como objetivo validar e criticar o
132
uso da informática nas organizações. Estes trabalhos têm como objetivo justificar os
investimentos tecnológicos e computacionais.
Muitos trabalhos avaliam a efetividade dos sistemas através da metodologia de
Delone e McLean em diferentes contextos. O objetivo é mensurar o intervalo existente
entre as diversas expectativas criadas pelos usuários e o real desempenho dos
sistemas, avaliando os motivos desta distorção. Algumas abordagens propõem a
avaliação de sistemas como forma integrada de diversas variáveis. Estas perspectivas
multivariáveis e em várias abordagens começam a surgir com mais freqüência a fim de
aprimorar as técnicas de avaliação de sistemas.
O modelo TAM (Technology Acceptance Model) é utilizado largamente como
determinação da aceitação dos sistemas. A questão da usabilidade e do
comportamento do usuário na busca pelas informações é tema recorrente em grande
maioria dos artigos, em que retorna questões fundamentais sobre aspectos cognitivos
do usuário. O que se tem, na maioria das vezes, são avaliações que procuram integrar
as dimensões usabilidade, qualidade dos sistemas e retorno esperado. É importante
notar que a disseminação do conhecimento são consideradas como variáveis dos
sistemas, ou seja, até que ponto o sistema permite organizar o conhecimento nas
organizações.
Outra grande parte das pesquisas tem como foco aspectos ligados ao
desempenho organizacional e a relação dos sistemas com as estruturas corporativas,
considerando-se como fator importante de avaliação a força exercida pelos sistemas
nas estratégias competitivas. Os artigos mostram uma tendência em justificar os
investimentos realizados nos SI, enfatizando uma preocupação crescente com o retorno
financeiro
133
Alguns pesquisadores avaliam os sistemas como suporte para as decisões
estratégicas, sendo que os trabalhos mais recentes descrevem a avaliação de forma
integrada baseando na melhoria contínua dos processos de avaliação do desempenho
dos sistemas. Outros autores consideram como fatores determinantes do sucesso de
sistemas a participação do usuário no desenvolvimento e e nas avaliações, como
principal forma de mensurar o benefício percebido. Com o surgimento do ambiente web,
as pesquisas começam a agregar variáveis específicas para estes sistemas, além de
analisarem fatores de comportamento de busca.
A categorização das variáveis e palavras-chaves auxiliaram na marcação dos
limites da área, possibilitando compreender melhor as características das pesquisas e
metodos de avaliação. Percebe-se um grande esforço de vários pesquisadores em
estabelecer melhor os conceitos e teorias de ASI.
A pesquisa foi exaustiva devido ao universo enorme de artigos que explanam
sobre a temática, sendo necessário efetuar diversos cortes durante o processo de
seleção dos trabalhos. Devido à falta de padronização, determinadas características
metodológicas não são claras, como também não é fácil determinar o campo disciplinar
e os objetivos das avaliações.
Por fim, conforme demonstrado no decorrer da pesquisa, a diversidade de
modelos contribui para uma extensa gama de possibilidades de avaliações, merecendo
critérios metodológicos específicos para validar as técnicas de ASI, pois é necessário e
importante para área ser reconhecida cientificamente.
134
REFERÊNCIAS BIBLIOGRÁFICAS
AGUILAR, Maria José; ANDER-EGG Ezequiel. Avaliação de programas e serviços
sociais. Petropólis: Editora vozes, 1994.
ALAVI, Maryam; LEIDNER, Dorothy. Knowledge management and knowledge
managemt systems: cenoceptual foundations and research issues. MIS Quarterly, v. 5,
n. 1, p. 107-136, 2001.
ALLEN, Bryce. Cognitive abilities and information system usability: Information Process
& Management, v. 30, n. 2, p. 177-191, 1994.
135
AMÂNCIO, Jessé Alves. Avaliação da eficácia de sistemas de informações: um estudo
de caso no setor de serviços. Dissertação de mestrado apresentado ao Curso de
Administração de Empresas do Centro de Pós Graduação e Pesquisas em
Administração da Faculdade de Ciências Econômicas da Universidade Federal de
Minas Gerais. Belo Horizonte, 2005.
AROUCK, Osmar. Avaliação de Sistemas de informação: Revisão da Literatura.
Revista Transformação. Pontifícia Universidade Católica de Campinas. v. 13, n.1, p.7-
21, janeiro/junho. 2001.
BARDIN, Laurence. Análise de Conteúdo. Portugal: Edições 70., 1977.
BARKI, Henri; RIVARD, Suzanne; TALBOT, Jean.. A keyword classification scheme for
IS research literature: an update. MIS Quarterly. v. 17, n. 2, p. 209-225, 1993
BELKIN N. J. Ask for information retrieval. Journal of Documentation. 1988. p. 61-71
BOURNE, C. P. Some user requeriments state quantitative in terms of 90 percent
library. Eletronic Informatin Handling. USA. 1965.
BÖHMERWALD, Paula. Uma proposta metodológica para avaliação de bibliotecas
digitais: usabilidade e comportamento de busca por informação na Biblioteca Digital da
PUC-Minas. Dissertação de mestrado apresentado ao Curso de Mestrado da Escola de
Ciência da Informação da Universidade Federal de Minas Gerais. Belo Horizonte, 2003.
BRODBECK, Ângela F. & HOPPEN, Norberto – Alinhamento Estratégico entre os
Planos de Negócio e de Tecnologia de Informação: um Modelo Operacional para a
Implementação. – Trabalho apresentado no XXVI Encontro Nacional de Pós-Graduação
em Administração – ENANPAD, 2002.
136
BRYNJOLFSSON, Erik. The productivity paradoxof information technology review and
assessment. Communications of ACM, 1993.
CARR, Nicholas G. It doesn´t matter. HBR. v. 81, n.5. 2003
CARVALHO, Rodrigo Baroni de. Intranets, portais corporativos e gestão do
conhecimento: análise das experiências de organizações brasileiras e portuguesas.
Tese apresentada ao Curso de Doutorado da Escola de Ciência da Informação da
Universidade Federal de Minas Gerais. Belo Horizonte, 2006.
CASSARO, Antônio Carlos. Sistemas de Informação para Tomadas de Decisões. 3
a
.
edição. São Paulo: Editora Pioneira Thompson Learning, 2001.
CASTELLS, Manuel. Sociedade em rede. São Paulo. Editora Paz e Terra, 1999.
CENDÓN, Beatriz Valadares. Estudo de uso de periódicos eletrônicos: Portal Periódicos
Capes em Universidades Federais. Disponível em
<http://www.eci.ufmg.br/cendon/portalcapes.htm>. Acessado em setembro de 2006.
CHOO, Chun Wei. The knowing Organization. New York: Oxford University Press.. 1998
CHOO, Chun Wei. A Organização do conhecimento. São Paulo: Editora Senac. 2003.
COHEN, Ernesto & FRANCO, Rolando. Avaliação de projetos sociais. Petrópolis:
Editora vozes, 1993.
CONRATH, David W., MIGNEN, Oliver P. What is being done to measure user
satisfaction with EDP/MIS. Information & Management, v. 19, p. 7-19, 1990.
137
CUNHA, Leo. Publicações científicas por meio eletrônico: critérios, cuidados, vantagens
e desvantagens. Perspectivas em Ciência da Informação. Belo Horizonte. v. 2, n.1
janeiro/julho 1997.
DAVENPORT, Thomas; PRUSAK, Laurence. Conhecimento empresarial: como as
organizações gerenciam seu capital intelectual. Rio de Janeiro: Campus, 1998.
DAVIS, Fred. Perceived usefulness, perceived ease os use and user acceptance of
information technology. MIS Quarterly, v. 13, n. 3, p. 319-339. 1989.
DELONE, William & McLEAN, Ephraim. The DeLone and McLean Model of Information
Systems Success: A Ten-Year Updat. Journal of Managemrnt Information Systems.
Vol. 19, No. 4, p. 9 – 39, 2003.
DERVIN, Brenda. The information needs of californians. Institute of Governmental
Affaire. 1984
DERVIN, Brenda. From the mind´s eye of the user: the sense-making qualitative-
quantitative methodology. Qualitative Research in Information Management.
Englewood: Libraries Unlimited, 1992.
DETLOR, Brisn. Towards knowledge portals: from human issues to intelligent agents.
Boston: Kluwe Academic Publishers, 2004.
DIAS, Fernando Skackauskas. Análise da Interseção e Alinhamento entre os Sistemas
de Informação e o Planejamento Estratégico Empresarial. Artigo apresentado no I
o
Simpósio Mineiro de Sistemas de Informação. Belo Horizonte, 2004.
DIAS, Raquel. Métricas para Avaliação de Sistemas de Informação. Brasília. Instituto de
Assistência Técnica da AEUDF, 2001.
138
DIPPEL, Gene & HOUSE, William. Information systems – data processing and
evaluation. EUA: Library of congress. Scott, Foresman and Company. Illinois, 1969.
EHMS, Karsten & LANGEN, Manfred. Holistic development of knowledge management
with Knowledge Management Maturity Model. Siemens AG. Disponível em
<http://www.kmmm.org>. Acessado em setembro de 2006.
FIANI, Ronaldo – Teoria dos Custos de Transação. In: KUPFER, David &
HASENCLEVER, Lia – Economia Industrial. Fundamentos Práticos e Teóricos no Brasil.
2
a
edição. Rio de Janeiro: Editora Campus, 2002.
PAULA FILHO, Wilson de Pádua. Engenharia de software. Fundamentos, métodos e
padrões. São Paulo: Editora LTC, 2000.
FIORINI, Soeli T. STAA, Arndt Von, BAPTISTA, Renan Martins. Engenharia de
Software com CMM. Rio de Janeiro: Editora Brasport, 1998.
FIGUEIREDO, Nice Menezes de. Estudos de Usuários como Suporte para
Planejamento e Avaliação de Sistemas de Informação. Revista de Ciência da
Informação. Brasília. 14(2):127-135, jul/dez, 1985.
FRANÇA, Vera veiga. Paradigmas do conhecimento: Conhecer o que?.Disponível em
<http: //www.uff.mesteci/vera1.htm>. Acessado em setembro de 2006.
FRANCO, Maria Laura P. B. Análise do Conteúdo.. 2ª. Edição. Brasília: Líber Livros
Editora, 2005
GALLETTA, Denis, LEDERER, F. Some Cautions of the Measurement of User
Informatiosn Satisfaction. Decisoin Sciences, v. 20, p. 419-438. 1989.
139
GOMEZ, Maria Nélida Gonzales. Para uma reflexão epistemológica acerca da ciência
da informação. Perspectivas em Ciência.da Informação. Belo Horizonte, v.6, n.1, p.5-18,
jan/jun.2001
GOODHUE, Anura & THOMPSON, Ronald. Task-technology fit and individual
peformance. MIS Quarterly, v. 19, n. 2, p. 213-236, junho de 1995.
GROVER, Varun, JEONG, Seung Ryul, SEGARS, Albert. Information System
Effectiveness: the construct space and pattern of application. Information &
Management, v. 31. p. 177-191, 1996.
GUNASEKARAN, Angappa, IRANI, Zahir; LOVE, Peter E.D. Quantitative and
Qualitative Approaches to Information Systems Evaluation. European Journal of
Operatiom Reseach, 2005.
HARTMAN, W. Manual de los sistemas de información: analisis, requisitos y su
determinación, deseño y desarrollo. Implanatación y su evaluación. Madri: Parainfo,
1973
HITT, Michael A.; IRELAND, Duane D. HOSKISSON, Robert E. Administração
estratégica. São Paulo. Pironeira Thomson Learning, 2002.
HJORLAND, B. Library and information science: practice, theory, and philosophical
basis. Information Processing and Management, 36, p.501-531, 2000.
HOPPEN, Norbeto; LAPOINTE, Liette; MOREAU, Eliane. Um guia para a avaliação de
artigos de pesquisa em sistemas de informação. Revista de Administração. Ed 3, v. 2,
n.2, 1996.
140
HOPPEN, Norberto & MEIRELLES, Fernando S. Sistemas de informação: um
panorama da pesquisa científica entre 1990 e 2003. RAE - Revista de Administração de
Empresas. Fundação Getúlio Vargas. v. 45, n. 1, p. 243-35. 2005.
INGWERSEN, P. Information and information science in context. Libri, Copenhagen,
v.42, n.2, p.99-135, 1992.
IVES, Blake & OLSON, Margrethe. User Involvment and MIS Success: a review of
research. Management Science, v. 30, p. 586-603. 1984.
JAMIL, Jorge L. Repensando a TI na Empresa Moderna. Rio de Janeiro: Editor Axcel
Books, 2001.
JAPIASSU, H. A interdisciplinaridade: algumas conclusões. Rio de Janeiro: Editora
PUC/RJ, 1998.
KAPLAN, Robert S. & NORTON, David P. – A Estratégia em Ação. 9
a
edição. Rio de
Janeiro: Editora Campus, 1997.
KOURGANOFF, Wladimir. A face oculta da universidade. São Paulo: Editora da
Universidade Estadual paulista, 1990.
LANCASTER, F. Wilfrid. Information retrieval systems. Characteristics, testings and
evaluation. USA: John Wihy & Son Inc. 1968.
LANCASTER, F. Wilfrid. Avaliação de serviços de bibliotecas. Brasília: Briquet de
Lemos, 1993.
LAUDON, Kenneth. C. & LAUDON, Jane. C. – Gerenciamento de Sistemas de
informação. 3
a
edição. Rio de Janeiro: Editora Livros Técnicos e Científicos, 1999.
141
LAUDON, Kenneth. C. & LAUDON, Jane. C. – Sistemas de Informações Gerenciais.
Administrando a Empresa Digital. 5
a
edição. Rio de Janeiro: Editora Prentice Hall, 2005.
LAVILLE, Christian & DIONNE, Jean. A Construção do Saber. Belo Horizonte: Editora
UFMG, 1999.
LE COADIC, Yves-François. A Ciência da Informação. Brasília: Briquet de Lemos,1996
LEVI, Michael D. & CONRAD Frederick G. Usability testing of World Wide Web Sites.
Disponível em <http://stats.bls.gov/ore/htm%5Fpapers/st960150.htm>. Acessado em
setembro de 2006.
LIEBOWITZ, Jay A look at why information systems fail. Information Management, 2003.
LIMA, Gercina Ângela Borém. A navegação em sistemas de hipertexto e seus aspectos
cognitivos. Portugal: Cadernos BAD, 2004.
LIVARI, Juhani An Empirical Test of the DeLone-McLean Model of Information System
Success. Database for Advances in Information Systems. New York:
Vol.36, Iss. 2; p. 8, 20 pgs, 2005.
LÖBLER, Mauri, L. & MORAES, G. Marques. Estudo Exploratório dos Fatores que
Influenciam a Avaliação de Sistemas de informação em Prefeituras Municipais – PPGA
UFRGS. Disponível em. <http://www.fecap.br/adm_online/art0502/art5024.pdf>.
Acessado em julho de 2005.
LOOTY, Mariana & SZAPIRO, Mariana – Economias de Escala e Escopo. In: KUPFER,
David & HASENCLEVER, Lia – Economia Industrial. Fundamentos Práticos e Teóricos
no Brasil. 2
a
edição. Rio de Janeiro: Editora Campus, 2002.
142
MAÑAS, Antonio V. Administração de Sistemas de Informação. 3
a
edição. São Paulo:
Editora Érica, 2002.
MARTELETO, Regina Maria. Conhecimento e sociedade: pressupostos da antropologia
da informação. In: AQUINO, M. A. O campo da ciência da informação: gênese,
conexões e especificidades. João Pessoa: Editora Universitária. UFPB, 2002. p. 101-
115.
MASON, Richard O. Measuring information output: a communication systems approach.
Information & Management Review, v. 1, p. 219-234, 1978.
MCGEE, James & PRUSAK, Laurence. Gerenciamento estratégico da informação. Rio
de Janeiro: Editora Campus, 1994
MCFARLAN, F. W. Como a tecnologia da informação muda a sua maneira de competir.
In: MONTGMERY, C.; PORTER. M. Estratégia: a Busca da Vantagem Competitiva. 3.
ed. Rio de Janeiro: Campus, 1998.
MORIN, Edgar. Por uma reforma do pensamento. In O pensar complexo.. PENA-VEJA,
Alfredo; NASCIMENTO, Elimar Pinheiro do (Org). Editora Garamond. Rio de Janeiro,
1999.
MUNSHI, Jamal. A Framework for MIS Effectiveness. Grecee, Athens. Academy of
Business Administration, 1996.
MARCONI, Marina de Andrade & LAKATOS, Eva Maria. Técnicas de Pesquisa. 5ª
edição. São Paulo: Editora Atlas, 2002.
MYERS, Rarry I. & KAPPELMAN, Leon A. & PRYBUTOK A Comprehensive Model for
Assessing the Quality and Productivity of the Information Systems Function. Toward a
Contingency Theory for Information Systems Assessment. Information Resources
Management Journal, Univesity of North Texas. 1997.
143
NETO, José Dutra de Oliveira & RICCIO, Edson Luiz. Desenvolvimento de um
Instrumento para Mensurar a Satisfação do Usuário de Sistemas de Informação através
do Método Survey. Disponível em <http://www.tecsi.fea.usp.br/riccio/tac/pdf/art-
menssurvey.pdf>. Acessado em março de 2006.
NONAKA, L.; TAKEUCHI, H. A criação do conhecimento na empresa. São Paulo:
Editora Campus, 1994.
ORRICO. E. G. D. Interdisciplinaridade: ciência da informação e lingüística. In:
PINHEIRO, L. V. R. (org.). Ciência da informação, ciências sociais e
interdisciplinaridade. Brasília: IBICT. p.143-154, 1999.
PARASURAMAN, A. ZEITHAML, Valarie A., BERRY, Leonard L. A conceptual model of
service quality and its implications for future research. Journal of Marketing, v. 49, p. 41-
50, 1985.
PARASURAMAN, A. ZEITHAML, Valarie A., BERRY, Leonard L. SERVQUAL: a
multiple-item scale for measuring constumer perceptions of service quality model.
Journal of Retailing, v. 64, p. 12-40, 1988..
PEREIRA, Rogério Costas & PERLINGEIRO, Jayme Esmeraldo. APX – avaliação e
planejamento de sistemas de informação. São Paulo: Editora Blücher, 1979.
PETER, P. J. Contruct validity: a review of basic issues and marketing practices. Journal
of Marketing Research. P. 133-143. 1981.
PIEDADE, M. A. R. Introdução à teoria da classificação. 2 ed.. Rio de Janeiro:
Interciência, 1983.
144
PINHEIRO, L. V. R. Campo interdisciplinar da ciência da informação: fronteiras remotas
e recentes. In: Ciência da informação, ciências sociais e interdisciplinaridade. Brasília:
IBICT, p.155-182,.1999.
PORTER, Michael E. Estratégia Competitiva. Rio de Janeiro: Editora Campus, 1980.
PORTER, Michael E. Vantagem Competitiva. 22
a
edição. Rio de Janeiro: Editora
Campus, 1989.
PORTER, Michael E. Competição – on competion. Estratégias competitivas essenciais.
5a, edição. Rio de Janeiro: Editora Campus, 1999.
REZENDE, Denis A & ABREU, Aline F. – TI Aplicada a Sistemas de Informações
Empresariais. 3
a
edição. São Paulo: Editora Atlas, 2003.
ROBREDO, Jaime. Da ciência da informação revisitada aos sistemas humanos de
informação. Brasília: Editora Thesaurus 2003.
RUDIO, Franz Victor. Introdução ao projeto de pesquisa científica. 13ª. Edição.
Petrópolis: Vozes, 1989.
SANTOS, Antonio Raimundo dos. Metodologia científica: a construção do
conhecimento 5ª. edição. Rio de Janeiro: DP&A, 2002.
SARACEVIC, T. Ciência da informação: origem, evolução e relações. Perspectivas em.
Ciência da Informação. Belo Horizonte, v.1, n.1, p. 41-62, jan./jun. 1996.
SHANNON, Claude Elwood & WEAVER, Warren. The mathematical theory of
communications. Urbana: University of Illinois Press, 1949.
145
SPECTOR, Nelson. Manual para a redação de teses, projetos de pesquisa e artigos
científicos. 2ª edição. Rio de Janeiro: Guanabara Koogan, 2001.
STRAUB, D. W. Validating instruments in MIS research. MIS Quarterly. p. 147-169.
1989.
TARAPANOFF, Kira. Técnicas para Tomada de Decisão nos Sistemas de Informação.
2
a
. Edição. Brasília: Editora Thesaurus, 1995.
TURBAN, E. et al – Administração de Tecnologia da Informação. 2
a
edição. Rio de
Janeiro: Editora Campus, 2003.
WEICK, Karl. Sensemaking in organizations. Thousand Oaks: Sage, 1995
WOLSTENHOLME, Eric F. HENDERSON; Simon; GAVINE, Allan. The evaluation of
Management Information Systems. A dynamic and holistic approach. London. Wilhey
Publisher, 1993.
ZMUD, Robert W. Individual differences and MIS success: a review of the empirical
literature. Management Science, v. 25, p. 966-979, 1979.
ANEXOS
Anexo 1 – Relação dos artigos analisados
146
ABDALLAH, Mohamed H. An integrated approach for system evaluation: study
results Information Management & Computer Security; Vol: 4 Iss: 4; Research paper,
1996.
ADAMANTIA G Pateli, GIAGLIS, George M A research framework for analysing
eBusiness models. European Journal of Information Systems. Basingstoke: Dec 2004.
Vol. 13, Iss. 4; p. 302, 2004.
AGARWAL, Ritu, VENKATESH, Viswanath . Assessing a firm's Web presence: A
heuristic evaluation procedure for the measurement of usability. Information Systems
Research. Linthicum:. Vol. 13, Iss. 2; p. 168, 2002.
AHITUV, Niv; IGBARIA, Magid; SELLA, Aviem The effects of time pressure and
completeness of information on decision making. Journal of Management Information
System. Vol. 15, Iss.2, 1998.
ALADWANI A M The development of two tools for measuring the easiness and
usefulness of transactional Web sites European Journal of Information Systems.
Basingstoke Vol. 11, Iss. 3; p. 223, 2002.
ALEMNA A.A. Library evaluation: some options for academic libraries. Journal: Aslib
Proceedings Vol: 51 Iss: 7 Page: 243 – 246, 1999.
BAKER, Bernadette. The role of feedback in assessing information systems planning
effectiveness. The Journal of Strategic Information Systems, Vol. 4, Iss 1, Pages 61-80,
1995.
BALLANTINE, J., LEVY, M., MARTIN, A., I. POWELL Munro, P. An ethical perspective
on information systems evaluation. International Journal of Agile Management Systems
Vol. 2 Iss. 3 Page: 233 – 241, 2000.
147
BARRON, Terence M.; CHIANG, Roger H. L.; Storey, Veda C. A semiotics framework
for information systems classification and development. Information & Management,
2003.
BELCHER, Lloyd W.; WATSON, Hugh J. Assessing the value of Conocos´s EIS. MIS
Quarterly Vol. 17 Iss. 3, 1993
BEYNON-DAVIS, Paul, OWENS, Ian, WILLIAMS, Michael D. Information systems
evaluation and the information systems development process. Journal: Journal of
Enterprise Information Management Vol. 17 Iss. 4 Page: 276 – 282, 2004.
BOUDREAU, Marie-Claude; GEFEN, David; STRAUB, Detmar W. Validation in
information systems research: a state-of-the-art assessment. MIS Quarterly.
Minneapolis: Mar 2001. Vol. 25, Iss. 1; p. 1, 1999.
BRAJNIK, Giorgio, MIZZARO, Stefano, TASSO, Carlo Evaluating user interfaces to
information retrieval systems: a case study on user support. Proceedings of the 19th
annual international ACM SIGIR conference on Research and development in
information retrieval, 1996.
BUXMANN, Peter, VON AHSEN, Anette, DÍAZ, Luis Martín, Wolf, Kristina Usage and
evaluation of Supply Chain Management Software – results of an empirical study in the
European automotive industry. Information Systems Journal Vol. 14, Iss. 3, Page 295-
309, 2004
CALDEIRA, Mário M, WARD, John M. Understanding the successful adoption and use
of IS/IT in SMEs: an explanation from Portuguese manufacturing industries. Information
Systems Journal Vol. 12, Iss. 2, Page 121-152, 2002.
148
CASEY G. CEGIELSKI, Carl M. REBMAN, Brian J. Reithel. The value of certification: an
empirical assessment of the perceptions of end-users of local area networks.
Information Systems Journal Vol. 13, Iss. 1, Page 97-107, 2003
CIBORRA, Claudio U. Crisis and Foundations: an inquiry into the nature and limits of
models and methods in the information systems discipline Journal Strategic Information
Systems – Vol. 7 p. 5-16, 1998
CHAU, Patrick Y. K An empirical assessment of a modified technology acceptance
model Journal of Management Information System 13-2, 1996.
CHILTON, Michael A, HARDGRAVE, Bill C Assessing Information Technology
Personnel: Toward A Behavioral Rating Scale. Database for Advances in Information
Systems. New York: Vol. 35, Iss. 3; p. 88, 2004.
COLLIER, Paul, DIXON, Rob The evaluation and audit of management information
systems Journal: Managerial. Auditing Journal. Vol. 10 Iss. 7 Page: 25 – 32, 1995.
COUNIHAN, Ailish; FINNEGAN, Pat; SAMMON, David. Towards a framework for
evaluating investments in data warehousing. Information Systems Journal . Vol. 12, Iss.
4, Page 321-338, 2002
CROTEAU, Anne-Marie; BERGERON Francois An information technology trilogy:
business strategy, tecnological deployment and organizational performance. Journal of
Strategic Information Systems 10 – 77-99. 1999.
DYMOKE-BRADSHAW, Catherine, COX, Benita An integrative, iterative approach to IS
evaluation for pharmaceutical clinical trials. Journal: Journal of Enterprise Information
Management Vol. 17 Iss: 4 Page: 249 – 257, 2004.
149
FARBEY, B., Land, F.; TARGETT D. Moving IS evaluation forward: learning themes and
research issues The Journal of Strategic Information Systems, Vol. 8, Iss. 2, Pages
189-207, 1999,
FOWLER Alan; WILKINSON, Tony An examination of the role of the information
systems centre. Journal of Strategic Information Systems, 2003
FRANCALANCI, Chiara, PERCINI, Barbara, CAPPIELLO, Cinzia Information quality
assessment: Data quality assessment from the user's perspective. Proceedings of the
2004 international workshop on Information quality in information systems, 2004.
FUNG, R.Y.K., Pereira, A.C., YEUNG, W.H.R. Performance evaluation of a Web-based
information system for laboratories and service centres Logistics Information
Management; Vol. 13 Iss. 4; Research paper, 2000.
GIAGLIS, George M., Mylonopoulos, Nikolaos, Doukidis, Georgios I. The ISSUE
methodology for quantifying benefits from information systems. Journal: Logistics
Information Management Vol. 12 Iss. 1/2 Page: 50 - 62 , 1999.
HEDMAN, Jonas, BORELL, Andreas Narratives in ERP systems evaluation. Journal of
Enterprise Information Management Volume: 17 Issue: 4 Page: 283 – 290, 2004.
HUERTA, E, SANCHEZ, PJ Evaluation of information technology: Strategies in Spanish
firms. European Journal of Information Systems. Basingstoke: Vol. 8, Iss. 4; p. 273,
1999.
IRANI, Z. LOVE, Peter. Developing a frame of reference for ex-ante IT/IS investment
evaluation. Operational Research Society, 2002.
150
IRANI, Z, LOVE ,Peter., Elliman, Tony, Jones, Steve, THEMISTOCLEOUS, Marinos
Evaluating e-government: learning from the experiences of two UK local authorities.
Information Systems Journal Vol.15, Iss. 1, Page 61-82, 2005.
JIANG, J. J.; KLEIN, G.; MOTWANI, J.; BALLOUN, J. An investigation of marketing
manager´s dissatisfaction with marketing information systems Internation Journal
Information Management, 2003
JOSHI, Kailash, RAI, Arun Impact of the quality of information products on information
system users' job satisfaction: an empirical investigation. Information Systems Journal
Vol. 10, Iss. 4, Page 323-345, 2000
KANELLIS, P. LYCETTY, M.; Paul, RJ Evaluating business information systems fit: from
concept to practical application. European Journal of Information Systems, 1999.
KHALIFA, Mohamed. The human-computer interface in information systems design:
Computer-assisted evaluation of interface designs. ACM SIGMIS Database, Vol. 29 Iss.
1, 1997.
KANKANHALLI, Atreyi; TEO, Hock-Hai; BERNARD C.Y; KWOK-KEE Wei, Tan. An
integrative study of information systems security effectiveness. International Journal of
Information Management, 2003.
KAPLAN, David, KRISHNAN, Ramayya, PADMAN, Rema, PETERS, James Assessing
data quality in accounting information systems Communications of the ACM, Vol. 41
Iss. 2, 1998.
KEIL, Mark, TIWANA, Amrit Relative importance of evaluation criteria for enterprise
systems: a conjoint study. Information Systems Journal Vol. 16, Iss. 3, Page 237-262,
2005
151
KING, John Leslie; KRAMER, Kenneth L. Evolution and Organizational information
systems: An assessment of Nolan´s stage model Management of Computing, 1985.
KING , William R, SETHI, Vikram An empirical assessment of the organization of
transnational information systems. Journal of Management Information Systems.
Armonk:. Vol. 15, Iss. 4; p. 7, 1999.
KIRS, Peeter J.; PFLUGHOEFI, Kurt; KROECK, Galen A process model cognitive
biasing effects in information systems development and usage. Information and
Management, 2000.
KILLINGSWORTH, B. L. A model for motivating and measuring quality performance in
information systems staff. Information Systems Management Vol. 18 Iss. 2 (Spring
2001) p. 8-14, 2004.
KLEIST Virginia Franke An Approach to Evaluating E-Business Information Systems
Projects. Information Systems Frontiers. Boston. Vol. 5, Iss. 3; p. 249, 2003.
KOHLI, Rajiv, HOADLEY, Ellen Towards Developing a Framework for Measuring
Organizational Impact of IT- Enabled BPR: Case Studies of Three Firms. Database for
Advances in Information Systems. New York:. Vol. 37, Iss. 1; p. 40, 2005.
KUMAR, Kuldeep Post implementation evaluation of computer-based information
systems: current practices. Communications of the ACM, Vol. 33 Iss. 2, 1990.
LAMBERTI, Donna M.; WALLACE, William A. Intelligent interface design: an empirical
assessment of knowledge presentation in expert systems MIS Quarterly., 1990.
LEE, Gwanhoo, XIA, Weidong The ability of information systems development project
teams to respond to business and technology changes: a study of flexibility measures.
European Journal of Information Systems. Basingstoke: Vol. 14, Iss. 1; p. 75, 2005.
152
LEEM, Choon Seong, KIM, Injoo An integrated evaluation system based on the
continuous improvement model of IS performance Industrial Management & Data
Systems; Vol. 104 Iss. 2; 2004
LESJAK, Dušan, VEHOVAR, Vasja Factors affecting evaluation of e-business projects
Journal: Industrial Management & Data Systems Vol. 105 Iss. 4 Page: 409 – 428, 2005.
LEWIS, Bruce R., SNYDER, Charles A., Rainer Jr, R. Kelly An empirical assessment of
the information resource management. Journal of Management Information Systems.:
Vol. 12, Iss. 1; p. 199 (25 pages), 1995.
LEVY, M.; POWELL, P.; Galliers, R. Assessing information systems strategy
development frameworks in SMEs. Information Management, 2003
LIEBOWITZ, Jay A look at why information systems fail. Information Management, 2003.
LIM, Eric T K, PAN, Shan Ling, TAN, Chee Wee Managing user acceptance towards
enterprise resource planning (ERP) systems - understanding the dissonance between
user expectations and managerial policies. European Journal of Information Systems.
Basingstoke: Vol. 14, Iss. 2; p. 135, 2005
LIVARI, Juhani An Empirical Test of the DeLone-McLean Model of Information System
Success. Database for Advances in Information Systems. New York:
Vol.36, Iss. 2, p. 8, 20 pgs, 2005.
LUFTMAN, J. Assessing IT/Business Alignment. Information Systems Management v.
20 no. 4 (Fall 2003) p. 9-15, 2003.
LUNDSGAARDE, Henry P. Barriers and resistance to the evaluation of a computerized
pharmacological information system: a case study. ACM SIGBIO Newsletter, Vol. 15
Iss. 1, 1995.
153
LYNCH, Teresa, Gregor, Shirley User participation in decision support systems
development: Influencing system outcomes. European Journal of Information Systems.
Basingstoke: Vol. 13, Iss. 4; p. 286, 2004.
MCBRIDE, Neil Chaos theory as a model for interpreting information systems in
organizations. Information Management, 2003.
MARTISONS, Maris; DAVISON, Robert; TSE, Denis. The balanced scorecard: the
foundation for the strategic management of information systems. Decision support
systems, 1999.
MATHIESON, Kieran, RYAN, Terence. The effect of definitional variations on users'
evaluations of information systems. ACM SIGMIS Database, Vol. 25 Iss. 2, 1994.
MENDE, Martin W., BRECHT, Leo, ÖSTERLE, Hubert Evaluating existing information
systems from a business process perspective. Proceedings of computer personnel
research conference on Reinventing IS: managing information technology in changing
organizations, 1994.
OPPENHEIM C., MORRIS A., MCKNIGHT C., LOWLEY S. The evaluation of WWW
search engines Journal: Journal of Documentation Vol. 56 Iss. 2 Page: 190 – 211, 2000.
PEAK, Dan; GUYNES, C. Steve; KROON, Verlyn Information technology Alignment
Planning – a case study. Information & management, 2004.
PHILLIPS-WREN, Gloria E.; HAHN, Eugene D.; Forgione, Guisseppi A. A multiple-
criteria framework for evaluation of decision support systems. International Journal of
Management Science, 2003
PHIPPEN A., Sheppard L., FURNELL S. A practical evaluation of Web analytics Internet
Research Vol. 14 Iss. 4 Page: 284 – 293. 2004.
154
PINSONNEAULT, Alain, KRAEMER, Kenneth L. Survey research methodology in
management information systems: An assessment. Journal of Management Information
Systems. Armonk:. Vol. 10, Iss. 2; p. 75, 1993.
PINSONNEAULT A.; HEPPEL N. Anonymity in Group Support Systems Research: A
New Conceptualization, Measure and Contingency Framework. Journal of Management
Informations System. Vol. 14. n. 3. pg 89-108, 1998.
PITT, Leyland F.; WATSON, Richard T.; KAVAN, C. Bruce Service quality: a measure of
information systems effectiveness. MIS Quarterly. 19-2, 1995
PITT, Leyland F.; WATSON, Richard T.; KAVAN, C. Bruce. Measuring Information
Systems Service Quality: Concerns for a complete canvas. MIS Quarterly, 1997
POH, K. L. An Intelligent Decision Support System for Investment Analysis Knowledge
and Information Systems - Vol. 2, Numb. 3 340 – 358, 2004.
POON, PoPo; WAGNER, Christian Critical success factors revisited: success and failure
cases of information systems for senior executives. Decision Support System, 2000
POWELL, Philip. The Evaluation of Information Systems Investments. The Journal of
Strategic Information Systems, Vol. 5, Iss. 1, Pages 81-82, 1996
PREMKUMAR, G, KING, William R. An empirical assessment of information systems
planning and the role of information systems in organizations. Journal of Management
Information Systems. Armonk: Vol. 9, Iss. 2; p. 99, 1992.
PRICE, Kathleen J. Using functional assessment to improve information systems
research, design and technology matching. ACM SIGACCESS Accessibility and
Computing, Iss. 84, 2005
155
QUINTANA, Yuri, KAMEL, Mohamed, MCGEACHY, Rob Formal methods for evaluating
information retrieval in hypertext systems. Proceedings of the 11th annual international
conference on Systems documentation, 1993.
REMENYI, Dan, SHERWWOD-SMITH, Michael Maximise information systems value by
continuous participative evaluation. Logistics Information Management; Vol. 12 Iss. 1/2;
1999.
SAAKSJARVI, Markku. End-user participation and the evolution of organizational
information systems: an empirical assessment of Nolan's stage model. Proceedings of
the twenty-first annual conference on Computer personnel research, 1985.
SANDERSON, Mark, ZOBEL, Justin Evaluation: Information retrieval system evaluation:
effort, sensitivity, and reliability. Proceedings of the 28th annual international ACM SIGIR
conference on Research and development in information retrieval SIGIR. 2005.
SASSONE, Peter G. Cost benefit analysis of information systems: a survey of
methodologies. ACM SIGOIS Bulletin , Proceedings of the ACM SIGOIS and IEEECS
TC-OA conference on Office information systems, Vol. 9 Iss. 2-3, 1988
SAUNDERS, Carol Stoak, JONES, Jack William. Measuring performance of the
information systems function. Journal of Management Information Systems. Armonk:.
Vol. 8, Iss. 4; p. 63, 1992.
SCOTT, Judy E. The measurement of information systems effectiveness: evaluating a
measuring instrument. ACM SIGMIS Database, Vol. 26 Iss. 1, 1995.
SERAFEIMIDIS, Vassilis, SMITHSON, Steve Rethinking the approaches to information
systems investment evaluation. Journal: Logistics Information Management Vol. 12 Iss.
1/2 Page: 94 – 107, 1999.
156
SERAFEIMIDIS, Vassilis, SMITHSON, Steve. Information systems evaluation as an
organizational institution – experience from a case study Information Systems Journal.
Vol. 13, Iss. 3, Page 251-274, 2003
SHAILENDRA C. Palvia, RAVI S. SHARMA, David W. Conrath. A socio-technical
framework for quality assessment of computer information systems Industrial
Management & Data Systems; Vol. 101 Iss. 5; Research paper, 2001.
SHANG, Shari, SEDDON, Peter B Assessing and managing the benefits of enterprise
systems: the business manager's perspective. Information Systems Journal. Vol. 12, Iss.
4, Page 271-299, 2002
SHARIF, Amir M, IRANI, Zahir, LOVE, Peter E D Integrating ERP using EAI: a model for
post hoc evaluation. European Journal of Information Systems. Basingstoke:. Vol. 14,
Iss. 2; p. 162, 2005.
SHAW, Nancy C, DELONE, William H, NIEDERMAN, Fred Sources of dissatisfaction in
end-user support: An empirical study. Database for Advances in Information Systems.
New York:. Vol. 33, Iss. 2; p. 41, 2002.
SHIN, Minsoo. A framework for evaluating economics of knowledge management
systems. Information & Management, 2003.
SIRCAR, Sumit, TURNBOW, Joe L, BORDOLOI, Bijoy A framework for assessing the
relationship between information technolgy investments and firm performance. Journal
of Management Information Systems. Armonk:. Vol. 16, Iss. 4; p. 69, 2000.
SMITS ,M. T., VAN DER POEL, K. G. , RIBBERS, P. M. A. Assessment of information
strategies in insurance companies in the Netherlands. The Journal of Strategic
Information Systems, Vol. 6, Iss. 2, Pages 129-148, 1997
.
157
SOLIMAN, Khalid S.; JANZ, Brian D. An exploratory study to identify the critical factors
affecting the decision to establish internet-based interorgasnizatinal information
systems. Information Management, 2003
TALLON, Paul P.; KRAEMER, Kenneth L. A process-oriented assessment of the
alignment of the information systems and business strategy: implications of IT business
value Information Management, 2003
TAGUE J., Schultz R. Some measures and procedures for evaluation of the user
interface in an information retrieval system Proceedings of the 11th annual international
ACM SIGIR conference on Research and development in information retrieval, 1988.
TEO, TSH; KING, WR An Assessment of perceptual diferrences between informants in
information system research. Elsevier, 1997
TEO, TSH; KING, WR An empirical study of the impacts of integrating business planning
and information systems planning. European Journal of Information Systems, 1999.
TESCH, Debbie, MILLER, Ruth, JIANG, James J, KLEIN, Gary Perception and
expectation gaps of information systems provider skills: the impact on user satisfaction.
Information Systems Journal Vol. 15, Iss. 4, Page 343-355, Oct 2005
THEMISTOCLEOUS Marinos; IRANI, Zahir; LOVE, Peter E. D. Evaluating the
integration of supply chain informations systems: a case study. European Journal of
Information Systems. Basingstoke, 2003.
TILLOTSON Joy. Web site evaluation: a survey of undergraduates. Online Information
Review Vol. 26 Iss. 6 Page: 392 – 403, 2002.
158
TOLLE, John E. Performance measurement and evaluation of online information
systems. Proceedings of the 1985 ACM thirteenth annual conference on Computer
Science, 1985.
TOLLE, John E Monitoring and evaluation of information systems via Transaction Log
Analysis. Proceedings of the 7th annual international ACM SIGIR conference on
Research and development in information retrieval, 1995.
UNRUSH, K.T.; PETTIGREW, K.E.; DURRANCE, J.C. Evaluation of digital community
information systems Knowledge and Information Systems - Vol. 2, Numb. 3 340 – 358,
2004.
VAN DER ZEE, J.T.M.; JONG, Berend. Alignment is not enough: integrating business
and information technology management with the balanced scorecard Journal of
Management Information System. Vol. 16, Iss. 2 pg 137, 1999
WATSON, Richard T, PITT, LEYLAND F, KAVAN, C Bruce Measuring information
systems service quality: Lessons from two longitudinal case studies. MIS Quarterly.
Minneapolis:. Vol. 22, Iss. 1; p. 61, 1998.
WENDT, Thomas, BRIGL, Birgit, WINTER, Alfred Assessing the integration of
information system components. Proceedings of the first international workshop on
Interoperability of heterogeneous information systems IHIS 2005.
Anexo 2 – Quadro de descrição metodológica da pesquisa
TÍTULO:
AUTORES:
Publicado em:
FINALIDADE
BÁSICA
APLICADA
159
PROCEDIMENTOS
BIBLIOGRÁFICO
DOCUMENTAL
EXPERIMENTAL
LEVANTAMENTO EXPLORATÓRIO
ESTUDO DE CASO ÚNICO
ESTUDO DE CASOS MÚLTIPLOS
NATUREZA
QUANTITATIVA
QUALITATIVA
REALIZAÇÃO
CAMPO
LABORATÓRIO
BIBLIOGRÁFICO
ÁREA CENTRAL
CIÊNCIA DA INFORMAÇÃO
CIÊNCIA DA COMPUTAÇÃO
CIÊNCIAS ADMINISTRATIVAS
Anexo 3 – Quadro de descrição do artigo e informações de pesquisa
INFORMAÇÕES DO ARTIGO
TÍTULO DO ARTIGO:
AUTORES:
ORIGEM:
160
PUBLICAÇÃO:
PERIÓDICO:
DATA:
DESCRIÇÃO DA ANÁLISE
APLICAÇÃO DA AVALIAÇÃO
CONTEXTO
PERSPECTIVA
OBJETIVO DO SISTEMA
CRITÉRIOS DE AVALIAÇÃO
VARIÁVEIS DE AVALIAÇÃO
• Variáveis Qualitativas
• Variáveis Quantitativas
• Métricas de Avaliação
DESCRIÇÃO DA METODOLOGIA
Pressupostos:
Desenvolvimento:
OBSERVAÇÕES
ANEXO 4 – Distribuição quantitativa dos artigos
ANO
ARTIGOS
NO
PERÍODO
FINALIDADE
DA
PESQUISA
PROCEDIMENTOS
METODOLÓGICOS
NATUREZA
DA
PESQUISA
REALIZAÇÃO
DA
PESQUISA
ÁREA
161
Básica
Aplicada
Bibliográfico
Documental
Experimental
Exploratório
Caso único
Casos
Múltiplos
Quantitativo
Qualitativo
Campo
Laboratório
Bibliográfico
C. I.
C. C.
C.A.
1985
3 0 3 1 0 0 1 0 1 2 1 2 1 0 2 1 0
1986
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1987
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1988
2 1 1 1 0 1 0 0 0 1 1 0 1 1 0 1 1
1989
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1990
2 0 2 0 0 0 1 0 1 1 1 2 0 0 1 0 1
1991
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
1992
2 0 2 0 0 0 2 0 1 0 2 2 0 0 0 0 2
1993
3 1 2 1 0 0 1 0 0 2 1 1 1 1 1 0 2
1994
2 0 2 0 0 0 1 0 1 1 1 1 1 0 1 0 1
1995
7 1 6 1 1 0 1 0 1 3 4 5 1 1 2 1 4
1996
4 0 4 1 0 1 1 1 3 3 1 2 1 1 3 0 1
1997
4 0 4 0 0 1 1 0 2 3 1 2 2 0 1 1 2
1998
5 1 4 0 0 2 0 2 1 4 1 3 1 1 4 1 0
1999
13 2 11 1 2 0 2 2 6 2 11 8 2 3 4 1 8
2000
7 2 5 1 0 2 1 1 2 2 5 4 1 2 3 1 3
2001
2 0 2 0 0 0 0 2 0 2 0 2 0 0 1 0 1
2002
0 1 7 1 0 1 4 0 2 6 2 5 2 1 4 0 4
2003
16 1 15 1 0 2 5 3 5 5 11 12 2 2 2 4 10
2004
12 1 11 2 0 0 2 6 2 6 6 8 2 2 3 3 6
2005
13 1 11 0 0 2 3 6 2 7 6 10 3 0 5 4 4
TOTAL
105 12 93 11 3 12 26 23 30 50 55 69 21 15 37 18 50
Livros Grátis
( http://www.livrosgratis.com.br )
Milhares de Livros para Download:
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas
Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo
