Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web

Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de

produtos na Web

17.11.2005

Leandro Neumann Ciuffo

Agenda

Introdução

Estratégias de recomendação

Recomendações Personalizadas

Técnicas de Filtragem da Informação

Filtragem Colaborativa

Avaliações Não-Confiáveis

HYRIWYG

Estudo de Caso

Conclusões

Introdução

Bom dia, dona Maricota. O de sempre?Temos uma

broa de milho que a senhora irá gostar.

Em algum lugar no passado...

IntroduçãoHoje: necessidade de

filtragemExiste uma enorme quantidade de opções para que as pessoas decidam o que consumir

Falta de experiência para realizar escolhas acertadas

Estratégias de RecomendaçãoRecomendações Gerais

Alternativa para driblar a sobrecarga de opções

Recomendações não dirigidas

Recomendações Gerais na Web

Listas de Recomendação

Estratégias de Recomendação

Recomendações Gerais na Web

Listas de Recomendação

Comentários de Texto

Estratégias de Recomendação

Recomendações Gerais na Web

Listas de Recomendação

Comentários de Texto

Revisões/Avaliações

Estratégias de Recomendação

Recomendações Gerais na Web

De fácil implementação

Não consideram as preferências dos usuários

Estratégias de Recomendação

Ineficaz em domínios onde existe heterogeneidade de opiniões

Direcionamento de ProdutosEstratégias de Recomendação

Associação entre itens

Estratégias de RecomendaçãoDirecionamento de Produtos

Associação entre itens

Cross-sell

Estratégias de RecomendaçãoDirecionamento de Produtos

Recomendações Personalizadas

Consideram as características individuais dos consumidores

Estratégias de Recomendação

Necessidade de identificação das preferências pessoais e hábitos de consumo

Identificação dos Usuários

Login

Recomendações Personalizadas

Cookies

Coleta Implícita de Informações

Monitoramento de ações que indicam interesse

Adicionar página aos “Favoritos”

Visualizar a página por longo tempo

Scrolling da barra de rolagem

Colocar um produto na cesta de compras

Análise das estatísticas de acesso

Recomendações Personalizadas

O usuário pode comprar

um presente para outra pessoa

Recomendações PersonalizadasDesvantagem da Coleta Implícita

Coleta Explícita de Informações

Recomendações Personalizadas

Melhor customização das preferências

Desvantagem da Coleta Explícita

Exige paciência e

atenção dos usuários

Recomendações Personalizadas

Filtragem da Informação

Momento 1:

usuário como produtor

de informações

Recomendações Personalizadas

Informações coletadas deforma implícita ou explícita

Recomendações PersonalizadasFiltragem da Informação

Informações adicionadas ao perfil do usuário

Recomendações PersonalizadasFiltragem da Informação

Momento 2:

usuário como consumidor

de informações

Recomendações PersonalizadasFiltragem da Informação

O usuário deseja receber uma

recomendação

Recomendações PersonalizadasFiltragem da Informação

As informações armazenadas no perfil são lidas pelo SR

Recomendações PersonalizadasFiltragem da Informação

O SR “filtra” os itens de acordo com o perfil e gera as recomendações

Recomendações PersonalizadasFiltragem da Informação

As recomendações são entregues ao usuário

Recomendações PersonalizadasFiltragem da Informação

Filtragem Baseada em Conteúdo (FBC)

Técnicas de Filtragem da Informação

O conteúdo dos itens precisa ser descrito

Compara a descrição dos itens com o perfil do usuárioPrincípio da continuidade de preferências

Se o usuário gostou de um item, deve gostar de um item similar no futuro

Desvantagens da FBCTécnicas de Filtragem da Informação

Superespecialização

Impossibilidade de análise de conteúdo em domínios não textuais

Não-consideração de aspectos como a qualidade

ou estilo do item

Filtragem Colaborativa (FC)Técnicas de Filtragem da Informação

Sistema de Sistema de RecomendaçãoRecomendação

CaracterísticasFiltragem Colaborativa

Baseada nas avaliações feitas pelos usuários

Mede a similaridade entre os usuários

Pessoas que concordaram no passado tendem a concordar novamente no futuro

Entrada de Dados

Usuários com avaliações semelhantes são agrupados

Filtragem Colaborativa

Vantagens

Aplicação em qualquer domínio

Independe da classificação de itens feita por revisoresPode gerar recomendações inesperadas

Filtragem Colaborativa

Alteração constante das vizinhanças

Problemas

Matriz Esparsa

Ovelha Negra

Primeira avaliação

Partida a Frio

Falso Bom vizinho

Falta de motivação

Problema do “Carona”

Filtragem Colaborativa

Ataques a SRs

Avaliações Não-Confiáveis

Avaliações intencionalmente desonestas usuários com interesses especiais

Avaliações aleatórias ou constantesUsuários que não entendem o processo de geração das recomendações

Extensos formulários de

avaliação agravam este problema

Filtragem Colaborativa

Desafios

Motivar os usuários

Garantir a honestidade das avaliações

Filtragem Colaborativa

Iniciativas para motivar os usuários

e inibir avaliações não-confiáveis

Avaliações Não-Confiáveis

Reconhecimento da comunidade

Reputação

Web-of-Trust

Iniciativas para motivar os usuários

e inibir avaliações não-confiáveis

Avaliações Não-Confiáveis

Reconhecimento da comunidade

Reputação

Web-of-TrustDificulta a ação de usuários desonestos

Não incentiva o cadastro de novos usuários

CaracterísticasHYRIWYG: How You Rate Influences What You Get

Não utiliza sistemas complementares

Todos os usuários possuem uma mesma reputação

De fácil implementação

Promove o aumento da quantidade de avaliações honestas

ModeloHYRIWYG: How You Rate Influences What You Get

ModeloHYRIWYG: How You Rate Influences What You Get

Avalia um item com uma nota de valor Vi

Vi

ModeloHYRIWYG: How You Rate Influences What You Get

A avaliação é submetida ao SR...

Vi

ModeloHYRIWYG: How You Rate Influences What You Get

... Que a utiliza para configurar o perfil do usuário.

Vi

Ajuste

ModeloHYRIWYG: How You Rate Influences What You Get

O perfil i é carregado...

Vi

Perfil i

Ajuste

ModeloHYRIWYG: How You Rate Influences What You Get

... E utilizado para inferir o valor da suposta nota V’i

Vi

Perfil iV’i

Ajuste

ModeloHYRIWYG: How You Rate Influences What You Get

O mecanismo utiliza uma função de compensação para conceder incentivos de forma proporcional à contribuição do usuário

Ince

nti

vo

Vi

Perfil iV’i

Ajuste

ModeloHYRIWYG: How You Rate Influences What You Get

Função de Compensação

)v)(SR( θv'*α(1*Cτ iii

Incentivo concedidoAvaliação inferida

pelo sistema

Avaliação realdo usuário

Constante para calibragem do

sistema de avaliação

Incentivo indexado pela qualidade da avaliação

HYRIWYG: How You Rate Influences What You Get

Evitar a ocorrência de avaliações não-confiáveis de usuários que querem aumentar o valor dos incentivos

Utilização do próprio SR para determinar em quais itens o incentivo poderá ser aplicado

Incentivo indexado pela qualidade da avaliação

HYRIWYG: How You Rate Influences What You Get

Ciclo VirtuosoHYRIWYG: How You Rate Influences What You Get

O usuário deseja receber uma

recomendação

Vi

Perfil iV’i

Ince

nti

vo

Ajuste

Ciclo VirtuosoHYRIWYG: How You Rate Influences What You Get

Solicita recomendação

Vi

Perfil iV’i

Ince

nti

vo

Ajuste

Ciclo VirtuosoHYRIWYG: How You Rate Influences What You Get

Vi

Perfil iV’i

Ince

nti

vo

As informações armazenadas no perfil são lidas pelo SR

Ajuste

Ciclo VirtuosoHYRIWYG: How You Rate Influences What You Get

Vi

Perfil iV’i

Ince

nti

vo

O usuário recebe recomendações de itens de acordo com seu perfil

Ajuste

Em teoria:HYRIWYG: How You Rate Influences What You Get

Sem incentivo

Quantidade de avaliações

Veracidadedas avaliações

Com incentivo Com HYRIW YG

Estudo de CasoHipóteses

Hipótese 1:

O HYRIWYG faz com que a quantidade de avaliações fornecidas ao SR seja maior do que quando nenhum incentivo é concedido aos usuários

Hipótese 2:

O HYRIWYG faz com que as pessoas avaliem mais honestamente do que quando o incentivo concedido é aberto

Estudo de CasoObjeto de Estudo

Avaliações

Escala discreta de 0 a 6Questionário com 300 filmes

Estudo de CasoObjeto de Estudo

Estudo de CasoProcedimentos

FASE 1 - Altruística

FASE 2 - Incentivo aberto

FASE 3 - HYRIWYG

{SR(filmes,i) Acervo(filmes)}

Estudo de CasoVariáveis de Medição

= 0

C = 1/40 de uma locação gratuita de DVD

Função de compensação: ii n

401

τ

Regra de Resgate: Alugar gratuitamente Ti DVDs

Estudo de CasoInstrumento

SR de Filmes

Filtragem ColaborativaCoeficiente de Pearson

Estudo de CasoInstrumento

Cadastro

Gêneros prediletos

Estudo de CasoPopulação

565 usuários cadastrados

Estudo de CasoPeríodos de Coleta de Dados

Fase 1 Fase 2 Fase 3

Estudo de CasoAnálise dos Dados – Hipótese 1

(quantidade)

“Não vi”Nota

Usuários de Juiz de Fora

Estudo de CasoAnálise dos Dados – Hipótese 1

(quantidade)

“Não vi”Nota

Usuários de Juiz de Fora

Estudo de CasoAnálise dos Dados – Hipótese 1

(quantidade)

“Não vi”Nota

Usuários de outras cidades

Estudo de CasoAnálise dos Dados – Hipótese 1

(quantidade)

Usuários de outras cidades

Usuários de Juiz de Fora

  Fase 1 Fase 2 Fase 3

Média de cadastro/semana 2,66 16,33 7

% de usuários que optaram por avaliar filmes de todos os gêneros

25% 54,16% 42,85%

  Fase 1 Fase 2 Fase 3

Média de cadastro/semana 3,33 3 3,66

% de usuários que optaram por avaliar filmes de todos os gêneros

10% 22,22% 18%

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)

Usuários de Juiz de Fora

Tempo médio de sessão

Máximo 9 min.

30 primeiras avaliações

Seg

un

dos

t0 = Página carregada

tf = usuário submete avaliações

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)

Avaliação darecomendação

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)

Fase 2Períodos sem

incentivo

Avaliação negativa < 4Avaliação positiva ≥ 4

Todos os usuários (198 avaliações)

Usuários de J.Fora (39 avaliações)

Base de dados diferentes

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)

Fase 2

Avaliação negativa < 4Avaliação positiva ≥ 4

Usuários de J.Fora (39 avaliações)

Amostra pouco representativa

O incentivo não foi bom o suficiente para os usuários serem desonestos

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)Fase 3

17 usuários contemplados

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)Fase 3

Apenas 7 resgataram as locações

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)Fase 3

“Gostei das recomendações, mas não as resgatei porque não tive tempo.”

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)Fase 3

“Gostei das recomendações, mas não as resgatei porque as locadoras ficam longe da minha casa.”

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)Fase 3

“Não resgatei as locações porque

não gostei dos filmes recomendados.”

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)Fase 3

5 usuários ganharam 16 locações

2 usuários ganharam 12 locações

Estudo de CasoAnálise dos Dados – Hipótese 2

(qualidade)Fase 3

5 usuários ganharam 16 locações

2 usuários ganharam 12 locações

Estudo de CasoLimitações

População / distribuição restrita de incentivos

Localização das videolocadoras

Qualidade do incentivo

ConclusõesContribuições

Investigação da viabilidade real do HYRIWYG

O experimento é sensível aos valores dos parâmetrosUtilidade da recomendação – valor dos SRs

Aumento da reputação do sistema

ConclusõesHYRIWYG - Benefícios

Matriz menos esparsa

Redução do problema da Falta de Motivação

Redução do problema do “carona”

Predominância de avaliações honestas

ConclusõesTrabalhos Futuros

Testar configurações diferentes das variáveis de mediçãoCadastrar mais filmes e melhorar questões de projetoParceria com uma locadora “virtual” de DVDs

Parceria com a BLOCKBUSTER

ConclusõesTrabalhos Futuros

ConclusõesTrabalhos Futuros

Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de

produtos na Web

17.11.2005

Leandro Neumann Ciuffo