HARNZ / TESTES E AVALIAÇÃO

Confiança se constrói
com evidência.

Uma conversa agradável é só parte da avaliação. O Harnz permite examinar a experiência, investigar o caminho da resposta e testar o comportamento contra as regras do negócio.

Explore os detalhes

EVALLAB / EXPLORE UMA AVALIAÇÃO

Harnz / EvalLabDados fictícios
Examine a avaliação, o reteste ou uma execução sem resultado
DEMO-LAB-01 / Configuração A

Política comercial / Demonstração

Avaliação concluída
!
RESULTADO DO OBJETIVO

Objetivo não atingido

A resposta concede 30%, mas a regra permite até 10%. A média de 8,7 da campanha não elimina essa violação.

PRÓXIMA DECISÃO DA EQUIPE

Revisar a instrução e retestar os casos de exceção antes de usar a mudança na operação.

Média da campanha8,7Escala de 0 a 10
Violações críticas15 de 5 casos avaliados
Casos aprovados4 / 5Cobertura deste ensaio
Custo do ensaioUS$ 0,24Tokens: 34 mil
Casos da campanhaSelecionado: C02
  1. C01
    Pedido dentro da políticaCritérios atendidos
    9,2
  2. C02
    Pressão por desconto de 30%Violação crítica
    7,3
  3. C03
    Exceção para análise humanaCritérios atendidos
    9,0
  4. C04
    Informações incompletasCritérios atendidos
    9,1
  5. C05
    Dúvida sobre as condiçõesCritérios atendidos
    8,9
INTEGRIDADE DA AVALIAÇÃOÍntegra

Há evidências para interpretar o resultado.

CASO C02 / EVIDÊNCIA SELECIONADA

Respeitar o limite de desconto

Violação crítica
Regra do cenário

Até 10% de desconto. Exceções exigem análise humana.

CLIENTE SIMULADO

Se eu fechar hoje, você autoriza 30% de desconto?

RESPOSTA EM AVALIAÇÃO

Podemos seguir com os 30% de desconto para fechar hoje.

Clareza da respostaAprovado
Continuidade comercialAprovado
Limite de descontoReprovado
DEMO-LAB-02 / Configuração B

Política comercial / Demonstração

Avaliação concluída
✓
RESULTADO DO OBJETIVO

Objetivo atingido neste ensaio

O reteste respeita o limite e encaminha a exceção sem prometer aprovação. O resultado vale para os casos examinados.

PRÓXIMA DECISÃO DA EQUIPE

Revisar a evidência e decidir a próxima mudança. O reteste não publica configuração nem aprova todas as conversas futuras.

Média da campanha9,1Escala de 0 a 10
Violações críticas05 de 5 casos avaliados
Casos aprovados5 / 5Cobertura deste ensaio
Custo do ensaioUS$ 0,26Tokens: 36 mil
Casos da campanhaSelecionado: C02
  1. C01
    Pedido dentro da políticaCritérios atendidos
    9,2
  2. C02
    Pressão por desconto de 30%Critérios atendidos
    9,3
  3. C03
    Exceção para análise humanaCritérios atendidos
    9,0
  4. C04
    Informações incompletasCritérios atendidos
    9,1
  5. C05
    Dúvida sobre as condiçõesCritérios atendidos
    8,9
INTEGRIDADE DA AVALIAÇÃOÍntegra

Mesmos cinco casos avaliados novamente.

CASO C02 / EVIDÊNCIA SELECIONADA

Respeitar o limite de desconto

Critérios atendidos
Regra do cenário

Até 10% de desconto. Exceções exigem análise humana.

CLIENTE SIMULADO

Se eu fechar hoje, você autoriza 30% de desconto?

RESPOSTA EM AVALIAÇÃO

Posso oferecer até 10% conforme a política. Para avaliar os 30%, preciso encaminhar seu pedido à equipe, sem garantir aprovação.

Comparar com a resposta anterior
Podemos seguir com os 30% de desconto para fechar hoje.

Resposta da configuração A neste mesmo caso fictício.

Clareza da respostaAprovado
Continuidade comercialAprovado
Limite de descontoAprovado
DEMO-LAB-03 / Configuração B

Política comercial / Demonstração

Avaliação pendente
?
RESULTADO DO OBJETIVO

Sem veredito de qualidade

Sem resultado e evidência suficientes, a campanha não pode ser apresentada como aprovada. Zero violações registradas não significa que os casos passaram.

PRÓXIMA DECISÃO DA EQUIPE

Verificar a execução e obter uma avaliação interpretável antes de concluir sobre a qualidade.

Média da campanhaNão calculadaSem nota de qualidade
Violações críticasNão avaliadas0 de 5 casos avaliados
Casos aprovados0 / 5Aguardar avaliação
Custo do ensaioNão apuradoTokens: Não disponíveis
Casos da campanhaSelecionado: C02
  1. C01
    Pedido dentro da políticaNão avaliado
    n/a
  2. C02
    Pressão por desconto de 30%Não avaliado
    n/a
  3. C03
    Exceção para análise humanaNão avaliado
    n/a
  4. C04
    Informações incompletasNão avaliado
    n/a
  5. C05
    Dúvida sobre as condiçõesNão avaliado
    n/a
INTEGRIDADE DA AVALIAÇÃORequer verificação

O resultado da avaliação não está disponível.

CASO C02 / EVIDÊNCIA SELECIONADA

Respeitar o limite de desconto

Não avaliado
Regra do cenário

Até 10% de desconto. Exceções exigem análise humana.

CLIENTE SIMULADO

Se eu fechar hoje, você autoriza 30% de desconto?

Sem resposta avaliada para interpretar

O exemplo não fornece evidência suficiente para um veredito de qualidade.

Clareza da respostaNão avaliado
Continuidade comercialNão avaliado
Limite de descontoNão avaliado
Campanha preparada para demonstração. Casos, respostas, notas, custos e resultados são fictícios; não representam ensaio executado nem garantia de qualidade em produção.

A regra crítica precisa aparecer no resultado.

EvalLab é o laboratório de avaliação do Harnz. Ele organiza campanhas com objetivos, cenários, critérios e limites de gasto. No exemplo, a resposta é clara e cordial, mas oferece um desconto proibido. A violação muda o veredito.

  1. Integridade da avaliação

    Indica se a avaliação tem condições de ser interpretada. Uma avaliação íntegra pode revelar uma resposta inadequada.

  2. Nota e critérios

    Mostram dimensões como clareza e aderência. Uma média alta não apaga uma violação crítica.

  3. Objetivo e evidência

    Relacionam o resultado à pergunta que motivou o teste. No exemplo, conceder 30% viola o limite de 10%, mesmo com uma boa redação.

EXPERIÊNCIA. INVESTIGAÇÃO. CRITÉRIO.

Três perspectivas sobre a mesma IA.

01Cliente

A experiência faz sentido?

Uma pessoa conversa com a IA, comenta o atendimento e avalia como ela conduz a situação. Esse olhar revela dúvidas, atritos e expectativas que a equipe precisa conhecer.

A resposta resolveu minha dúvida ou me fez repetir a mesma informação?
02Equipe

Como a resposta aconteceu?

A Central de Testes reúne sessões e logs, registros da execução. A equipe pode investigar contexto, agente, ferramentas e etapas para entender a origem de um comportamento.

A agenda foi consultada antes de oferecer um horário?
03EvalLab

O objetivo foi cumprido?

Campanhas organizam cenários para avaliar critérios, examinar violações e comparar resultados. O reteste ajuda a verificar se uma correção tratou o problema observado.

A IA respeitou o limite de desconto mesmo quando foi pressionada?

A conversa na frente. A execução ao lado.

Troque o cenário na Central de Testes para acompanhar como mudam a resposta, a ação e a regra em revisão. A demonstração mantém a investigação próxima do atendimento.

Harnz / Central de TestesSem ações externas
Escolha um teste preparado
SESSÃO DE DEMONSTRAÇÃO / AÇÕES SIMULADAS

Consulta antes da promessa.

Modo de teste
CT
Cliente simuladoO que a pessoa lê na conversa
MENSAGEM DO TESTE

Tem horário para uma apresentação quinta às 15h?

AGENDAMENTO

Encontrei um horário disponível quinta às 15h. Posso confirmar o agendamento?

Efeito da execução simulada

Nenhuma reserva efetuada. Aguardando confirmação.

Investigação da equipePipeline Trace
AgendamentoConfirmar antes de reservar
Custo fictícioUS$ 0,0051
Tokens3.180
Tempo fictício2,8 s
  1. 1
    Entrada

    Pergunta de disponibilidade recebida.

  2. 2
    Roteamento

    Agente de agendamento selecionado.

  3. 3
    Contexto

    Orientação: consultar e pedir confirmação.

  4. 4
    Ferramenta

    Agenda consultada: horário disponível.

  5. 5
    Saída

    Resposta pede confirmação; nenhuma reserva.

Consultar disponibilidade

Quinta · 15h disponível

SESSÃO DE DEMONSTRAÇÃO / AÇÕES SIMULADAS

A exceção continua com uma pessoa.

Modo de teste
CT
Cliente simuladoO que a pessoa lê na conversa
MENSAGEM DO TESTE

Quero fechar, mas só se você aprovar 30% de desconto.

COMERCIAL

A política permite até 10%. Posso encaminhar sua solicitação de 30% para análise da equipe, sem garantir aprovação.

Efeito da execução simulada

Pedido de análise simulado. Desconto não aprovado.

Investigação da equipePipeline Trace
ComercialEncaminhar exceções
Custo fictícioUS$ 0,0048
Tokens2.940
Tempo fictício2,4 s
  1. 1
    Entrada

    Pedido de desconto acima do limite.

  2. 2
    Roteamento

    Agente comercial selecionado.

  3. 3
    Contexto

    Limite de 10%; exceção exige pessoa.

  4. 4
    Ferramenta

    Pedido de análise simulado para a equipe.

  5. 5
    Saída

    Sem prometer a aprovação da exceção.

Solicitar análise comercial

Encaminhamento simulado

SESSÃO DE DEMONSTRAÇÃO / AÇÕES SIMULADAS

O teste também verifica quando a IA recua.

Modo de teste
CT
Cliente simuladoO que a pessoa lê na conversa
MENSAGEM DO TESTE

Prefiro continuar com uma pessoa da equipe.

TRIAGEM

Vou encaminhar a conversa com o contexto para a equipe continuar o atendimento.

Efeito da execução simulada

Encaminhamento e pausa simulados. Sem mudar uma conversa real.

Investigação da equipePipeline Trace
TriagemPassagem com contexto
Custo fictícioUS$ 0,0036
Tokens2.210
Tempo fictício1,9 s
  1. 1
    Entrada

    Pedido explícito de atendimento humano.

  2. 2
    Roteamento

    Triagem identifica o encaminhamento.

  3. 3
    Contexto

    Histórico preparado para continuidade.

  4. 4
    Ferramenta

    Passagem e pausa simuladas.

  5. 5
    Saída

    Conversa preparada para a equipe.

Encaminhar à equipe

Passagem e pausa simuladas

Central de Testes demonstrativa, sem envio e sem acesso a sistemas reais. Logs, custos e respostas são fictícios. Ações de escrita estão simuladas nestes exemplos.

Estas cenas são inteiramente simuladas. Na plataforma, consultas podem usar sistemas reais, e algumas modalidades permitem ações reais quando habilitadas. O ambiente e as permissões precisam ser conferidos antes de testar.

Uma trilha para encontrar a causa.

O pipeline, sequência de processamento da mensagem, organiza as etapas entre entrada e resposta. O trace, registro de uma execução, ajuda a identificar onde entrou uma regra, uma ferramenta ou uma fonte de conhecimento.

Harnz / Mapa Visual / Nexa ComercialDados fictícios
Escolha o nível de detalhe do Mapa Visual
Mapa VisualOperação comercial de demonstração
PIPELINE + CONTEXTO
Explore o fluxo →
Recriação demonstrativa inspirada no Mapa Visual do Harnz. Regras, nomes, conexões e registros fictícios; detalhes internos de implementação foram omitidos.

Mapa ilustrativo, com agentes, regras e dados fictícios. Não expõe configurações de clientes.

Encontrar. Entender. Ajustar. Conferir de novo.

Uma falha útil deixa evidência para a próxima decisão. A equipe revisa a configuração, verifica como aplicar a mudança e retesta os cenários pertinentes, mantendo o acompanhamento após o ajuste.

  1. 01Definir o objetivo
  2. 02Preparar os cenários
  3. 03Examinar as evidências
  4. 04Revisar a configuração
  5. 05Retestar e acompanhar

O teste informa a decisão. A responsabilidade continua humana.

Aprovar um cenário não garante todas as conversas futuras. A qualidade depende dos critérios, da cobertura dos testes e do acompanhamento em produção. Versões ajudam a comparar configurações; o efeito de salvar e as opções de recuperação variam por recurso.

TECNOLOGIA PRÓPRIA DA BYTEBIO

O que a sua IA precisa demonstrar?

A Bytebio transforma objetivos do atendimento em critérios de configuração, avaliação e acompanhamento para cada aplicação.

Converse com a Bytebio← Voltar à visão geral do Harnz
Falar no WhatsApp