Conteúdo Público

Chat ETP

• 3

1 - Descrição Resumida do Projeto

Este projeto teve origem em um desafio trazido ao Laboratório de Inovação pela equipe de Gestão de Riscos da Justiça Militar da União (JMU). A partir de oficinas de gestão de riscos realizadas no âmbito do processo de compras e contratações, observou-se um alto risco associado à etapa preparatória. Identificou-se que o Estudo Técnico Preliminar (ETP), documento que formaliza a fase de planejamento das contratações, é frequentemente preenchido com erros ou com informações inconsistentes, o que tem repercussões nas etapas subsequentes, causando atraso e retrabalho. O mapa de riscos do macroprocesso de contratações do STM pode ser acessado no link: https://drive.google.com/file/d/19DDWBwntJeE0j99Crfwu-h1mP2jgF3wG/view?usp=sharing.

Essas questões foram discutidas em conjunto com a equipe de contratações e com o STJLab - Laboratório de Inovação do Superior Tribunal de Justiça (STJ), que partilham das mesmas dores. Desse modo, firmou-se uma parceria Ímpetus JMU e o STJLab com o objetivo de buscar uma solução para o desafio proposto.

2 - Situação-Problema/Justificativa

O macrodesafio deste projeto é o risco associado à etapa de planejamento das contratações. Planejamentos realizados de maneira incorreta implicam em processos de contratações com problemas nas etapas seguintes. Transformando o problema em desafio, temos a seguinte pergunta:

Como podemos utilizar a inteligência artificial generativa para auxiliar o demandante na etapa preparatória de uma contratação pública?

3 - Objetivo

O objetivo deste projeto é responder à pergunta do item anterior, desenvolvendo uma solução para o problema proposto, com o uso da metodologia Design Thinking e a base tecnológica da Inteligência Artificial. O princípio fundamental que deve permear o presente projeto, do seu início ao seu término, é o foco no usuário, entendido como destinatário de todo o trabalho a ser realizado. Desse modo, suas necessidades devem ser mapeadas e compreendidas no desenvolvimento de soluções durante as oficinas.

4 - Metodologia

O projeto ChatETP utiliza a metodologia Design Thinking executada em um formato ágil, de modo a acelerar a entrega de resultados e otimizar o tempo dedicado pelos participantes das oficinas. O Design Thinking é uma abordagem centrada no ser humano para inovação que integra as necessidades das pessoas, as possibilidades da tecnologia e os requisitos para o sucesso dos negócios. Originado no campo do design, ele utiliza uma série de etapas e princípios para resolver problemas complexos de forma criativa e colaborativa. De maneira resumida, o Design Thinking compreende as seguintes etapas na seguinte ordem:

1. Empatia: Entendimento do usuário: A primeira fase envolve compreender profundamente os usuários e suas necessidades. Isso pode ser feito através de entrevistas, observações e outras técnicas de pesquisa qualitativa.
2. (Re) definição do problema: A partir dos insights coletados na fase de empatia, a equipe define claramente o problema a ser resolvido. Esta etapa envolve sintetizar as informações e formular uma declaração de problema focada.
3. Ideação: Com o problema bem definido, a equipe passa a gerar o máximo possível de ideias e soluções potenciais. O brainstorming é uma técnica comum usada nesta fase para fomentar a criatividade.
4. Prototipagem: As melhores ideias são transformadas em protótipos tangíveis. Estas são versões simplificadas das soluções, que podem ser rapidamente construídas e testadas.
5. Teste: Os protótipos são testados com usuários reais para obter feedback. Esta fase é iterativa, significando que as soluções são continuamente refinadas com base no feedback recebido até que uma solução viável seja encontrada.
6. Implementação: Embora não seja sempre considerada uma fase separada no Design Thinking tradicional, a implementação envolve levar a solução final ao mercado ou integrá-la nos processos da organização.

Em cada uma dessas etapas, utiliza-se ferramentas lúdicas com o objetivo de instigar a inteligência coletiva do grupo que participa das oficinas. O planejamento de cada oficina parte das seguintes premissas:

• Centro no usuário: O foco é sempre nas necessidades e experiências dos usuários finais.
• Colaboração: Envolve diversas disciplinas e perspectivas para gerar soluções mais inovadoras.
• Iteração: É um processo não-linear onde as fases podem ser revisitadas conforme necessário.
• Tudo é Experimental:  Encoraja a criação rápida de protótipos e o aprendizado através do teste e do erro.

A experiência do Ímpetus - Laboratório de Inovação da JMU, em outros projetos de inovação, identificou um gargalo com relação ao tempo, ou a falta dele, dedicado por servidores dispostos a participar das oficinas de Design Thinking. Desse modo, a novidade mais significativa da metodologia é a definição de onde queremos chegar antes de iniciarmos as oficinas. Dessa forma, o processo de imersão e redefinição do problema começa já se sabendo o que se pretende alcançar. Assim, é possível definir um prazo certo para cada Sprint e a lista do que deve ser feita, um backlog, ferramentas importadas da metodologia ágil Scrum.

A inteligência artificial generativa em desenvolvimento contém o conhecimento das equipes de contratação envolvidas. Esse conhecimento foi sintetizado em oficinas de Design Thinking.

5 - Parceiros

Superior Tribunal de Justiça, por meio do seu laboratório de inovação, o STJLab.

6 - Beneficiários e Abrangência

Os beneficiários diretos são os servidores envolvidos nos processos de planejamento de contratações. Tendo em vista que, com a lei 14.133/2021, qualquer servidor é um demandante em potencial, no STM em torno de 700 servidores serão impactados diretamente pelo projeto.

De forma indireta, a sociedade é beneficiada, pois um planejamento bem feito é requisito fundamental para recursos públicos aplicados de maneira eficaz, eficiente e efetiva.

7 - Plano de Ação/Cronograma

8 - ODS

Objetivo de Desenvolvimento Sustentável da Agenda 2030 das Nações Unidas 16 - Paz, Justiça e Instituições Eficazes.

9 - Normativos

• Lei 14.133/2021
• Lei 4.320/1964
• Decreto 11.462

10 - Resultados e Benefícios Esperados

Espera-se obter uma ferramenta de inteligência artificial generativa capaz de auxiliar o servidor demandante em toda a etapa preparatória de uma contratação pública. A consequência é a realização de contratações mais eficazes, eficientes e efetivas. O gasto público executado com qualidade e economicidade beneficia toda a sociedade, não só pela economia de recursos gerada, mas por propiciar serviços públicos melhores.

11 - Recursos Utilizados

• Post-its
• Canetinhas
• Impressão A3 das ferramentas
• Papel branco A4
• Internet
• Apresentação de slides e da tela do computador com internet

12 - Execução do Projeto

1ª Oficina de Design Thinking 

06/05/2024

A partir da identificação dos riscos associados à etapa de planejamento das contratações, toda a equipe da Seção de Compras e Apoio ao Requisitante (SECAR) foi reunida em uma oficina de imersão no tema. A primeira ferramenta utilizada foi a Matriz CSD, que tem o objetivo de mapear as Certezas, Suposições e Dúvidas acerca da situação. O resultado foi:

• Certeza: a equipe de planejamento da contratação tem dificuldades na elaboração dos documentos (ETP, TR), por falta de experiência ou motivação;
• Suposição: capacitação e mudança na cultura organizacional são necessárias;
• Dúvida: o fluxo do processo é entendido por todos?

Para complementar a imersão no problema, foi aplicada a ferramenta Jornada do Usuário adaptada para identificar as falas e sentimentos do demandante antes, durante e depois da etapa preparatória de uma contratação. Esses atributos observados, tradicionalmente, na ferramenta Mapa de Empatia. No entanto, como a equipe da SECAR é responsável por dar apoio aos servidores encarregados de uma contratação, fez mais sentido focar naquilo que esta escuta dos demandantes do que mapear somente suas ações. O resultado foi:

• Antes de iniciar o planejamento da contratação, o demandante tem muitas dúvidas e questiona a necessidade de fazer tudo o que é previsto para esta etapa;
• Durante o planejamento, o demandante sente muita dificuldade na elaboração dos artefatos (ETP e TR) e tem muito trabalho ao ler os modelos padronizados disponibilizados no SEI;
• Depois concluído, o demandante sente-se agradecido pelo aprendizado e mais preparado para contratações futuras.

A análise dos resultados das duas ferramentas convergiu para que se seguisse o objetivo proposto de buscar uma solução tecnológica com o uso de inteligência artificial para auxiliar o demandante na etapa preparatória das contratações. Ficou claro, também, que o usuário principal é o demandante e este deve ser o foco do protótipo a ser feito.

2ª Oficina de Design Thinking (realizada em parceria com o STJLab)

17, 18 e 19/06/2024

Em três dias, tendo cada oficina apenas três horas de duração por dia, o Design Thinking foi executado até a etapa da prototipação. Optou-se por rodar a fase de testes de maneira remota.

O principal objeto dessa oficina foi usar o Design Thinking como instrumento capaz de condensar a inteligência coletiva dos participantes em uma base de conhecimento a ser inserida em uma inteligência artificial generativa. Desse modo, não cabe aqui detalhar a aplicação de cada ferramenta de maneira individual, mas apresentar os resultados. 

O roteiro da oficina pode ser acessado por meio do link: https://docs.google.com/document/d/1Lo8i06WpndC6MDpX2nEcsAvROHBFI1IffnnzRO5m7ug/edit?usp=sharing e as apresentações de cada dia podem ser visualizadas nos links:

1º dia: https://www.canva.com/design/DAGGoWQPvjA/je062LLmFZJjOdw6UI5o8w/edit?utm_content=DAGGoWQPvjA&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton

2º dia: https://www.canva.com/design/DAGIfeowfH0/9XWgllT0CQNCLOsWERxoew/edit?utm_content=DAGIfeowfH0&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton

3º dia: https://www.canva.com/design/DAGImHeQ5bA/4Rqoyl_8mYQmDKHTC2Uolw/edit?utm_content=DAGImHeQ5bA&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton

Abaixo é apresentado um sumário dos resultados finais da oficina que está em implantação na inteligência artificial. A base de conhecimento resultante poderá ser incluída como arquivo anexo ao projeto na plataforma Renovajud quando estiver finalizada, bem como o link para uso do ChatETP.

Ideação do ChatETP obtido com o uso da ferramenta Crazy 8: 

• Deve sempre citar a fonte. 
• Cada campo tem um chatbot.
• Caso haja riscos, mostrar quais riscos são envolvidos.
• Alertar se o objeto já foi parte em licitações fracassadas ou desertas.
• Sempre mais de uma escolha.
• Geração lista de requisitos.
• Integração entre sistemas de ChatGPT.
• Capacidade de mostrar as diferenças entre tipos de contratações, convênios e outros acordos e contratos.
• Gerar perguntas de múltiplas escolhas para direcionar.
• Permitir usar multimídia.

Conteúdo ideal de legislação para a base de conhecimento do protótipo:

• Lei 14.133/2021
• Lei 4.320/1964
• Decreto 11.462
• Legislações correlatas / relacionadas
• Não podem ser estaduais
• Legislações de acessibilidade e sustentabilidade
• Normativos STM, CNJ e STJ
• Guia de contratações CNJ
• Manual de licitações e contratos o TCU.
• Toda jurisprudência do TCU
• Compras.Gov
• Modelos ETP/TR do STM e do STJ
• ETPs preenchidos
• Pareceres jurídicos sobre ETP
• Matriz de riscos
• Modelos STM e STJ
• Revistas acadêmicas
• ABNT
• Planos setoriais das áreas e planejamento estratégico
• Orçamento
• Documentos de licitações anteriores
• Informações dos sistemas utilizados no órgão
• Licitações fracassadas
• Checklist das áreas de licitações
• Editais publicados
• Penalidades aplicadas
• Manual de pesquisa de preços
• Guia de levantamento de mercado nas contratações
• Livros sobre a temática (problemas de direitos autorais)
• Manifestações das áreas de acessibilidade e sustentabilidade
• Base de dados de contratações de outros órgãos
• Pesquisas de preços de outras contratações
• Guia de estudos de soluções
• Últimos 5 anos dos ETPs e demais artefatos da contratação

Instruções para o robô que devem estar no prompt (backlog de próximas sprints):

• Atuar como especialista em licitações e contratos
• PhD em Direito Administrativo, servidor público do Poder Judiciário com 20 anos de experiência.
• Professor de licitações e contratos, com foco em servidor em início de carreira. Além disso, possuir experiência com análise de riscos, gestão sustentável e acessibilidade.
• Dar feedbacks taxativos. Respostas claras e baseadas em fontes públicas.
• Utilizar linguagem simples.
• Definições de acessibilidade e sustentabilidade
• Informar quando solicitado a data da última atualização de sua base de dados
• Listar todos os 13 elementos do ETP
• Descrição da necessidade da contratação: Justificação clara da necessidade que se pretende atender com a contratação.
• Requisitos da contratação: Definição precisa dos requisitos que a solução a ser contratada deve atender, incluindo a especificação do objeto.
• Estimativa do valor da contratação: Previsão de custos baseada em pesquisa de mercado ou em contratos anteriores, considerando os preços praticados no mercado.
• Indicação dos resultados pretendidos: Definição dos objetivos a serem alcançados com a contratação.
• Estudos técnicos que embasam a contratação: Inclusão de estudos e informações técnicas que fundamentam a necessidade da contratação.
• Descrição das alternativas possíveis: Apresentação e análise das possíveis alternativas para atender à necessidade, incluindo a opção de não contratação.
• Motivo da escolha da solução adotada: Justificação da escolha da solução adotada em detrimento das alternativas analisadas.
• Análise de riscos: Identificação dos possíveis riscos envolvidos na contratação e medidas para mitigá-los.
• Levantamento de mercado: Pesquisa de mercado para identificação dos fornecedores ou prestadores de serviço capazes de atender à demanda.
• Estimativa de benefícios econômicos e sociais: Previsão dos benefícios que a contratação proporcionará, tanto econômicos quanto sociais.
• Previsão de impacto ambiental: Avaliação dos possíveis impactos ambientais decorrentes da contratação.
• Plano de execução da contratação: Definição do plano de execução, incluindo prazos e etapas necessárias para a realização da contratação.
• Critérios de medição e pagamento: Estabelecimento dos critérios de medição do objeto contratado e das condições de pagamento.

Requisitos para o funcionamento:

• Simples
• Fácil acesso
• Treinamento com base do STM e do STJ
• Segurança
• Privacidade
• Com foco na Persona
• Fornecer insights
• Responder sempre trazendo na base de conhecimento e da internet.
• Fornecer respostas embasadas nas legislações
• Verificar alinhamento ao planejamento estratégico
• Conseguir verificar a base de dados do painel de preços do compras.gov, para realizar levantamento de mercado e pesquisa de preços.

Perguntas frequentes (FAQ) que devem estar respondidas na base de conhecimento: 

• Como caracterizar corretamente o objeto?
• Como descubro e insiro o CATMAT/CATSER
• Como faço uma pesquisa (preliminar) de preço?
• Quando posso pedir um processo simplificado de contratação?
• Quem deverá ser indicado para a portaria de fiscalização?
• Como descubro se a contratação está no PCA/PCAq?
• Como descobrir quais impactos ambientais da contratação/aquisição?
• Como descobrir quais medidas mitigadoras?
• Como descubro se o objeto está ou não alinhado ao PLS, PCA, PGRS?
• Quais as atribuições do integrante demandante?
• Quais as atribuições do integrante técnico?
• Quais as atribuições do integrante administrativo?
• Quando devo inserir critérios de sustentabilidade?
• Quando devo inserir critérios de acessibilidade?
• Como faço para saber se os documentos (artefatos de licitação) estão corretos?
• Tenho que analisar todos os possíveis cenários?
• Preciso fazer cotação de cursos com os fornecedores no ETP?
• Devo detalhar todos os requisitos no ETP?
• Tenho que considerar os custos indiretos (e.g. servidor) na análise comparativa de custos (TCO)?
• Qual a diferença entre a necessidade e a solução pretendida?
• Como fazer a pesquisa de preço?
• Quem é responsável pela análise de riscos?
• Eu preciso licitar?
• Qual o limite da dispensa?
• Onde eu encontro o amparo legal de ....?
• Qual o modelo?
• Alguém já fez isso? Quem foi o último a fazer?
• Podemos comprar ou contratar ….?
• O que é demanda?
• Qual a diferença entre demanda e objeto?
• Qual a diferença entre o DFD e o ETP?
• Como selecionar a melhor opção? Quais os critérios?
• Qual a diferença entre a pesquisa de preços que informa o ETP e a que informa o TR?  
• Quais elementos e etapas devem compor o DFD e o ETP?
• O DFD, o ETP, o AR e o TR são sempre obrigatórios? Quais podem ser dispensados? Em que casos?
• O que é “solução como um todo”?
• Pode ser consultada a assessoria jurídica na fase de planejamento?
• O que eu preciso fazer?
• Qual é o meu prazo?
• Qual é a equipe?
• Como eu começo?
• Onde consigo encontrar licitações e contratos similares?
• Esses requisitos são suficientes?
• Como está o processo? Com quem está?
• Como respondo …?
• Tem modelo?
• Tem jurisprudência do TCU ou legislação a respeito?
• Como eu calculo a estimativa de licenças?
• Com quem eu tenho que conversar para saber em que vai impactar essa contratação?
• Qual a finalidade do ETP?
• Como definir a necessidade?
• Qual a melhor forma de levantar e avaliar as soluções de mercado?
• Qual tipo de pesquisa de preço deve ser feita? Como fazê-lo?
• Como considerar a perspectiva do ciclo de vida do objeto para a definição da solução?
• Como definir a solução, seus requisitos e os quantitativos?
• Tem critério de acessibilidade?
• O produto ou serviço será utilizado por pessoas com deficiência e sem deficiência?
• As pessoas com deficiência conseguem usar o objeto da contratação?
• Ao definir a necessidade, as pessoas com deficiência serão contempladas?
• O objeto da contratação é compatível com recursos assistivos (se for o caso)?
• Onde encontro o modelo padrão do ETP?
• Qual é o fluxo processual da contratação?
• Como identificar os critérios de sustentabilidade e de riscos da minha contratação?
• Quem precisa assinar os documentos da fase preparatória?
• Como sei as soluções que o mercado oferece para minha contratação?
• Qual o valor máximo para contratações de pequeno valor?
• Quais modalidades dispensam a elaboração de alguns artefatos?
• Quando a aplicar o decreto 7174 (produção nacional)?
• Sustentabilidade – cadastro?
• Como evitar de usar dispositivos (lei, decreto) revogados – ex. lei pregão 10.520.
• Qual a dificuldade mais frequente de identificar (separar) a necessidade da solução?
• Qual a dificuldade em identificar os requisitos de contratação?
• Qual é a diferença entre exigência de habilitação de requisitos?
• Qual a diferença entre levantamento de mercado e pesquisa de preço?
• Como enfrentar a falta de documentos?
• Como fazer se não há comparativo de soluções?
• Como formalizar da forma devida a pesquisa de preços de contratações?
• Quais as dificuldades em realizar a pesquisa de preços?
• Qual a dificuldade de relacionar se a demanda contribui ou não para o Planejamento Estratégico?
• Qual a dificuldade em definir os critérios de sustentabilidade e de acessibilidade?
• Qual a dificuldade em fazer a declaração de viabilidade?

13 - Dificuldades encontradas

Os principais obstáculos são a agenda dos servidores e a liberação da chefia imediata dos participantes das oficinas.

14 - Lições aprendidas

• Oficinas com, no mínimo 10 participantes;
• Três horas de duração, sem intervalo, funciona bem. A produção é proporcionalmente maior do que a observada em oficinas muito longas;
• Sair do local de trabalho promove maior engajamento dos participantes. Na oficina realizada no STJ, observou-se um maior rendimento dos servidores do STM, que estavam fora do seu local de trabalho;

15 - Referências:

Toolkit TCU: https://portal.tcu.gov.br/design_thinking/index.html

KNAPP, Jake; ZERATSKY, John; KOWITZ, Braden. Sprint: o método usado no Google para testar e aplicar novas ideias em apenas cinco dias. Editora Intrínseca, 2017.

• E-mail do laboratório: agest@stm.jus.br