E-Menta - Assistente para redação de ementas padrão CNJ
Ferramenta que emprega inteligência artificial na geração de minutas de ementas de acórdãos.
Problema a ser resolvido
Como fazer com que os Gabinetes adotem o formato padronizado previsto na Recomendação nº 154/2024 do CNJ e na Nota Técnica nº 7/2024 do Centro de Inteligência do TRT4 para a elaboração de ementas dos acórdãos trabalhistas, considerando que: (i) já existe um modelo enraizado na cultura jurídica; (ii) o formato padronizado recomendado demanda mais tempo para sua confecção em comparação ao anteriormente adotado; e (iii) os Gabinetes possuem metas a cumprir e lidam com um alto volume de processos a serem julgados?
Justificativa
A adoção do novo formato de ementa é uma recomendação do CNJ (Recomendação nº 154/2024) e do Centro de Inteligência do TRT4 (Nota Técnica nº 7/2024), com o objetivo de padronizar a elaboração das ementas dos acórdãos trabalhistas. No entanto, o formato recomendado demanda mais tempo para ser produzido em comparação ao modelo atualmente utilizado pelos Gabinetes, o que representa um desafio diante das metas a serem cumpridas e do elevado volume de processos a serem julgados. Assim, a criação de uma ferramenta automatizada que auxilie na redação das ementas conforme os padrões exigidos contribuirá para a adoção dessa padronização sem comprometer a produtividade e a eficiência do trabalho.
Objetivo
Criar uma aplicação com o uso de inteligência artificial generativa que seja capaz de entregar ementas no formato padronizado definido na Recomendação nº 154/2024 do CNJ e na Nota Técnica nº 7/ 2024 do Centro de Inteligência do TRT4.
Escopo
O projeto envolve a criação de uma aplicação baseada em inteligência artificial generativa para a elaboração automática de ementas, com formato e conteúdo alinhados aos requisitos da Recomendação nº 154/2024 do CNJ e da Nota Técnica nº 7/2024 do TRT4. A aplicação será capaz de analisar o conteúdo do texto fornecido (ponto central do acórdão) e gerar a ementa de maneira padronizada, respeitando as especificidades de cada processo.
Além disso, o projeto inclui o acompanhamento e a avaliação dos resultados, com monitoramento do uso da ferramenta pelos Gabinetes, a fim de analisar sua eficiência e identificar possíveis melhorias. Parte dessa avaliação consistirá na análise do impacto da adoção da ferramenta no tempo gasto para a elaboração das ementas, permitindo mensurar ganhos em produtividade e agilidade.
Não-escopo
Este projeto não inclui a adoção de formatos de ementa que não estejam em conformidade com o padrão estabelecido pela Recomendação nº 154/2024 do CNJ e pela Nota Técnica nº 7/2024 do Centro de Inteligência do TRT4. Também não será realizada qualquer integração com o sistema PJe, pois o foco está exclusivamente na criação da aplicação para a elaboração de ementas padronizadas.
Além disso, não há previsão de mudanças no modelo de gestão de processos do TRT4, uma vez que o objetivo principal é desenvolver a aplicação para a elaboração das ementas sem impactar a estrutura existente de gestão. O projeto igualmente não contempla a reestruturação dos procedimentos internos de trabalho dos Gabinetes, exceto pela implementação do assistente digital voltado à redação das ementas.
Por fim, o escopo do projeto se limita à criação das ementas, não prevendo qualquer tipo de alteração nos acórdãos ou em outros documentos jurídicos relacionados.
Metodologia
1ª etapa: Análise das Normas e mapeamento dos requisitos
Objetivo: Levantar os requisitos técnicos e as exigências legais e normativas necessárias para o desenvolvimento da aplicação.
Atividades: Análise detalhada da Recomendação nº 154/2024 do CNJ e da Nota Técnica nº 7/2024 do TRT4 para entender os padrões de formatação e conteúdo das ementas exigidos. Definição do formato e conteúdo esperado para as ementas geradas pela aplicação.
2ª Etapa: Prompt base
Objetivo: Elaborar o prompt base contendo os requisitos e exigências legais previstos na Recomendação nº 154/2024 do CNJ e da Nota Técnica nº 7/2024 do TRT4.
Atividades: Escrever todas as exigências previstas na Recomendação nº 154/2024 do CNJ e na Nota Técnica nº 7/2024 do TRT4 em comandos de texto. Escrever exemplos de ementas para recursos ordinários trabalhistas. Condensar as exigências e exemplos em formato de prompt. Testar o prompt elaborado. Analisar o resultado produzido. Listar aprimoramentos necessários para alcançar um resultado mínimo aceitável.
3ª Etapa: Escolha da versão mais apropriada de Inteligência Artificial
Objetivo: Escolher a versão mais apropriada de LLM disponível no mercado para a geração automatizada das ementas considerando a relação custo/ benefício.
Atividades:
3.1 Pré-processamento de Dados: Coleta de acórdãos e elaboração de ementas jurídicas padronizadas para teste do prompt base.
3.2 Escolher do modelo de IA generativo de LLM (Large Language Models) para gerar textos de forma automatizada.
4ª Etapa: Requisitos do MVP (Minimum Viable Product)
Objetivo: Estabelecer os parâmetros necessários para o MVP
Atividades: Identificar a maneira mais fácil de encontrar o trecho mais importante do acórdão para produzir a ementa; Fornecimento pelo próprio usuário; Futuramente, integrar com o Galileu 2º e com apenas um clique o usuário indicará o trecho e será produzida a ementa. Escolher o tipo de decisão (recurso ordinário, agravo de petição, embargos de declaração, mandado de segurança) que será o foco inicial para aprimoramento do prompt; Escolhido o recurso ordinário por ser o que apresenta maior quantidade de decisões. Estabelecer melhor usabilidade. Interface simples com possibilidade de coleta de feedback do usuário a respeito da ementa gerada;
5ª Etapa: Aprimoramento e Validação do Prompt para o MVP
Objetivo: Aprimorar e validar o prompt para garantir consistência e qualidade da resposta e atendimento ao padrão esperado.
Atividades: Avaliar se as ementas geradas estão de acordo com os padrões de formatação e conteúdo exigidos pela Recomendação nº 154/2024 e pela Nota Técnica nº 7/2024. Ajustar o prompt para não acontecer erros identificados. Disponibilizar a ferramenta para o Desembargador Coordenador do Subcomitê de Inovação para testes.
6ª Etapa: Implementação da Aplicação
Objetivo: Desenvolver e integrar a aplicação final que utilizará o modelo de IA para gerar as ementas de maneira autônoma.
Atividades:
6.1 Desenvolvimento da Interface do Usuário: Criar uma interface amigável e intuitiva para que usuários jurídicos (como juízes e assessores) possam inserir as informações dos processos e obter a ementa gerada automaticamente.
6.2 Integração do Modelo com a Aplicação: Integrar o modelo de IA gerado com o backend da aplicação, garantindo que ele consiga gerar ementas diretamente a partir dos dados inseridos pelo usuário.
6.3 Testes de Usabilidade e Funcionalidade: Testar a aplicação com usuários reais para garantir que a ferramenta atenda às necessidades do público-alvo e funcione de maneira eficiente.
7ª Etapa: Gabinetes Piloto - Testes e Validação
Objetivo: Validar a eficácia e a confiabilidade do sistema desenvolvido.
Atividades: Permitir acesso à ferramenta por Desembargadores e servidores de quatro Gabinetes já treinados a respeito da Recomendação nº 154/2024 e pela Nota Técnica nº 7/2024. Realizar avaliação com os usuários dos Gabinetes Pilotos a respeito da utilidade, eficiência, usabilidade, ganho de tempo e aprimoramento da ferramenta. Coletar as avaliações sobre cada ementa. Catalogar as avaliações.
8ª Etapa: Implantação da Aplicação
Objetivo: Lançar a ferramenta a todos Gabinetes que já realizaram o curso sobre ementas.
Atividades: Conceder acesso e uso aos Desembargadores e servidores dos Gabinetes que realizaram o curso sobre ementas. Publicizar a disponibilização da ferramenta.
9ª Etapa: Ampliação do escopo do produto para alcançar demais decisões que precisam de ementas
Objetivo: Criar outros prompts com especificação das demais decisões que precisam de ementas
Atividades: Escrever exemplos de ementas para demais decisões que precisam de ementas. Verificar especificidades e diferenças a serem atendidas para cada caso. Testar o prompt elaborado. Analisar o resultado produzido. Retornar a fase de testes e validação.
10ª Etapa: Contínuo acompanhamento dos feedbacks
Objetivo: Acompanhar as avaliações das ementas
Atividades: Coletar as avaliações. Catologar e separar se aborda formatação ou precisão, coerência e semântica do texto da ementa. Corrigir/ Aprimorar prompt. Testar o prompt elaborado. Analisar o resultado produzido. Retornar a fase de testes e validação.
Metodologia de Desenvolvimento do Sistema
Serviço de Processamento de Linguagem Natural: O sistema faz uso do serviço Gemini, versão 1.5, fornecido pelo Google, que é um grande modelo de linguagem (LLM), responsável pelo processamento e interpretação dos dados textuais.
Estrutura de Prompts: Foram desenvolvidos 16 prompts, sendo distribuídos da seguinte forma: 8 prompts de instruções, orientando o modelo sobre como deve realizar a tarefa e 8 prompts de exemplos, fornecendo casos de entrada e saída para melhorar a precisão das respostas geradas pelo modelo.
Tecnologias Locais:
Linguagem de Programação: O sistema é desenvolvido utilizando Python.
Framework de Aplicação: Para construção da aplicação web, utiliza- se o Flask, que proporciona uma estrutura simples e flexível para a implementação de APIs e serviços.
Infraestrutura de Hospedagem: A aplicação é hospedada no cluster Kubernetes (k8s) do datacenter do Tribunal.
Armazenamento de Dados: Para o armazenamento das ementas, foi implementado um banco de dados Postgres dedicado, garantindo a organização e persistência dos dados com segurança e desempenho.
Gestão de Acesso: A autenticação de usuários é gerenciada pelo Keycloak, que é o sistema padrão utilizado pelo Tribunal para controle de acessos e identidade. A concessão de acesso será automática para os usuários alocados em gabinete, como parte do segundo momento do processo de implementação.
Avaliação
Será disponibilizado um formulário de pesquisa para avaliar o desempenho e a aceitabilidade da ferramenta, bem como sua efetividade. Além disso, será realizada a coleta de feedbacks dos usuários sobre cada ementa gerada, com o objetivo de avaliar sua eficácia e identificar possíveis melhorias na aplicação.
- E-mail do laboratório: linova@trt4.jus.br