Jusbrasil - Artificial Intelligence Feature
TL; DR:
Caso / Case:
Botão entender / The "understand" button
Tipo / Kind:
Discovery, UI Design, Ux Design, Testing, Metrics
Duração / Timeframe:
8 meses / months
Plataforma / Platform:
App (iOS and Android) and Web (mobile and desktop)
Meu envolvimento / My involvement:
End-to-End (Research, Discovery, UX, Test, UI design, Handoff and Metrics)
Impacto / impact:
Went to production to more than 20 million people in the website + transformed in a lecture case.
• Qual era o problema?
/ What was the problem?
O Jusbrasil é uma empresa do ramo jurídico, onde permitimos que pessoas comuns possam acessar seus processos na justiça sem burocracia. No Brasil existem mais de 40 tribunais diferentes, cada um com seu sistema próprio, e o Jusbrasil reune as informações processuais de todos esses tribunais em um lugar só, culminando no número de mais de 20 milhões de pessoas por mês acessando nosso site.
/ Jusbrasil is a legal company that allows ordinary people to access their lawsuits without bureaucracy. In Brazil, there are more than 40 different courts, each with its own system, and Jusbrasil gathers procedural information from all these courts in one place, resulting in over 20 million people accessing our website monthly.
Porém essas pessoas após terem o problema de acesso ao processo resolvido, acabavam tendo um segundo problema, o de entendimento, já que todos os textos jurídicos são difíceis de entender, e no fim eles abandonavam as páginas.
/ However, after these people had their access to their lawsuits resolved, they faced a second problem: understanding, as all legal texts are difficult to comprehend, leading them to abandon the pages.
• Solução
/ Solution
Haviam diversas soluções no backlog porém nenhuma era realmente escalável, até o surgimento da Gen-AI, pois agora poderíamos para explicar os textos jurídicos em uma linguagem simples e fácil. No frontend apresentaríamos apenas um único botão, com a label “Entender”, em que ao clicar iriamos enviar o texto original para uma IA, com um prompt solicitando que ela explicasse, e devolveremos a explicação ao usuário.
/ There were several solutions in the backlog, but none were really scalable, until the emergence of Gen-AI, as we could now explain legal texts in simple and easy language. On the frontend, we would present only a single button labeled "Understand", where upon clicking, we would send the original text to an AI with a prompt asking it to explain, and we would return the explanation to the user.
Explicação: toda informação dos tribunais são coletados para nossos bancos de dados, depois enviados para a IA e por fim apresentados a nossos usuários.
/ Explanation: All information from the courts is collected for our databases, then sent to the AI, and finally presented to our users.
/ Explanation: All information from the courts is collected for our databases, then sent to the AI, and finally presented to our users.
• Processo de design
/ Design Process
Esse projeto levou cerca de 8 meses para entrar em produção, envolveu diversos setores da empresa, desde legal experts, data scientist, desenvolvedores, e etc. Porém aqui irei me focar no processo de design que houve para que o recurso fosse validado e desenvolvido.
/ This project took about 8 months to go to production, involving various sectors of the company, from legal experts, data scientists, developers, etc. However, here I will focus on the design process that was necessary for the feature to be validated and developed.
• Pesquisa
/ Research
Muito antes de termos soluções com Gen-AI já havia um investimento grande no time em discovery e pesquisa, pois acreditamos que entender profundamente os problemas de nossos usuários nos ajudam a encontrar melhores soluções. O Jusbrasil fez o investimento de contratar uma empresa de recrutamento de usuários em que garantia que toda semana, em um mesmo dia e horário, eu poderia entrar em uma sala do Zoom e ter um usuário esperando por mim para ser entrevistado. E isso se tornou um processo padrão que realizamos por meses, assim pudemos descobrir que a dor de entendimento era a dor mais latente que havia naquele momento.
/ Long before we had Gen-AI solutions, there was already a significant investment in the discovery and research team, as we believe that deeply understanding our users' problems helps us find better solutions. Jusbrasil invested in hiring a user recruitment company that ensured that every week, on the same day and time, I could enter a Zoom room and have a user waiting for me to be interviewed. This became a standard process that we carried out for months, allowing us to discover that the pain of understanding was the most pressing issue at that time.
• Ideação
/ Ideation
Ainda em meados de 2022, quando ainda não se falava muito sobre IA para usuários finais (dado que o boom do ChatGPT veio em janeiro de 2023), já estávamos iniciando alguns experimentos com soluções que envolviam IA explicar algumas palavras jurídicas. Até que dentre as respostas de um teste pareceu promissor pedir para que a IA explicasse não só algumas palavras mas uma sentença completa, já que com mais contexto havia melhor possibilidade de receber uma resposta assertiva.
/ Back in mid-2022, when AI for end-users was not yet widely discussed (given that the ChatGPT boom came in January 2023), we were already starting some experiments with solutions involving AI to explain some legal terms. Until among the responses from a test, it seemed promising to ask the AI not only to explain some words but a complete sentence, as with more context, there was a better chance of receiving an assertive response.
• Validação
/ Validation
Antes mesmo de desenvolver qualquer coisa precisava ter uma certa garantia do valor enxergado pelo usuário naquele recurso, o investimento seria muito alto para desenvolver e era necessário validar primeiro. Assim iniciei junto ao time testes de usabilidade moderado com a técnica do Concierge, onde o usuário fazia uma solicitação e, ao invés de um sistema trazer uma resposta, eu trazia a resposta manualmente. Assim, seria possível testar de uma forma extremamente econômica, eficaz e rápida.
Durante a entrevista o usuário apresentava qual texto era o da sua dúvida e trazíamos a resposta, gerada por uma IA, manualmente.
/ Before developing anything, I needed to have a certain guarantee of the value seen by the user in that feature. The investment would be too high to develop, and it was necessary to validate first. Thus, I started usability tests with the Concierge technique with the team, where the user made a request, and instead of a system bringing a response, I brought the response manually. This way, it would be possible to test in an extremely economical, effective, and quick manner. During the interview, the user presented which text was the one causing their doubt, and we brought the response, generated by an AI, manually.
• Testar rápido, errar rápido e melhorar
/ Test fast, fail fast, and improve
Seguimos por meses com esse tipo de abordagem, pois a cada novo teste tinhamos novas descobertas, sejam elas de funcionamento do recurso, de expectativa do usuário até ao próprio formato de resposta que a IA gerava, dado que em determinando momento as percebemos que as respostas continham mentiras ou itens inventados. Assim, foi necessário mergulhar no que, até então não se falava muito, que é a engenharia de prompt. Só com a engenharia de prompt conseguimos melhorar nossos resultados com respostas mais assertivas e com a clareza necessária para sanar a dor dos usuários. E vale ressaltar que isso só foi possível por causa de um extenso trabalho de pesquisa repetitiva semanalmente, onde pude testar novos protótipos e prompts com rapidez.
/ We continued for months with this approach because with each new test, we had new discoveries, whether it was about the functioning of the feature, user expectations, or even the format of the response that the AI generated, as at some point we noticed that the responses contained lies or invented items. Thus, it was necessary to delve into what was not yet widely discussed at the time, which is prompt engineering. Only with prompt engineering, we were able to improve our results with more assertive responses and with the necessary clarity to alleviate user pain. It was only possible because of extensive weekly repetitive research work, where I was able to test new prototypes and prompts quickly.
Dois gráficos que representam, resumidamente, a melhora na qualidade das respostas que a IA teve após diversas versões testadas e melhoradas. A área verde escura significa "respostas juridicamente corretas"
/ Two charts that briefly represent the improvement in the quality of the AI's responses after several tested and improved versions. The dark green area represents "legally correct responses."
/ Two charts that briefly represent the improvement in the quality of the AI's responses after several tested and improved versions. The dark green area represents "legally correct responses."
• UI Design
/ UI Design
Ainda nas entrevistas também testei diversos modelos de layout para apresentar o recurso e o que melhor performou foi o mais simples, onde havia um único botão gerando uma única interação.
/ In the interviews I also tested several layout models to present the feature, and the one that performed best was the simplest, where there was a single button generating a single interaction.
Este vídeo apresenta, em forma de propaganda, o recurso de Entender para nossos usuários.
/ This video presents the Understand feature to our users in the form of an advertisement.
/ This video presents the Understand feature to our users in the form of an advertisement.
• Handoff
/ Handoff
Todo meu trabalho de design culminou em apresentações de resultados das validações e entrega dos fluxos prototipados no Figma para que os desenvolvedores pudessem programar.
/ All my design work culminated in presentations of validation results and delivery of prototyped flows in Figma so that developers could program them.
• Minha participação
/ My Involvement
Estive presente do início ao fim do lançamento desse recurso, seja na ideação, na pesquisa, validação, testes A/B e experimentos, UI design, arquitetura da informação e engenharia de prompt.
/ I was present from the beginning to the end of the launch of this feature, whether in ideation, research, validation, A/B testing and experiments, UI design, information architecture, and prompt engineering.
• Impacto
/ Impact
Tivemos um lançamento faseado em que pudemos medir adesão, satisfação, entendimento e usabilidade do recurso. Ao subir para produção, tivemos números incríveis de uso e adesão do recurso.
/ We had a phased rollout where we could measure the adoption, satisfaction, understanding, and usability of the feature. Upon going live, we saw incredible usage and adoption numbers.
Video de usuários usando o recurso de Entender pela primeira vez.
/ Video with users using the "Understand" button for the first time.
Não sou autorizado a divulgar números, mas afirmo que, de todos os projetos que já estive à frente, este é um dos que tenho mais orgulho, visto que são mais de 20 milhões de usuários que passam pelo Jusbrasil todos os meses. Recebi feedbacks em entrevistas com usuários, de social listening, e também de amigos e parentes, de que o Botão Entender mudou a forma como as pessoas se relacionam com seus processos, trouxe compreensão e empoderou usuários a serem donos do conhecimento de seus casos.
/ I am not authorized to disclose the numbers, but I can say that, of all the projects I have led, this is one of those I am most proud of, considering that over 20 million users visit Jusbrasil every month. I received feedback through user interviews, social listening, and also from friends and relatives, that the "Understand Button" changed the way people interacted with their legal cases, bringing comprehension and empowering users to take ownership of their case knowledge.
Eu, na página de palestrantes do ILA23
/ Me, in the ILA23 speakers webpage
/ Me, in the ILA23 speakers webpage
Além disso, transformei este case em uma palestra, dividindo meus conhecimentos, aprendizado e jornada com Design e IA com outros designers no maior evento de Design da América Latina, o ILA, em 2023, em La Plata/Argentina. Conto melhor sobre isso aqui.
/ Additionally, I turned this case into a lecture, sharing my knowledge, learning, and journey with Design and AI with other designers at the largest Design event in Latin America, the ILA, in 2023, in La Plata/Argentina. More about this here.
Também refiz esta mesma palestra em diversos outros eventos, como a Fenalaw e Afrojus e dentro de outras grandes empresas no Brasil, como a Blip ou o Itaú (um dos maiores bancos do Brasil).
/ I also delivered this same lecture at various other events, such as Fenalaw and Afrojus, and within other large companies in Brazil, such as Blip and Itaú (one of the largest banks in Brazil).
E, mais tarde, ainda escrevi artigos no Medium:
/ Later, I wrote articles on Medium:
• Como a cultura do Jusbrasil me levou ao palco do ILA23 (only in portuguese)
• O fim da era do Design Thinking: Influências da IA no nosso processo de design (only in portuguese)