ÉTICA, IA E DESIGN NA GENÉTICA MÉDICA
Keywords: Artificial intelligence; Medical genetics; AI ethics; Co-design; User experience (UX); More-than-human design; AI in healthcare
Quando se desenha um sistema de IA para a genética médica, não se desenha apenas uma ferramenta de apoio à decisão. Desenham-se as condições em que essa decisão passa a ser tomada: o que o clínico vê e o que fica escondido, que incerteza é mostrada, quem definiu o problema e quem ficou de fora. Por isso, a ética não é algo que possa ser acrescentado e não vive só no algoritmo.¹ Tem de estar no desenho da equipa, nas decisões de arquitetura, nos dados, nos fluxos, na relação clínica que o sistema estabelece e nas iterações futuras.
Este foi o ponto de partida da minha intervenção num painel sobre ELSI (implicações éticas, legais e sociais) da IA em genética médica, realizado a 11 de setembro na ULS de Santo António, no âmbito da sessão “Genética Médica na Era da Inteligência Artificial: Do Conceito ao Algoritmo e à Decisão Clínica”. O painel foi moderado por Alexandra G. Rocha e contou com Goreti Marreiros, Heidi Carmen H., Natália Oliva Teles, Elisabete Castela e Rui Nunes. Foi pensado como painel, mas acabou por ter a dinâmica de uma mesa-redonda, com as intervenções a construírem-se umas sobre as outra e a levarem a conversa para territórios que não estavam necessariamente previstos à partida.
O design é uma voz pouco habitual nestas discussões, em geral dominadas por juristas, clínicos e cientistas de dados. Fui convidada a levar o ângulo do design sobre o desenho da experiência (UX) e da interface.
A conversa começou no algoritmo e terminou na instituição, e é esse percurso que aqui procuro seguir.
Co-design: a composição da equipa é uma decisão ética de design
Partindo da criação dos sistemas — o motor, o modelo, a genética computacional — a pergunta dirigida a mim foi: como desenhar a experiência e a interface para garantir a equidade, os direitos e as condições éticas?
A ética tem de ser incorporada no processo de desenvolvimento e em toda a experiência: no desenho da equipa, na definição de requisitos, nas decisões de arquitectura, nos dados, nos fluxos, no tipo de relação clínica que estamos a estabelecer com a IA e nas iterações futuras.
Por um lado temos os dados de treino da IA, mas antes disso devemos colocar a questão de quem participa na definição do problema, dos requisitos e da experiência.
As pessoas que estão nas equipas de desenvolvimento a pensar e a desenhar o sistema são representativas dos diferentes utilizadores que o sistema vai afetar?
Devemos criar condições para que se incorporem processos de co-design com as pessoas que realmente conhecem os processos e os efeitos reais das decisões que o sistema vai apoiar: médicos que lidam com o resultado no consultório, pacientes e famílias que vivem com as implicações de um diagnóstico, e, neste caso específico, geneticistas que sabem onde a interpretação é mais frágil.
Co-design, neste contexto, não é um workshop de validação no final do processo. Implica decidir quem participa, quando participa e que influência tem ao longo de todo o desenho: que perguntas deve o sistema conseguir responder, que informação é útil no momento de decidir, onde é que a incerteza tem de ser tornada visível.
Este argumento articula-se com a ideia de representatividade que partilhei na sessão. É insuficiente perguntar quem está representado nos dados de treino. É necessário perguntar quem decidiu o que esses dados devem conter e quem testou se a experiência final fazia sentido para quem a vai usar todos os dias.
É a diferença entre perguntar no fim “isto está bem desenhado?” e perguntar desde o início “o que é preciso que este sistema faça?” a quem vai viver com as consequências. Podemos levar o argumento mais longe com a ideia de co-criação:² envolver estas vozes não só no desenho, mas na própria construção do conhecimento que o sistema usa.
Três níveis de representatividade
Co-design não é um princípio abstracto. É um mecanismo prático para tornar a representatividade real. Proponho uma tríade de representatividade:
Dados: quem está representado nos datasets de treino, para que populações o sistema funciona bem, e, por omissão, para quem falha silenciosamente. Um sistema de apoio à decisão genética treinado maioritariamente numa população não representa da mesma forma todas as famílias que vai servir.
Equipas: quem define o problema, escreve os requisitos, cria as user stories, define as personas e desenha a arquitetura do sistema. Uma equipa constituída apenas por engenheiros e cientistas de dados vai fazer perguntas diferentes de uma equipa que inclui geneticistas clínicos, doentes e as próprias famílias que vivem com um diagnóstico, e essas diferenças aparecem no que o sistema considera relevante, nos percursos e narrativas que prevê e nas pessoas e necessidades que reconhece.
Experiência: quem participa nos testes, se a informação é compreensível para quem a vai ler num momento de grande ansiedade, se a decisão que o sistema propõe é aceitável para quem a vai comunicar ou receber, se o fluxo desenhado apoia, ou dificulta, uma boa decisão clínica.
Três perguntas simples que raramente se fazem por esta ordem: Quem está representado nos dados? Quem decidiu o que esses dados devem conter? Quem testou se a experiência final faz sentido para quem a usa todos os dias?
A UX como parte do mecanismo de decisão
A UX não é a camada visual de um sistema. É parte do mecanismo de decisão.
Um algoritmo pode ser tecnicamente rigoroso e, ainda assim, a decisão ética ficar comprometida se a interface apresentar um risco genético sem contexto, sem intervalo de confiança e sem explicar o que o número significa. Nesse caso, o problema não está no modelo, está no desenho da experiência.
Uma interface pode tornar a incerteza visível ou escondê-la. Pode convidar à verificação ou produzir uma sensação de certeza. Pode apoiar o raciocínio clínico ou induzir uma aceitação quase automática da recomendação. Desenhar a interface é, por isso, desenhar a relação entre o profissional e o sistema e, indiretamente, entre o profissional, o doente e a decisão.
Mais-do-que-humano: já não se trata de “humanizar a tecnologia”
Natália Oliva Teles sublinhou a importância de humanizar a tecnologia. Agora urge ir um passo além e reconhecer que a relação entre humanos e tecnologia já não pode ser pensada como uma oposição entre dois pólos.
A decisão clínica em genética já não é apenas uma relação médico-doente. É uma relação mais-do-que-humana, onde participam uma rede de agentes: humanos, máquinas e algoritmos e, neste caso particular, também gerações futuras que ainda nem sequer existem. Uma rede mediada por dados que não decidem, mas moldam o que se torna visível, o que pode ser comparado e aquilo que passa a estar disponível para apoiar uma decisão.³
Esta lente pós-humana que aplico noutros domínios do meu trabalho, ganha, na genética médica uma urgência clínica muito concreta, na linha do que o campo do design tem vindo a chamar de more-than-human design ⁴ Desenhar para esta rede, e não para um utilizador isolado, é uma responsabilidade de design distinta da de muitos outros domínios da IA em saúde.
Governação e Security by Design: se o sistema muda, quem é responsável?
O Prof. Rui Nunes colocou uma questão de grande pragmatismo: se um sistema de IA continua a aprender, a adaptar-se ou a ser atualizado depois de sair da empresa que o desenvolveu e entrar em produção, como pode essa empresa ser responsabilizada por um sistema que já não é exatamente o que criou e validou?
A questão não é apenas jurídica. É também uma questão de design e de governação. A responsabilidade não desaparece porque o sistema mudou. Mas pode tornar-se mais difícil de localizar, acompanhar e exercer. Se é difícil exercê-la quando o sistema já está em produção, temos de pensar em mecanismos capazes de acompanhar essa transformação. Talvez seja preciso dar um passo atrás na cadeia e reforçar a governação do sistema antes de chegar à fase de produção.
Regulamentar e auditar os modelos, estabelecer processos de validação, definir critérios de monitorização e criar mecanismos de acompanhamento ao longo do ciclo de vida do sistema deixam de ser tarefas periféricas. Passam a ser parte integrante da forma como a confiança no sistema é construída e mantida ao longo do seu ciclo de vida.
Já não basta perguntar se um modelo funciona quando é lançado. É preciso perguntar como sabemos que continua a funcionar, para quem, o que mudou e quem tem autoridade para intervir quando deixa de funcionar como previsto.
É aqui que entra o Security by Design: segurança, auditoria, responsabilidade e governação não podem ser camadas acrescentadas depois de o sistema estar construído. Um sistema mutável precisa de uma governação capaz de acompanhar esse processo e mudar com ele ao longo do seu ciclo de vida.
E esta é, no fundo, a mesma lógica que atravessa o design: nem a ética nem a governação podem ser um acrescento posterior. Têm de ser desenhadas para se moverem e desenvolverem com o sistema.
Do More-than-human ao Agent hospital
Se a decisão clínica já não é uma relação entre dois humanos, mas uma rede que inclui pessoas, dados, máquinas, algoritmos, e outros agentes, é possível ir mais longe: o que acontece quando essa rede deixa de estar circunscrita a uma decisão e passa a estruturar a própria organização de saúde? Foi neste ponto que o Prof. Rui Nunes introduziu a noção de “hospital agêntico”, trazendo referências da China e do Brasil e deixando em aberto a possibilidade de Portugal vir a explorar este caminho.
A expressão desloca a escala da discussão. Já não se trata de ferramentas de IA que apoiam médicos, nem de uma interface através da qual um profissional consulta um modelo, mas de uma organização em que diferentes agentes de inteligência artificial podem participar ativamente em processos de coordenação, informação, decisão e execução. É uma hipótese que levanta muitas questões, e é útil precisamente por obrigar a formulá-las.
Um hospital agêntico não é simplesmente um hospital com mais inteligência artificial. É uma mudança potencial na estrutura das relações, dos fluxos, das responsabilidades e até dos paradigmas. Se médicos, enfermeiros, doentes, sistemas de IA autónomos e outros sistemas digitais passam a participar no mesmo processo, é preciso saber não só o que cada um pode fazer, mas quem pode decidir, quem pode contrariar uma decisão, quem reconhece a incerteza, quem pode interromper um sistema e quem assume a responsabilidade quando algo corre mal.
Voltamos assim à governação, agora a uma escala maior. Quanto mais agentes e autonomia entram no sistema, mais importante é desenhar com clareza as relações entre eles. A governação deixa de ser um conjunto de regras exterior ao sistema e passa a fazer parte da sua arquitetura, de forma dinâmica, capaz de acompanhar a evolução das relações, dos comportamentos e das responsabilidades.
Do meu prisma foi particularmente interessante assistir à construção da ideia de more-than-human ir além da relação entre humanos e tecnologia e passar a ser aplicada à própria arquitetura de uma instituição de saúde e no limite de todo um sistema de saúde.
Porque um hospital agêntico não é simplesmente um hospital com mais inteligência artificial. É uma mudança potencial na estrutura das relações, dos fluxos e das responsabilidades e até de paradigmas.
O percurso da conversa fez um círculo: começou no algoritmo, passou pela experiência e pela interface, chegámos à rede de agentes e terminámos a discutir a própria instituição — um entanglement, no fundo, entre pessoas, dados, algoritmos e instituições que se torna cada vez mais difícil de desfazer em partes separadas.
Talvez seja esta a consequência mais radical de pensar a IA em genética médica a partir do design: não estamos apenas a desenhar sistemas para serem usados em contexto hospitalar. Podemos estar a desenhar aquilo em que um hospital se vai transformar e, não se trata de uma organização qualquer. Peter Drucker descreveu o hospital como “a organização humana mais complexa alguma vez concebida”.⁵ Acrescentar-lhe agentes capazes de interpretar, decidir e agir é, por isso, um desafio à escala dessa própria complexidade.
Falar de inteligência artificial em genética médica é determinar que relações, responsabilidades e formas de decisão queremos tornar possíveis através da tecnologia.
Tudo isso é Design.
_____________________________________________
¹ Christopher Frauenberger, Marjo Rauhala e Geraldine Fitzpatrick, “In-Action Ethics”, Interacting with Computers, 29(2), 2017, pp. 220–236. https://doi.org/10.1093/iwc/iww024.
² Sanders, E. B.-N., & Stappers, P. J. (2008). “Co-creation and the new landscapes of design.” CoDesign, 4(1), 5–18. https://doi.org/10.1080/15710880701875068
³ Elisa Giaccardi e Johan Redström, “Technology and More-Than-Human Design,” Design Issues, 36(4), 2020, pp. 33–44. https://doi.org/10.1162/desi_a_00612.
⁴ Christopher Frauenberger, “Entanglement HCI: The Next Wave?”, ACM Transactions on Computer-Human Interaction, 27(1), 2020, pp. 1–27. https://doi.org/10.1145/3364998.
⁵ Peter F. Drucker, Managing in the Next Society, St. Martin’s Press, 2002. Tradução minha.