Uma equipe de pesquisa da Universidade de Tsinghua desenvolveu um sistema de inteligência artificial (AI, na sigla imglês), que escreve poemas chineses. A equipe também divulgou um Teste de Turing para avaliar o desempenho do sistema AI. O teste coloca um participante para julgar se o poema foi escrito por humanos ou uma máquina. Se o participante não for capaz de distinguir, mostra que a máquina passou no teste.
No Teste de Turing, os humanos tiveram que distinguir 5 pares de poesias aleatórios de um total de 1.500 poemas gerados pelo sistema de AI e 5 pares de poemas escritos por pessoas. Foi registrado 1.656 jogos gerados por 370 jogadores. O resultado do teste mostrou que 45,2% dos usuários tiveram dificuldade em distinguir os poemas. Isso sugere que a qualidade da geração de poema combinando com métodos de Inverse Prompting (indução reversa) e self-training (auto treinamento) pode estar próxima do nível humano na perspectivas de usuário online em geral.
O método de Inverse Prompting pode tornar a resposta mais relevante à pergunta, ou seja, melhor utilização das informações no Prompt (texto imediato) para controlar o conteúdo gerado.
O Prompting utiliza o conteúdo gerado pelo próprio modelo de linguagem original para fazer melhorias, permitindo que o modelo original pré-treinado avalie a correlação (Probabilidade) entre o texto gerado e o Prompt, sem a necessidade de ajuste refinado dos parâmetros, proporcionando assim uma melhor controlabilidade.
Embora o Inverse Prompting possa ser usado para calcular a relevância do texto imediato para o conteúdo gerado, ele ainda depende da seleção de resultados de alta qualidade baseado na grande quantidade de conteúdo gerado. Por exemplo, para gerar um poema de boa qualidade, milhares de poemas precisam ser pré-gerados, o que implica em muitos cálculos.
Em combinação com uma estrutura de aprendizagem de Self-training (semelhante à abordagem usada no AlphaGo-Zero), os resultados da geração de poesia de alta qualidade são alimentados e ajustados ao modelo, o que equivale a deixar o modelo se treinar para gerar poesia de alta qualidade.
Ao fazer isso, podemos melhorar ainda mais a probabilidade de gerar poemas de alta qualidade baseados em Inverse Prompting e reduzir a quantidade de computação e a geração de conteúdo necessária.
No final da pesquisa, a combinação dos métodos de Inverse Prompting e Self-training rendeu ao modelo uma pontuação média geral de 4,40 (num total de 10).
É claro que, assim como não se pode dizer que os seres humanos tenham atingido o auge da escrita de poema, a abordagem de Inverse Prompting não será o fim da aplicação do AI em poemas.
Agora, este aplicativo de Teste de Turing de poesias está aberto ao público no seguinte link:
https://wudao.aminer.cn/turing-test/v1/
Fonte: Big Data Digest; Zaker
