• obbeel@lemmy.eco.br
    link
    fedilink
    arrow-up
    4
    arrow-down
    1
    ·
    edit-2
    2 days ago

    Testei hoje o OpenChat-3.6 (7 bilhões de parâmetros) e ele quase conseguiu escrever um simples editor de texto. Parece pouco, mas eu acho que podemos apostar na evolução das LLMs de poucos parâmetros. Em muitas tarefas, essas LLMs têm o mesmo desempenho das gigantes. Se você perguntar alguma coisa sobre a China ou a Rússia, por exemplo, ela vai saber responder.

    Além disso, a comunidade open-source está alcançando capacidades de pesquisa na Web usando o Selenium para a automação Web. Isso significa respostas precisas, caso elas estejam disponíveis no Google.

    Há a possibilidade de desenvolver algo de muito valor com poucos recursos. Podemos também usar modelos menores para tarefas de processamento de linguagem natural - como classificação de texto e análise de sentimentos. Tudo isso, tecnicamente, por muito menos do que os R$26,9 bilhões que o governo separou para a produção de Inteligência Artificial.

    Se não sair nada interessante vindo do Brasil nos próximos anos, o problema é burocrático e não por causa de poucos recursos.

    (Edit) Importante dizer que o modelo LLaMa 70b (70 bilhões de parâmetros) não consegue criar um simples editor de texto. Isso cria uma referência interessante para o futuro.