Tech

Esta semana em IA: OpenAI se afasta da segurança

Acompanhar uma indústria tão veloz quanto IA é uma tarefa difícil. Então, até que uma IA possa fazer isso por você, aqui está um resumo útil de histórias recentes no mundo do aprendizado de máquina, junto com pesquisas e experimentos notáveis ​​que não abordamos por conta própria.

A propósito, o TechCrunch planeja lançar um boletim informativo sobre IA em breve. Fique atento. Enquanto isso, estamos aumentando a cadência de nossa coluna semirregular de IA, que antes era duas vezes por mês (ou mais), para semanal — portanto, fique atento para mais edições.

Esta semana na IA, a OpenAI mais uma vez dominou o ciclo de notícias (apesar dos melhores esforços do Google) com o lançamento de um produto, mas também com algumas intrigas palacianas. A empresa revelou o GPT-4o, o seu modelo generativo mais capaz até agora, e poucos dias depois dissolveu efetivamente uma equipa que trabalhava no problema do desenvolvimento de controlos para evitar que sistemas de IA “superinteligentes” se tornassem desonestos.

O desmantelamento da equipe gerou muitas manchetes, como era de se esperar. Comunicando – incluindo o nosso – sugere que a OpenAI despriorizou a pesquisa de segurança da equipe em favor do lançamento de novos produtos como o já mencionado GPT-4o, levando em última análise ao renúncia dos dois co-líderes da equipe, Jan Leike e o cofundador da OpenAI, Ilya Sutskever.

A IA superinteligente é mais teórica do que real neste momento; não está claro quando – ou se – a indústria tecnológica alcançará os avanços necessários para criar uma IA capaz de realizar qualquer tarefa que um ser humano possa realizar. Mas a cobertura desta semana parece confirmar uma coisa: que a liderança da OpenAI – em particular o CEO Sam Altman – tem optado cada vez mais por dar prioridade aos produtos em detrimento das salvaguardas.

Altman supostamente “enfurecido” Sutskever apressando o lançamento de recursos alimentados por IA na primeira conferência de desenvolvimento da OpenAI em novembro passado. E ele é disse ter sido criticou Helen Toner, diretora do Centro de Segurança e Tecnologias Emergentes de Georgetown e ex-membro do conselho da OpenAI, sobre um artigo de sua coautoria que lançou a abordagem da OpenAI para a segurança sob uma luz crítica – a ponto de ele tentar empurrá-la para fora o quadro.

Ao longo do último ano, a OpenAI permitiu que seu chatbot armazenasse encher de spam e (supostamente) dados copiados do YouTube contra os termos de serviço da plataforma enquanto expressa ambições de permitir que sua IA gere representações de pornô e sangue. Certamente, a segurança parece ter ficado em segundo plano na empresa – e um número crescente de pesquisadores de segurança da OpenAI chegaram à conclusão de que seu trabalho seria melhor apoiado em outro lugar.

Aqui estão algumas outras histórias dignas de nota sobre IA dos últimos dias:

  • OpenAI + Reddit: Em mais notícias da OpenAI, a empresa chegou a um acordo com o Reddit para usar os dados do site social para treinamento de modelos de IA. Wall Street recebeu o acordo de braços abertos – mas os usuários do Reddit podem não estar tão satisfeitos.
  • IA do Google: O Google organizou sua conferência anual de desenvolvedores de I/O esta semana, durante a qual estreou uma tonelada de produtos de IA. Nós os reunimos aquidesde o Veo de geração de vídeo até resultados organizados por IA na Pesquisa Google e atualizações para os aplicativos de chatbot Gemini do Google.
  • Antrópico contrata Krieger: Mike Krieger, um dos cofundadores do Instagram e, mais recentemente, cofundador do aplicativo de notícias personalizadas Artefato (que o Yahoo, controlador corporativo da TechCrunch, adquiriu recentemente), está se juntando à Anthropic como o primeiro diretor de produtos da empresa. Ele supervisionará os esforços empresariais e de consumo da empresa.
  • IA para crianças: A Anthropic anunciou na semana passada que começaria a permitir que os desenvolvedores criassem aplicativos e ferramentas voltados para crianças, baseados em seus modelos de IA – desde que sigam certas regras. Notavelmente, rivais como o Google não permitem que sua IA seja incorporada em aplicativos voltados para idades mais jovens.
  • No festival de cinema: A startup de IA Runway realizou seu segundo festival de cinema de IA no início deste mês. A conclusão? Alguns dos momentos mais poderosos da vitrine não vieram da IA, mas de elementos mais humanos.

Mais aprendizados de máquina

A segurança da IA ​​​​é obviamente a prioridade esta semana com as saídas do OpenAI, mas o Google Deepmind está avançando com uma nova “Estrutura de Segurança Fronteiriça”. Basicamente, é a estratégia da organização para identificar e, esperançosamente, prevenir quaisquer capacidades descontroladas – não precisa ser AGI, pode ser um gerador de malware enlouquecido ou algo parecido.

Créditos da imagem: Google Deep Mind

A estrutura tem três etapas: 1. Identificar capacidades potencialmente prejudiciais num modelo, simulando os seus caminhos de desenvolvimento. 2. Avalie os modelos regularmente para detectar quando eles atingiram “níveis críticos de capacidade” conhecidos. 3. Aplicar um plano de mitigação para evitar a exfiltração (por terceiros ou por si mesmo) ou implantação problemática. Há mais detalhes aqui. Pode parecer uma série óbvia de ações, mas é importante formalizá-las ou todo mundo estará improvisando. É assim que você consegue a IA ruim.

Um risco bastante diferente foi identificado pelos investigadores de Cambridge, que estão justamente preocupados com a proliferação de chatbots que são treinados com base nos dados de uma pessoa morta, a fim de fornecer um simulacro superficial dessa pessoa. Você pode (como eu) achar todo o conceito um tanto abominável, mas ele poderia ser usado no gerenciamento do luto e em outros cenários, se tomarmos cuidado. O problema é que não estamos sendo cuidadosos.

Créditos da imagem: Universidade de Cambridge / T. Hollanek

“Esta área da IA ​​é um campo minado ético”, disse a pesquisadora principal Katarzyna Nowaczyk-Basińska. “Precisamos começar a pensar agora sobre como mitigar os riscos sociais e psicológicos da imortalidade digital, porque a tecnologia já está aqui.” A equipe identifica vários golpes, possíveis resultados bons e ruins e discute o conceito de maneira geral (incluindo serviços falsos) em um artigo publicado em Filosofia e Tecnologia. Black Mirror prevê o futuro mais uma vez!

Em aplicações menos assustadoras de IA, físicos do MIT estão procurando uma ferramenta útil (para eles) para prever a fase ou estado de um sistema físico, normalmente uma tarefa estatística que pode se tornar onerosa com sistemas mais complexos. Mas treinar um modelo de aprendizado de máquina com os dados corretos e fundamentá-lo com algumas características materiais conhecidas de um sistema e você terá uma maneira consideravelmente mais eficiente de fazer isso. Apenas mais um exemplo de como o ML está encontrando nichos até mesmo na ciência avançada.

Na CU Boulder, eles estão falando sobre como a IA pode ser usada no gerenciamento de desastres. A tecnologia pode ser útil para prever rapidamente onde os recursos serão necessários, mapear danos e até ajudar a treinar socorristas, mas as pessoas estão (compreensivelmente) hesitantes em aplicá-la em cenários de vida ou morte.

Participantes do workshop.
Créditos da imagem: COM Pedregulho

Professor Amir Behzadan está tentando avançar nisso, dizendo que “A IA centrada no ser humano leva a práticas mais eficazes de resposta e recuperação de desastres, promovendo a colaboração, a compreensão e a inclusão entre os membros da equipe, sobreviventes e partes interessadas”. Ainda estão na fase de workshop, mas é importante pensar profundamente sobre este assunto antes de tentar, por exemplo, automatizar a distribuição de ajuda após um furacão.

Por último, alguns trabalhos interessantes da Disney Research, que estava analisando como diversificar a saída de modelos de geração de imagens de difusão, que podem produzir resultados semelhantes continuamente para alguns prompts. A solução deles? “Nossa estratégia de amostragem recoze o sinal de condicionamento adicionando ruído gaussiano programado e monotonicamente decrescente ao vetor de condicionamento durante a inferência para equilibrar a diversidade e o alinhamento de condições.” Eu simplesmente não poderia dizer melhor.

Créditos da imagem: Pesquisa Disney

O resultado é uma diversidade muito maior em ângulos, configurações e aparência geral nas saídas de imagem. Às vezes você quer isso, às vezes não, mas é bom ter essa opção.

Source

Related Articles

Leave a Reply

Your email address will not be published. Required fields are marked *

Back to top button