‘Nenhuma empresa irá para a cadeia por você’: CTO da Proton sobre como equilibrar privacidade, política e confiança
⚡ Resumo rápido
Hoje no Decoder, temos a primeira de uma série de duas partes sobre os sistemas que governam o mundo: estou conversando com Bart Butler, CTO da Proton, a empresa que fabrica software de produtividade privado e seguro.
Hoje no Decoder, temos a primeira de uma série de duas partes sobre os sistemas que governam o mundo: estou conversando com Bart Butler, CTO da Proton, a empresa que fabrica software de produtividade privado e seguro.
Você provavelmente conhece melhor o Proton Mail, que é criptografado por padrão, mas a empresa também possui documentos, planilhas, um calendário e até um novo assistente de IA chamado Lumo, todos criados e comercializados em torno da ideia de que deveriam ser muito mais privados do que os produtos das grandes empresas de tecnologia.
Você ouvirá Bart dizer claramente que o que a Proton vende, em alto nível, não são realmente os produtos em si, mas sim a confiança. E a confiança no mundo do software não diz respeito apenas às pessoas que dirigem as empresas, mas também à tecnologia que desenvolvem e vendem e à estrutura empresarial implementada para garantir que a tecnologia é construída com base nos incentivos certos. Isca Pure Decoder, em outras palavras. O desafio é que Bart também diz que parte da missão da Proton é ter sucesso em ser um concorrente viável das Big Tech, e isso significa que a empresa tem de crescer e expandir-se para uma escala competitiva, ao mesmo tempo que preserva os seus valores fundamentais.
Esta filosofia e esse desafio estão diretamente incorporados na estrutura da Proton e até mesmo na sua localização física – a empresa e os seus servidores estão sediados na Suíça, em parte devido à neutralidade geopolítica do governo suíço. Há dois anos, a Proton também fez a transição para uma estrutura sem fins lucrativos governada por uma fundação, que é um modelo familiar utilizado por todos os tipos de empresas que operam ostensivamente no interesse público, mas que tem os seus próprios modos de falha, como acabámos de ver com OpenAI.
Assinantes do Verge, não se esqueçam de que vocês têm acesso exclusivo ao Decoder sem anúncios, onde quer que você obtenha seus podcasts. Vá aqui. Não é assinante? Você pode se inscrever aqui.
Conversamos sobre tudo isso, mas eu queria muito conversar com Bart porque ele é responsável pela construção técnica de alguns sistemas muito complexos que interagem com todas essas políticas complexas. Eu realmente queria saber como você traduz todos esses ideais e conceitos elevados, como a confiança do usuário, em produtos e recursos reais e centrados na privacidade que possam suportar toda essa pressão política.
Por exemplo, no início deste ano, o governo suíço solicitou dados de pagamento que levaram o FBI a desmascarar um manifestante associado ao movimento Stop Cop City em Atlanta, Geórgia, um pedido que a Proton atendeu. Então, é claro, tive que perguntar a Bart sobre tudo isso e o que significa o fato de o governo dos EUA poder usar palavras como “terrorismo” para coagir governos estrangeiros a exercer pressão sobre a Proton – e como a empresa decide quando e como enfrentar essas lutas.
Essa pressão se manifesta de todas as maneiras. A Proton declarou oficialmente que deixará a Suíça, e Bart diz que também consideraria abandonar as suas operações em países da UE como a Alemanha e a Noruega se várias leis de vigilância que tramitam nos tribunais europeus continuarem a ameaçar a missão de privacidade da Proton. Bart disse-me que estas não são apenas ameaças vazias e que a Proton está no processo de descobrir o que significaria deixar a Europa se as coisas se tornassem, nas suas palavras, mais “distópicas”.
Há muita coisa neste. Corremos bastante porque nos aprofundamos muito no mato. Primeiro passamos um tempo conversando sobre as estruturas amplas antes de falar sobre os problemas reais de segurança infantil, verificação de idade e IA – todos os quais estão testando os valores do Proton com alguns dos problemas de maior risco na Internet hoje. Mas gastamos um tempo extra para chegar lá e espero que você ache que valeu a pena.
Ok: Bart Butler, o CTO da Proton. Aqui vamos nós.
Esta entrevista foi levemente editada para maior extensão e clareza.
Bart Butler, você é o diretor de tecnologia da Proton. Bem-vindo ao Decodificador.
Obrigado. Feliz por estar aqui.
Estou animado para falar com você. Parece que o Proton está no centro de um debate crescente e em espiral sobre como construímos sistemas tecnológicos, como os regulamos e como os consumidores podem proteger os seus dados ou ter qualquer controlo sobre os seus dados no centro dele.
Vamos começar do início. Acho que a maioria das pessoas entende o Proton como ProtonMail, mas agora existe um conjunto de produtos de escritório e de produtividade. Descreva o que é Proton e como você vê todos os produtos funcionando juntos.
Portanto, Proton é um ecossistema, por assim dizer – uma coleção de produtos que compartilham o mesmo DNA, no sentido de que são fundamentalmente, em muitos casos, versões de produtos que você pode comprar em outro lugar, mas que preservam a privacidade, certo?
Sim, começamos com correio. Também temos uma VPN. Temos um Proton Drive, que é nosso armazenamento de arquivos, fotos e documentos colaborativos em tempo real. Temos um calendário. Temos um gerenciador de senhas chamado Proton Pass. Temos o Meet, que é um software de videoconferência. Portanto, temos toda uma coleção de produtos que, em alguns casos, fazem coisas muito semelhantes a outros produtos com os quais você pode estar mais familiarizado, mas que também preservam a privacidade.
Uma das razões pelas quais estou animado para falar com você especificamente como diretor de tecnologia é a ideia de que há um conjunto de produtos que são familiares, mas a empresa que os administra se comportará melhor do que a outra empresa, é um padrão familiar neste setor.
Claro, é.
E a Proton promete que os produtos são, na verdade, arquitetados de maneira diferente.
Sim.
Desde o início, a forma como os produtos são construídos é realmente o que faz e mantém a promessa de proteger a privacidade, e não um CEO benevolente ou um conselho de administração benevolente. Chegaremos a isso. Há um pouco disso na mistura aqui.
Há um pouco disso também. Há algumas coisas sobre estrutura corporativa, mas sim, também considero que existem, na verdade, eu diria, duas estruturas primárias... ou talvez sistemas. Você poderia chamá-los de engenharia de sistemas em uma escala mais ampla, mas com restrições estruturais sobre como o Proton opera.
A primeira é que criptografamos todos os dados que pudermos. Então, se quiséssemos reverter e vender esses dados para alguém, não podemos. Matematicamente não é possível fazermos isso, certo? Isso também traz outros benefícios. Não podemos perdê-los facilmente para hackers ou outras partes interessadas, e há alguns dados aos quais podemos responder, por exemplo, para solicitações legais, mas há alguns dados que não podemos. E isso nos ajuda; basicamente, não podemos abrir mão de dados aos quais não temos acesso.
O segundo é o modelo de negócios. Quero dizer, existem outros players de SaaS, é claro, que fazem isso. Não acho que existam muitos players de SaaS baseados no consumidor B2C do nosso tamanho que façam isso, mas nosso modelo de receita é pago por nossos usuários, certo? Portanto, não vendemos anúncios. Os produtos não são incentivos para que as pessoas venham e nos forneçam seus dados para que possamos vendê-los aos anunciantes. E isso significa que esses usuários – aqueles que pagam nossas contas, pagam nossos salários – nos permitem expandir o negócio.
Se os traíssemos, isso prejudicaria essencialmente o valor do negócio. Vinculamos o valor do negócio e o crescimento do negócio à proteção de nossos usuários para que nossos interesses estejam alinhados. Isto também é muito importante porque as tentações são uma coisa. As pessoas respondem aos incentivos e organizamos estruturalmente a nossa empresa de modo que esses incentivos estejam alinhados com as pessoas a quem prometemos proteger.
Se eu resumisse de forma muito redutora o que você acabou de dizer, é que tiramos dinheiro dos consumidores e o que lhes vendemos são versões criptografadas de serviços populares dos quais eles dependem, como e-mail, VPN e um pacote de escritório.
Você acha que os consumidores entendem que o que estão comprando é a solução tecnológica ou estão comprando a promessa de privacidade? Ou é alguma mistura? Porque não tenho certeza se os consumidores realmente entendem em grande escala como tudo funciona, certo? Eles acham que seus iPhones os estão ouvindo. O que direi ao pessoal de produto e aos engenheiros nas reuniões sobre os novos recursos é que se você mencionou a palavra criptografia ao usuário, você já falhou. Quer dizer, as pessoas não entendem o que é isso. Isso é bom. Nosso objetivo é fabricar produtos que sejam tão utilizáveis e funcionais quanto nossos concorrentes, ou mais funcionais.
Quer dizer, não quero parecer totalmente derivativo. Temos recursos que ninguém mais possui e que geralmente são voltados para privacidade e funcionalidade para pessoas que precisam de comunicações confidenciais. However, in general, we’re selling the promise. Estamos vendendo a promessa de que somos um tipo diferente de empresa. Estamos vendendo a confiança – e essa confiança é fundamental. Sem confiança… É aí que está o real valor da empresa. Agora, essa confiança é respaldada pela tecnologia, certo? Mas estamos vendendo a confiança.
A razão pela qual estou insistindo nisso, e especificamente estou feliz que você tenha mencionado confiança, é que todos os grandes players de tecnologia farão o mesmo tipo de promessa sobre a privacidade de seus dados. O Facebook terá prazer em lhe dizer que eles não vendem nem um grama de seus dados. Na verdade, não é do interesse deles vender os dados porque a segmentação do anúncio depende de os dados serem deles e de mais ninguém. Podemos entrar nisso por dias e dias e dias.
Estou apenas curioso para saber onde você vê essa confiança sendo expressa ou onde você sente que essa confiança é mais comunicada pelo Proton. Porque se você me perguntar, como uma pessoa mais técnica, eu olho para a arquitetura de “está tudo criptografado” e provavelmente matematicamente, é impossível entrar nela. Claro, chegaremos à quantidade de metadados que podem ser compartilhados com as autoridades porque há algum debate sobre isso.
But that’s the piece that resonates for me as opposed to trusting you or a board of directors. Algumas outras pessoas apenas olham para as promessas e as aceitam pelo valor nominal. Depois, há um conjunto de reguladores que dizem: “Na verdade, temos vários outros interesses em poder ver os dados que ocorrem aqui e, na verdade, não confiamos em você para ser um bom participante no ecossistema”.
So when you think about trust, does it come down to “the data is encrypted, and that’s the core promise we’re making, and anything that breaks that also breaks the whole product”? Ou existe alguma outra dimensão de confiança que é importante na Proton à medida que você constrói os sistemas?
Portanto, a criptografia ponta a ponta é obviamente importante. É o padrão ouro e é por isso que nos esforçamos. No entanto, definitivamente existem características que nós... privacidade, pelo menos para mim pessoalmente, tem a ver com controle. Há momentos em que quero uma integração com um serviço externo ou algo parecido, e quero dizer, minhas escolhas são não integrar ou quebrar a criptografia ponta a ponta.
Nosso objetivo é fazer com que o usuário tenha uma escolha informada e controle sobre quem vê seus dados. So it’s not the same as never sharing your data or never sharing your photos with anybody. Mas a questão é que, em vez de compartilhar suas fotos com alguém como o Facebook, que pode monetizá-las, você está compartilhando suas fotos com a vovó e o vovô, e apenas com a vovó e o vovô.
Isso não quer dizer que a criptografia seja tudo, mas acho que já configuramos... Não sei se queremos entrar na estrutura corporativa agora. Mas configuramos a engenharia fundamental, que sustenta a confiança. Pessoas como você olham para a arquitetura e dizem: "Ok, isso está criptografado. Isso é importante para mim". E então você conta para outra pessoa, e para essa outra pessoa você diz: “Eu confio no Proton por causa disso, disso e disso”. A outra pessoa, tudo o que ela sabe é: “Ei, eu conheço Nilay, confio nele e ele diz que Proton é bom”.
Há todo um grupo muito, muito maior do que o grupo tecnológico. O grupo de técnicos é o nosso núcleo, é claro, e tem sido desde o início, mas há todo um grupo de pessoas que confiam no Proton por causa de outras pessoas que conhecem. E agora, quero dizer, podem ser apenas pessoas em quem eles confiam no Reddit, certo? Mas outras pessoas que eles conhecem dizem que o Proton está lá. E o que estou tentando dizer é que estabelecemos… Todos nós temos aprendido lições objetivas sobre regras, estatutos, leis, outras coisas que podem valer alguma coisa, mas, em última análise, valem alguma coisa quando valem… O pessoal realmente importa, certo? Quem os aplica realmente importa. Então temos a camada técnica, que visa restringir o que podemos fazer tecnicamente, e depois temos também a camada jurídica e de estrutura corporativa, que é a sua defesa em profundidade, basicamente. É uma defesa em profundidade. Todas essas coisas são garantias interligadas para nossos usuários de que somos confiáveis. Em última análise, essa é a coisa mais importante sobre o negócio.
Eu quero chegar à estrutura corporativa. Afinal, é um decodificador, mas basta mais uma vez no próprio conjunto do produto. Você começou com ProtonMail. Você tem o outro conjunto de produtos, incluindo agora um AI Assistant.
Você falou sobre o fato de que o modelo de negócios consiste em os consumidores pagarem diretamente pelos produtos. O ProtonMail ainda é o produto principal que ganha mais dinheiro? As outras linhas de negócios estão crescendo? Como isso parece?
Portanto, não divulgamos dados financeiros diretos. Mail e VPN são os dois produtos mais antigos e, como você pode esperar, ainda são os dois maiores produtos. Mas também temos muita gente que compra pacotes e compra vários produtos. Tentamos fazer com que os produtos funcionem bem juntos em um ecossistema. Alguns produtos são mais fortemente vinculados do que outros.
Os novos produtos, os mais recentes como o Calendar, estão fortemente ligados ao Mail, é claro, mas também temos o Drive e o Pass. Esses não são tão grandes quanto os produtos mais antigos. Eles têm menos vantagem inicial, por assim dizer, mas estão crescendo rapidamente. Então todos eles contribuem, mas sim, contribuem de forma diferente. Muitas vezes não vou dizer exatamente quantos anos eles têm, mas aqueles que tiveram a passarela maior costumam ser maiores, certo?
Um dos padrões do software de produtividade do consumidor é que os pacotes ficam maiores, os pacotes ficam maiores e então as empresas percebem que a classe de clientes que realmente pagará pelo aumento da produtividade é a empresa.
Sim.
Vemos isso repetidamente neste espaço. A noção fez isso, o Dropbox fez isso. Posso continuar indefinidamente sobre empresas que abordamos como empresas de software de consumo que eventualmente se transformaram em empresas empresariais. A Proton sente a mesma pressão, de que você terá que ter mais clientes corporativos, clientes corporativos, para crescer? Ou você ainda está focado no consumidor?
Esta é uma questão muito, muito interessante. Acho que definitivamente sentimos a pressão. Há... o que é isso? Não sei se é apócrifo ou não, mas a velha citação de John Dillinger como: "Por que eu roubo bancos? Bem, é onde está o dinheiro." Há um pouco disso em “Por que você se torna B2B?” Bem, é onde estão as pessoas que têm orçamentos e estão dispostas a pagar por isso.
Acho que definitivamente estamos considerando isso. Mesmo sendo uma empresa focada principalmente no consumidor, temos muitas pessoas em pequenas empresas, em particular, que utilizam os nossos produtos para fins comerciais. Você apenas usa o consumidor. E também fizemos incursões em ofertas de pequenas empresas e coisas assim.
Acho que isso é algo que o crescimento provavelmente exigirá. E penso que há muitas empresas para as quais as coisas que oferecemos – confidencialidade, coisas do tipo não sediadas nos EUA e de soberania europeia em particular, e apenas a nossa reputação – são muito apelativas para essas empresas. Dito isto, temos que encontrar um equilíbrio. E hoje nosso negócio é B2C. Não vamos descartar o negócio B2C. Também acho que ter o negócio B2C tão forte como é é uma força competitiva.
Quer dizer, como você disse, há vários que fizeram a transição do B2C para o B2B. Mas, ao mesmo tempo, acho que há muito mais players B2B que começam no B2B e permanecem lá. E uma das coisas que estamos analisando… A comunicação entre as empresas e seus clientes é certamente importante, e a confidencialidade é importante nesse aspecto. Você vê coisas como as incursões do WhatsApp em fazer com que as empresas se conectem aos consumidores que possuem o WhatsApp. Acho que quando chegar a hora de realmente avançar para o B2B, a base de usuários e o conjunto de produtos B2C serão um benefício para nós.
Uma das tensões à medida que a IA se infiltra em cada vez mais empresas é que as empresas do modelo de fronteira querem cada grama de dados. Acho que muitas grandes empresas estão muito receosas em fornecer um monte de dados para empresas modelo de fronteira. A IA funciona melhor quando eles têm muitos dados e, portanto, há uma grande escolha sobre quanto do seu negócio você exporá ao Claude. Quanto de você você exporá a Claude para obter o máximo valor desses modelos?
A Proton está bem no meio disso, com uma arquitetura técnica que você diz que daria opções, mas também parece que o jogo para muitas dessas empresas é simplesmente entregar tudo e dizer: “Vá administrar meu negócio, IA”. Como você vê isso trabalhando com seus clientes corporativos hoje?
Sim. Quero dizer, é uma decisão difícil. Está entregando todos os seus dados confidenciais. E eles sentem que, em muitos casos, não têm escolha. De certa forma, é por isso que desenvolvemos o Lumo, nossa oferta de IA, que acho que pode ter ficado de fora da lista antes, infelizmente. Acho que acabamos de lançar o Lumo 2.0, que é uma grande reformulação dos modelos que usamos. E parte disso é… O objetivo do projeto Lumo em geral é ter algo que se integre com o resto dos nossos produtos e possa fazer isso de forma segura.
Isto é para resolver este tipo de trade-off entre se eu forneço a empresas de IA aleatórias - possivelmente em países diferentes, possivelmente com problemas de conformidade, todas essas outras coisas - devo fornecer-lhes todos os meus dados comerciais confidenciais, ou posso fazê-lo de uma forma ainda mais protegida? Agora, em muitos aspectos, ainda há compromissos a serem feitos da nossa parte, mas os mantemos internamente na Proton com as garantias que damos. Essa deveria ser uma opção mais atraente para esse tipo de carga de trabalho, e é isso que esperamos ao desenvolvermos o Lumo.
Acho que isso nos leva às questões do Decodificador sobre estrutura e organização, porque é onde parece que a estrutura deve estar, onde reside a confiança, não necessariamente a arquitetura técnica. Então, como o Proton está estruturado hoje? Quantas pessoas existem?
Então, o Proton hoje tem aproximadamente 650 pessoas no total. Isso inclui engenharia, funções de suporte, marketing, etc. Também inclui suporte ao cliente, que fazemos internamente. Sempre fizemos isso. Somos uma empresa chamada Proton AG, uma empresa suíça.
No entanto, o controle acionário da Proton AG é detido pela Proton Foundation, que foi semeada com ações de Andy, nosso CEO, e de outros primeiros funcionários. Existem outros companheiros de viagem com estruturas, eu diria, um tanto semelhantes. Signal e Mozilla, e nossos motivos são os mesmos.
O controle acionário da Proton Foundation na empresa Proton significa que ela tem poderes para proteger a missão. É uma fundação suíça. Não sou advogado, mas me disseram que é muito difícil mudar. Sua função é a guardiã dos valores e da missão da Proton. Portanto, se a Proton, a empresa, se desviasse dessa missão, a Fundação Proton teria o poder de corrigir o rumo, se isso fizer sentido.
Isso já aconteceu?
Não. Até agora, não. Temos nosso fundador e CEO, Andy Yen. Andy fundou a empresa e, enquanto estiver no comando, não creio que isso seja necessário. Mas se ele for atropelado pelo ônibus, existe uma estrutura corporativa projetada para proteger a missão daqui para frente e para garantir que a empresa não se desvie de qualquer maneira.
Também devido a este modelo de propriedade, a empresa está protegida de, digamos, algum tipo de aquisição ou compra que também poderia redireccionar as suas prioridades. Acho que esse fator, a tecnologia e o modelo de negócios são basicamente proteções interligadas contra a traição do pacto que temos com nossos usuários. Uma das coisas que me impressiona à medida que converso com cada vez mais empresas que fizeram a transição para este tipo de modelo de fundação é que essa estrutura existe essencialmente para isolá-los das exigências vorazes do capitalismo. Você não está sendo pressionado a ganhar tanto dinheiro quanto possível a cada trimestre para fazer as coisas que o levariam a ganhar mais dinheiro, e isso significa que talvez a tecnologia possa se desenvolver em um estado puro e idealista de proteção da privacidade em vez de perseguir o dinheiro.
Você sente esse isolamento? Quero dizer, você tem que ganhar dinheiro e pagar seus funcionários e crescer de alguma forma, mas qual é a dinâmica para você arquitetar os produtos?
Portanto, a resposta curta é não, e a razão para isso é que parte da nossa missão é que temos de competir no capitalismo. Nosso principal concorrente é a Big Tech. Embora sejamos muito menores que a Big Tech, de onde vêm nossos usuários quando convertemos pessoas, quando conquistamos novos clientes, eles vêm da Big Tech em geral.
Temos que jogar o mesmo jogo. Isso pode parecer um pouco cafona, mas nosso lema corporativo é “Privacidade por padrão”. Essa parte “padrão” faz muito trabalho pesado. Mencionei antes que nosso objetivo é projetar produtos que sejam fáceis de usar e seguros. Existem muitas ferramentas seguras e ninguém – exceto alguns especialistas – as utiliza. E tudo bem. Não estou criticando a existência dessas ferramentas, mas nosso objetivo é criar ferramentas que todos possam usar sem entender a criptografia, mesmo sem saber que é a criptografia que podem usar, e que sejam tão fáceis de usar e tão cheias de recursos quanto nossos concorrentes não criptografados e essencialmente de mineração de dados. É uma tarefa difícil.
Não estou dizendo que já chegamos 100%, mas esse é o objetivo. Mas a palavra padrão em “privacidade por padrão” significa crescimento. Significa que temos de estar numa escala onde possamos oferecer uma alternativa real à Big Tech. E pequenas startups, pequenas escalas, sendo 100 ou 10 vezes menores que as Big Tech, não vão dar certo. Para isso, precisamos crescer.
Portanto, o crescimento é na verdade parte da missão, por assim dizer. Isso significa que temos de ser… a palavra não é voraz, mas temos de ser o mais famintos, eficientes e preocupados com o crescimento possível, porque isso faz parte da missão de crescer o suficiente para realmente desafiar o paradigma atual. Quero dizer, podemos falar sobre todos os tipos de maneiras pelas quais o capitalismo está quebrado neste momento, mas temos que jogar o jogo.
Sim. Tudo bem. Vou fazer uma comparação que você vai odiar. Só estou avisando você. Eu sei que você vai odiar isso.
OK.
Talvez a ideia mais famosa “vamos construir uma base para nos proteger das demandas do mercado e garantir que a coisa esteja saudável” seja da OpenAI, que basicamente matou aquela estrutura para perseguir um IPO, certo?
Talvez eles ainda tenham ideias realmente importantes e idealistas sobre como a AGI deveria ser desenvolvida. Talvez algumas pessoas naquela empresa realmente se sintam assim e simplesmente não funcionou, certo? Eles precisavam perseguir o crescimento de maneiras muito específicas, por qualquer motivo que considerassem. Talvez fosse dinheiro, talvez fosse apenas para assumir a Pesquisa Google da maneira que a OpenAI queria; eles tiveram que mudar a estrutura da empresa.
Isso obviamente aconteceu. É como um dos momentos de fundação mais apocalípticos que já aconteceu. Essa coisa simplesmente explodiu ou implodiu sobre si mesma. Quando você olha para isso e depois pensa: "Tudo bem, temos que crescer. Para sermos o padrão, temos que crescer para sermos grandes, mas estamos fazendo essa promessa que o Google não precisa fazer, ou a Microsoft não precisa fazer", onde está a tensão nisso? Como isso se expressa quando você projeta a arquitetura dos produtos, o que pode impedir algumas oportunidades?
O que também poderia ser o nosso lema corporativo – não é, mas poderia ser – é crescer ou voltar para casa. Certamente não estabelecemos metas modestas nesse sentido. Mas acho que há algumas coisas que o tornam diferente. Mencionei antes muitas restrições, mas uma coisa que não mencionei é que não temos investidores de capital de risco. Não temos investidores de private equity. Não estamos queimando o dinheiro de outras pessoas com VCs respirando em nossos pescoços que devemos sair logo, caso contrário iremos à falência.
Construímos um negócio sustentável. Reinvestimos os lucros desse negócio de volta no negócio. E isso nos isola de parte da pressão, que tenho certeza que a OpenAI sentiu, visto que eles colocavam fogo em enormes pilhas de dinheiro o tempo todo, certo? Mas dito isto, pessoal é política. Acho que certamente sempre existe esse risco. Ao mesmo tempo, descobrimos recentemente que às vezes as regras, normas ou diretrizes não são escritas. Não escritos ou não, não valem o papel em que estão escritos.
Mas é aí também que entra a arquitetura. Fazemos escolhas em relação à tecnologia e, obviamente, estou no lado tecnológico deste negócio, mas fizemos escolhas, e algumas delas são por razões competitivas de negócios, certo? Queremos vender produtos onde dizemos: “Não podemos acessar seus dados. Não temos acesso aos dados. Não podemos perdê-los. Não podemos vendê-los. Não podemos fazer isso”.
Mas isso também nos impede de decidir um dia entregá-lo e vendê-lo, porque o trancamos em uma caixa e não podemos acessá-lo e, portanto, não podemos nos virar e dizer: "Quer saber? Desculpe, pessoal, mudamos de idéia. Na verdade, vamos explorar todos esses dados e ir embora." Agora, alguma coisa é perfeita? Não. Mas quero dizer, a estrutura é projetada de tal forma que temos esses controles interligados, como eu disse.
Acho que a outra coisa é que mesmo que, digamos... A Fundação Proton esteja impedida de vender a Proton AG, pelo que eu saiba, mas mesmo que, por algum motivo, algo aconteça, o valor da Proton está na reputação. E nós dissemos isso, e foi uma escolha deliberada. O valor do Proton está na confiança que temos. Se o Google nos comprasse, não teria valor porque o Google não tem credibilidade para administrar o Proton. Você entende o que quero dizer?
Esse é apenas o padrão do Google comprar qualquer coisa. Eu só quero ser muito claro sobre isso.
[Risos] Não, eles desligaram e depois acabou, certo?
O relógio começaria a contar naquele dia.
Sim. Eu sei. Já aconteceu antes, vai acontecer de novo, tenho certeza. Mas a estrutura da Proton Foundation foi concebida para dizer que “Não, a empresa não pode ser vendida a um comprador”.
Essa é a macroestrutura. Conte-me apenas sobre a estrutura mais tática dentro da empresa que está construindo um produto. Como o próprio Proton está estruturado? Existe uma equipe que faz o assistente do Lumo? Existe uma equipe que faz e-mail? São divisões? É funcional? Como isso funciona?
Então temos uma estrutura de divisão, uma estrutura de unidade de negócios. Temos determinados produtos agrupados, como correio e calendário, portanto, agrupados na mesma divisão. Os outros são separados. Então temos Lumo, temos Drive, temos Pass e temos VPN. Estas são divisões separadas. Você faz escolhas sobre a estrutura corporativa com base na comunicação que deseja que seja mais fácil. Isso foi projetado para permitir que as pessoas se movam rapidamente, tenham autonomia e tomem decisões dentro de seus produtos.
Também temos equipes interorganizacionais, equipes de suporte e coisas assim. E nesse lado, a desvantagem da estrutura da unidade de negócios é que às vezes temos que trabalhar mais. É um pouco como encurralar gatos, certo? Onde você tem que ter certeza de que: "Ok, estou construindo esse recurso que abrange todos os produtos. Preciso ter certeza de que todos os produtos estão a bordo e estão planejados para que possamos enviá-los corretamente."
Então você toma decisões sobre isso. Tomamos uma decisão deliberada de priorizar a comunicação no produto. E então tentamos compensar as deficiências disso em nossa comunicação entre produtos. Então, à medida que transitamos para coisas cada vez mais baseadas no ecossistema, poderemos fazer escolhas diferentes sobre a estrutura corporativa para apoiar isso. Toda aquela coisa da lei de Conway. Você envia seu organograma, mas às vezes deseja o melhor dos dois mundos, e é aí que surge o processo. Nem sempre é atraente, mas você acha que é muito importante ao dimensionar organizações, com certeza.
Você pode ser o primeiro convidado do Decoder a fazer a conexão direta entre o fato de eu perguntar a todos como sua empresa está estruturada e você enviar seu organograma, por isso sempre pergunto, porque é a verdade fundamental.
Você faz, e nós lutamos com isso até certo ponto. Tentamos compensar isso. Mas sim, você envia seu organograma. E, portanto, se você deseja que seus produtos tenham uma aparência diferente, você deve ajustar seu organograma para suportar essa diferença, certo? Quero dizer, em última análise.
A outra pergunta do Decoder que faço a todos é sobre decisões. Você tem muitas decisões a tomar. Você está tentando construir um novo tipo de arquitetura de produto contra muitas das mesmas restrições de seus concorrentes. Como você toma decisões? Qual é a sua estrutura?
Como tomo decisões? Somos uma empresa liderada por fundadores. Andy iniciou o Proton. Eu era, eu acho, o funcionário seis, quero dizer. Essa é uma história engraçada por si só. Você sabe como conheci Andy?
Como é isso?
Ele foi meu aluno de graduação no CERN. Eu fiz pós-doutorado em Harvard e ele foi meu aluno de pós-graduação. E então ele vem e me encontra no Vale do Silício, depois que saí da física, e diz: "Ei, você quer se juntar à minha startup? Você pode ser CTO". Enfim, e aqui estamos, 11 anos depois.
Mas ele ainda está fortemente envolvido. Ele tem muitas contribuições sobre estratégia de direção de produto e é um visionário. Acho que ele é responsável por grande parte do sucesso do Proton. Ele está disposto a correr riscos, esse tipo de coisa. Obviamente acredito na liderança dele, ou não estaria aqui depois de 11 anos. Dito isto, acho que uma coisa que às vezes acontece com os visionários é que eles precisam se cercar de pessoas que os desafiarão quando eles ultrapassarem um pouco os esquis, ou também para garantir que tenhamos ideias de outros lugares.
Uma coisa que realmente tentamos garantir é que as ideias sejam julgadas pelos seus méritos e não necessariamente pela sua origem. E então temos uma equipe de liderança sênior cujo trabalho é, sim, executar, mas também trazer novas ideias e vendê-las e coisas assim. Não vou dizer que somos perfeitos nisso porque ninguém é e temos muitas coisas que podemos melhorar, mas tentamos empurrar a tomada de decisões para baixo na organização. O objetivo de uma organização é que você tenha uma maneira de alinhar muitas pessoas diferentes na mesma direção.
O truque é sempre: como você consegue o alinhamento na mesma direção geral e ainda tem autonomia para não microgerenciar tudo? E não estou dizendo que sempre conseguimos o equilíbrio certo, mas esse é o objetivo aqui. Quando fazemos esse tipo de orientação quando contratamos novas pessoas para a Proton, uma das coisas que sempre dizemos é: quero ouvir… Você ainda não está acostumado com o nosso jeito de fazer as coisas. Então, quero que você observe nossa maneira de fazer as coisas, e se você já experimentou outro empregador ou acha que isso é loucura ou ineficiente, quero que você nos conte. E somos muito claros, sim, claro que temos uma hierarquia, e parte disso é o nosso tamanho, mas muito raramente temos mais do que, digamos, três ou quatro níveis de gestão.
Sempre dizemos: “Olha, se você precisar enviar um ping para mim, você precisa enviar um ping para o CEO, você precisa falar diretamente com as pessoas, basta fazê-lo”. É outra coisa e, novamente, estou falando por mim mesmo, mas acho que isso é comum em todo o Proton: eu digo às pessoas: “Não sou promissor ou obrigado a concordar com você, mas você nunca vai se arrepender de me dizer o que pensa”, basicamente.
Então tentamos fazer isso. E dou crédito a Andy por isso, mas temos muito pouca política interna. Talvez seja apenas porque ainda não somos muito grandes, mas temos tolerância zero com feudos ou políticas internas, e isso também facilita as coisas. Há uma sensação de que estamos todos apontando na mesma direção e que não é a minha divisão que estou tentando fazer crescer, é a Proton em geral.
Acho que parte disso vem do fato de ser uma empresa voltada para uma missão. Não sei se você já teve essa experiência, mas para quem ainda não teve, eu tive as duas. Eu era físico como parte da colaboração do CERN há muito tempo, e aí está a natureza fundamental do universo. Considero isso uma ocupação voltada para a missão.
Depois disso, também tive uma passagem pelo Vale do Silício, que teve problemas técnicos divertidos e interessantes, mas senti falta disso. E com o Proton, a missão é mesmo… Temos que ter cuidado para que ele não encobre problemas organizacionais que realmente deveríamos resolver, digamos assim. Mas realmente torna o trabalho mais fácil quando todos estão alinhados nesse aspecto.
Deixe-me fazer uma pergunta sobre isso, e depois quero abordar as pressões que o Proton sente e como você coloca toda essa estrutura em prática para resistir a essas pressões. No início da minha carreira, eu não tinha ideia de como gerenciar ninguém. Procurei um monte de gente e fiz um monte de perguntas. Um dos mentores mais inteligentes de tudo isso sentou-se comigo e me disse muito seriamente: "Olha, você não contrata pessoas para que gostem de você. Você contrata pessoas para mudar sua organização".
Levei isso a sério e, talvez depois de 15 anos, penso: "Isso é na verdade um pêndulo. Você precisa que as pessoas acreditem no que você está fazendo. Caso contrário, cada nova pessoa que você contratar irá perturbar radicalmente o que todos os outros estão fazendo, porque eles talvez tenham poder demais e não estejam realmente na mesma página".
Proton tem uma missão, certo? Você a está descrevendo como uma empresa voltada para uma missão. Como você consegue o equilíbrio entre querer contratar novas pessoas e obter uma perspectiva externa sobre o que você está fazendo de errado e, então, não ser totalmente desviado do caminho? Porque parece muito importante dentro de uma empresa como a Proton.
Quer dizer, a cultura é extremamente importante. É extremamente importante. Isso também vem de cima. Andy, se você perguntar a ele qual é a coisa mais importante em qualquer negócio, é muito provável que ele diga cultura. Como resultado, tentamos ter muito cuidado com quem contratamos. Contratamos de forma relativamente lenta. Eu gostaria que pudéssemos contratar mais rápido.
Acho que contratar é uma das coisas em que poderíamos ser melhores, mas não fazemos essas contratações massivas, demissões massivas, coisas assim porque… E não contratamos tão rápido a ponto de diluirmos a cultura. Queremos integrar as pessoas na cultura Proton, não necessariamente… E sim, às vezes temos que mudar, às vezes temos que evoluir, mas queremos que isso seja feito de forma deliberada.
Também tive talvez uma evolução semelhante como gestor. Estive lá em todas as fases de crescimento do Proton. Logo no início, escrevi muito código e depois fui efetivamente um líder de equipe. Então eu era um gerente de gerentes. Em algum momento, eu estava comandando toda a engenharia da Proton. Depois, entreguei algumas coisas de gerenciamento, mas mantive a direção técnica do CTO.
Nesse curso com certeza cometi muitos erros também, certo? No início, tive que me ensinar a não fazer com que outras pessoas gostassem de mim, a não, talvez não, microgerenciar, mas a não apenas dizer às pessoas o que fazer e fazer com que executassem. E então passei por uma fase posterior em que percebi que, ok, as pessoas precisam aprender, as pessoas precisam cometer seus próprios erros. Quero importar pessoas com expertise; Eu não sou infalível. Vamos fazer isso. Isso provavelmente foi muito permissivo. Tivemos alguns... nada catastrófico, mas tivemos alguns erros caros sobre os quais tive um mau pressentimento, mas deixei passar mesmo assim. Porque eu estava tentando fazer isso.
Isso é o pior.
Então acho que moderação não costuma ser a coisa mais sexy de se vender, mas é. É um equilíbrio. Você não quer impor como as coisas são feitas, mas também quer ter certeza de que está presente para impedir que as pessoas tomem decisões verdadeiramente catastróficas ou caras. Você pode ver a parede de tijolos à distância e quer ter certeza de que isso não aconteça. Sim, não é a resposta mais dramática, mas muito disso é encontrar o equilíbrio certo, moderação.
A razão pela qual passei tanto tempo no lado técnico e da estrutura corporativa, bem como na cultura, é que a Proton enfrenta muita pressão. E tudo isso, como você descreveu, foi projetado para resistir a essa pressão e para construir produtos que não possam ser quebrados por essa pressão de diferentes maneiras. Vamos começar, não sei, com os governos do mundo, que colocaram muita pressão sobre o Proton e encontraram muitas e muitas maneiras de superar os tipos de controles que você implementa para proteger os dados dos usuários.
Então, vamos começar com o mais chamativo. Em março, um relatório da 404Media descobriu que a Proton entregou os dados de pagamento de uma conta chamada Stop Cop City, localizada nos Estados Unidos. Eles entregaram esses dados às autoridades suíças, que depois os entregaram ao FBI, o que levou à sua identificação. E isso são metadados; I don’t think it’s actually the data, the contents of the emails.
O argumento de Proton é: "Olha, na verdade nunca demos nada ao FBI. Apenas cumprimos um pedido legal do governo suíço". Vamos começar pelo básico. O que o governo suíço está legalmente autorizado a solicitar de você? E será que o facto de poderem servir apenas como representantes do governo dos Estados Unidos prejudica alguma desta confiança ou coloca qualquer novo tipo de pressão sobre as suas estruturas?
Portanto, qualquer empresa em qualquer lugar terá jurisdição e estará sujeita à jurisdição. Nenhuma empresa ou indivíduo está acima da lei. E nenhuma empresa irá para a cadeia por sua causa. Dito isto, você pode organizar estruturas de forma que haja salvaguardas aqui. E a nossa salvaguarda, por exemplo, é o facto de sermos uma empresa suíça. E, na verdade, já nos perguntaram repetidamente: “Ei, você pode simplesmente responder a solicitações de agências governamentais amigas?”
Dissemos repetidamente não porque não pode ser nossa função decidir o que é legítimo e o que não é. Isso não é algo que possamos assumir. Então, o que fazemos é projetar nossos produtos para, dentro de restrições, criar um produto que as pessoas queiram e possam usar e faça o trabalho, mas projetamos nossos produtos para serem o mais privados possível.
Estamos sujeitos à jurisdição suíça. Mutual Legal Assistance Treaty requests, MLAT requests, come in from governments. As autoridades suíças decidem o que é legítimo e o que não é. Não temos interesse nisso. E aí eles dão uma ordem, nós cumprimos essas ordens, e é assim que tem que ser. Escolhemos deliberadamente a nossa jurisdição de uma forma que os suíços são notoriamente neutros. Todo governo é composto por humanos, mas eles têm a reputação de serem pessoas razoáveis, e esse sistema tem funcionado muito bem.
Em geral, há países que são menos confiáveis do que outros, e esses pedidos… Não temos muita visibilidade sobre a origem dos pedidos, mas os pedidos que temos com boa autoridade geralmente não são atendidos. Embora as opiniões das pessoas possam variar hoje em dia, solicita o FBI, elas tendem a receber uma certa presunção de legitimidade, mas ainda são avaliadas pelas autoridades suíças. E então o que fazemos é obedecer. Não temos critério aqui. E este seria o caso para qualquer coisa, mas organizamos o sistema de tal forma que pensamos que é um dos mais seguros que podem ser construídos e permanecer legais.
So let me just ask you about that, because you are a systems person; você está descrevendo um sistema.
Sim.
O ponto de falha desse sistema, como você me descreve, é que o governo suíço vai tomar uma série de decisões sobre o que você deve cumprir. O governo dos Estados Unidos, neste caso especificamente, penso eu, percebeu que se disserem apenas que tudo é terrorismo, as comportas abrem-se nos mecanismos de partilha de dados.
Portanto, neste caso, esta é uma conta chamada “Stop Cop City. "Eles disseram que isto é terrorismo. Aqui nos Estados Unidos, se as alegações do governo de que tudo é terrorismo são legítimas ou não, penso eu, está aberto ao debate.
Claro.
But it feels like they found what you would describe as an attack vector on the Swiss government’s mechanisms, where if you say these magic words, the Swiss government will come to you and start asking for metadata. Isso parece apropriado? Isso parece viável?
Acho que muitas dessas coisas, em algum momento, dependerão das pessoas. Fizemos o melhor que pudemos e não creio… As pessoas terão opiniões diferentes sobre quais pedidos são legítimos ou não, mas fizemos o melhor que pudemos ao dizer que: “Ok, as autoridades suíças decidirão e depois cumpriremos tudo o que disserem, porque somos uma jurisdição suíça”.
Entretanto, nós fazemos e podemos providenciar – e, claro, existem leis que regem isto – mas fazemos tudo o que podemos para minimizar a quantidade de dados que podemos fornecer. Quero dizer, com os dados de pagamento, podemos criptografá-los. Usamos processadores de pagamento. Eles podem obtê-lo de muitas fontes diferentes. Então, se você tem um cartão de crédito anexado e recebe uma solicitação legal, não há muito que possamos fazer, certo?
Você mencionou sistemas… porque acho que isso é importante. O que é importante para mim, e eu percebo isso... Não quero que isso pareça insensível para um hipotético caso específico de abuso que talvez não tenha acontecido... Erros podem ser cometidos, é claro. Mas eu quero um sistema como o que temos, que consiste em que se o governo tiver algum tipo de causa razoável e puder convencer as pessoas num processo definido a fornecer dados, então sim, os dados provavelmente deveriam ser fornecidos. O que realmente me preocupa é que muitas vezes vivemos num mundo onde basicamente o governo pode perguntar: “Dê-me todos os seus dados e irei procurar problemas. Vou procurar um crime.
A palavra escuta vem de uma época em que eles tinham que literalmente ir até sua casa e grampear o fio. Não creio que isso tenha sido realmente pensado na época, mas isso – o próprio ato físico de ter que fazer isso – tinha uma barreira para o fato de que não era possível vigiar todo mundo ao mesmo tempo. Era simplesmente logisticamente impossível. We live in a world today where you can surveil everybody, so we want to build services and systems where this is impossible, right? Onde o padrão deveria ser privacidade, como eu disse, privacidade por padrão.
Sim, também respondemos a solicitações legítimas de aplicação da lei, independentemente da sua definição de legítima. E essa questão legítima será sempre uma questão de processo, na qual somos, evidentemente, apenas um interveniente neste processo. Mas eu acho que é isso-
Bem, há legitimidade e há uma dinâmica de mercado aqui. Portanto, o governo suíço exerceu muita pressão sobre a Proton nos últimos anos. Eles querem que você basicamente tenha uma VPN não criptografada e seja capaz de descriptografar os dados do usuário que viajam pela VPN. Acredito que a Proton ameaçou deixar a Suíça por causa disso, e então você anunciou que iria construir uma infra-estrutura mais distribuída e colocar parte dessa infra-estrutura na Alemanha e na Noruega.
Iremos para o Controle de bate-papo. Ontem, penso que a UE aprovou uma versão desta lei, e a resposta da Proton foi: “Vamos simplesmente deixar a UE. Vamos nos retirar desta jurisdição legal.” Quero falar sobre isso em detalhes, mas apenas no contexto mais amplo do qual você está falando agora, você está escolhendo, certo? Você está escolhendo uma base e muitas vezes a resposta é: “Bem, se você mudar a base legal aqui, iremos embora”.
Sim.
Quão real é isso?
É muito sério. With all due respect to Swiss authorities and everybody else, I think it would be absolutely suicidal to continue down this path. Quero dizer, parte da marca suíça é a privacidade. Tem sido assim há 80 anos, e eles têm um bom, em grande parte através do Proton, mas também têm um bom argumento para trazer essa reputação e essas vantagens económicas – porque há muitos negócios, muito comércio, que exigem confidencialidade – para o século XXI, para a era digital. E jogá-lo fora é, eu acho, míope, para dizer o mínimo. Mas não, é uma ameaça séria. O problema dos serviços digitais é que eles podem ser movidos. Há muita flexibilidade nisso.
Quer dizer, acho que se nos tornarmos verdadeiramente distópicos, pode haver um mundo onde não há para onde ir, mas no momento há opções. Certamente também é… É uma ameaça. Quero dizer, é uma ameaça real. Esperamos não ter que fazer isso. Esperamos que os poderes constituídos respondam a isso e mudem de rumo, mas sim.
Isso é um custo, certo? Estou curioso sobre isso-
É um custo. Bem, é um custo. Teremos que fazer isso, mas talvez não seja tão caro quanto você imagina. Já temos funcionários em diversos países. Temos escritórios satélites e temos outras coisas. Temos data centers na Alemanha. Temos data centers na Noruega. Não quero ser muito blasé, mas poderíamos fazer uma inversão corporativa para outro lugar e depois dizer: “Tudo bem, todas as solicitações legais têm que passar por aqui”. E todos os dados estão
Como isso combina com “você não pode vender”? A parte em que você pensa: "É uma fundação suíça. É muito difícil de vender". Você quer sair da Suíça e reincorporar-se na Alemanha. O governo suíço vai impedi-lo?
Vou ter que adiar isso porque não sou advogado. Não tenho ideia, mas tenho certeza que é possível.
Estou apenas curioso porque parece que, pelo menos até o momento desta conversa, a OTAN ainda existe. A Alemanha e a Noruega ainda estão na UE. Existe a lei suíça, existe a lei alemã e existe a legislação da UE. E a legislação da UE também está a tornar-se cada vez mais intensa sobre o que podem e o que não podem digitalizar.
Mencionei o controle de bate-papo anteriormente. Essa é a lei da UE que exigiria que os prestadores de serviços verificassem o conteúdo das mensagens em busca de material CSAM e de outros tipos de material infrator. Isso é um grande problema. Penso que Proton disse: "Simplesmente deixaremos a UE se nos obrigarem a fazer isto. Isto vai quebrar a promessa central".
Sim.
Se você se mudar para a Alemanha e a Noruega, e então a UE aprovar a versão mais severa do Controle de Chat, você está preparado para sair?
Sim.
Quão pronto você está? Você pode puxar o interruptor amanhã? Para onde você iria?
Não sei, teria que consultar outras pessoas para isso. Não estou muito envolvido nisso, mas é uma ameaça real. Eu sei que é uma ameaça real. Sei que fizemos alguns preparativos sobre onde poderíamos chegar se tanto a UE como a Suíça se tornassem inóspitas a isto.
Existem coisas separadas. Existem os desafios práticos que todos nós sabemos que essas coisas estão acontecendo. Há uma onda, seja na verificação de idade, na quebra de criptografia ou coisas assim, que parece estar em voga no momento, e é algo contra o qual estamos lutando na frente política. Na minha opinião, é muito equivocado. Esperançosamente, em algum momento, a febre diminuirá. Você não pode marcar um backdoor com a bandeira americana e dizer que apenas pessoas boas podem usá-lo. Não funciona assim, nem uma bandeira da UE, nem nada parecido.
Talvez isso volte um pouco atrás. Então há a parte prática. O que faremos se isso acontecer? O que faremos se isso acontecer? No final das contas, os governos detêm muito poder sobre as políticas e você tem que descobrir como pode cumpri-las ou, se não conseguir, você sai ou faz outra coisa. Mas há muitos países no mundo e penso que, em última análise, faremos o que for necessário.
A outra parte - apenas para, eu acho, usar um pouco sua plataforma para defender o caso - é que o controle de bate-papo, a verificação de idade, todas essas coisas, são uma péssima ideia. Não quero dizer… Existem ameaças reais às crianças online, e não é que não devamos levá-las a sério, mas existem formas de o fazer. Já falamos sobre pensamento sistêmico e design de sistemas. Existem maneiras de fazer isso que equilibram as preocupações apropriadas, que podem bloquear o material maduro atrás de barreiras etárias que não revelam quem você é.
Depois de construir um sistema que essencialmente abole o anonimato online, quanto tempo antes desse sistema... quero dizer, é a arma de Chekhov. Quanto tempo até que alguém apareça para usá-lo? Se for construído, alguém acabará por usá-lo para fins para os quais não foi projetado.
Quanto tempo até a China dizer: “Ei, identifique para mim todos os dissidentes que estão usando isso”? Porque eles têm que usar o ID para tudo na internet. Portanto, queremos construir sistemas, sistemas de internet, que não possam ser comandados desta forma. É assim que construímos o Proton, mas acho que esse princípio se aplica à Internet em geral.
Este é um tipo de experimento mental, certo? Provavelmente vou destruir isto, mas houve uma estatística maluca de que uma enorme fracção de alemães orientais foram efectivamente empregados como informantes pela Stasi sobre outros alemães orientais no auge da Guerra Fria. E a Cortina de Ferro, claro, caiu pouco antes do alvorecer da era digital, em alguns aspectos, da era da Internet.
Penso que se poderia argumentar – e penso que se pode olhar para contra-exemplos como o da China – que se alguns dos regimes autoritários do Bloco de Leste conseguissem entrar na era digital, talvez tivessem tido controlo suficiente sobre a informação para não caírem mais, porque é muito mais fácil fazer isto. Portanto, o facto de o Facebook e o Google, possivelmente com os seus ecossistemas de publicidade, terem construído os mais sofisticados - ok, o da China talvez seja - mas alguns dos sistemas de vigilância mais sofisticados alguma vez construídos, mas fazemos a coisa mais americana de sempre com eles, que é usá-los para lhe vender porcarias de que não precisa.
Mas isso não significa que seja a única utilidade para eles, e o facto de estarem sobre a lareira como a arma de Chekhov, à espera que alguém os pegue e faça algo verdadeiramente horrível com eles, é uma ameaça à sociedade livre. Todas essas outras coisas com controle de bate-papo e verificação de idade são a mesma coisa. Está dizendo: "Nós sofremos esse dano. Vamos construir um sistema para prevenir esse dano que possa então ser usado para propósitos realmente nefastos". Precisamos ter certeza de que não projetamos sistemas que ameacem a existência de uma sociedade livre. Desculpe, esse foi meu discurso de palanque, mas é algo que me preocupa profundamente.
A razão pela qual perguntei tanto sobre a estrutura da empresa e sua cultura e como os sistemas são construídos é que o idealismo é frequentemente expresso no Vale do Silício. Já ouvi isso de todas as grandes empresas que você descreveu. Ouço isso de grandes empresas hoje, e então os compromissos surgem.
E às vezes os compromissos são: "Bem, estamos domiciliados nos Estados Unidos. Teremos apenas que ouvir. Não há nada que possamos fazer. Você pode consultar nossa página canário de mandado para ver quantas solicitações legais estamos recebendo, e essa será a resposta".
Às vezes, os compromissos são: "Olha, temos que crescer. Temos que crescer, e é isso." E por vezes os compromissos são “não há forma de construir o sistema que proteja as pessoas da forma que queremos e cumpra os regimes legais”. Acho que a criptografia está no cerne dessa tensão.
Vou dar o exemplo da Apple porque acho que todo mundo conhece a Apple. A Apple resiste rotineiramente a esses apelos por um backdoor. [A empresa] é grande o suficiente para fazer isso da maneira que pode, e então o iPhone recebe zero day-ed de qualquer maneira. Não importa. Esse ciclo se repete de uma maneira que se repete. Mas se você conversar com o pessoal da Apple, eles dirão: "Olha, os reguladores vêm até nós e dizem: 'Sejam espertos. Basta fazer algumas coisas inteligentes, caras espertos, e encontrar uma maneira de criar um backdoor que preserve a privacidade.'" E a resposta da Apple é: "Você não pode".
É impossível.
Não podemos ser nerds o suficiente para resolver esse problema para você. Penso que há alguma ignorância intencional por parte dos reguladores; Acho que os reguladores sabem disso. E penso que há um grande número de ativistas que querem proteger as crianças. Talvez eles entendam, talvez não entendam, mas o que eles certamente entendem em um nível visceral é que as crianças estão sendo prejudicadas, certo?
Todos os outros sistemas que todos afirmam que podem melhorar os problemas ou mitigar o risco de encriptação não existem de facto, de modo que as crianças não estão a ser prejudicadas ao ritmo que estão a ser prejudicadas hoje. Você senta no meio disso. Os governos do mundo vêm até você. Eles pediram backdoors. Eles solicitaram uma verificação de mensagens de bate-papo do lado do cliente para detectar CSAM. What’s your response to just be smart? Apenas nerd mais e descobrir?
Quero dizer, é impossível criar um backdoor que só possa ser usado pelos mocinhos. E as consequências do uso de backdoors pelos bandidos são basicamente catastróficas, certo? Acho que você mencionou que ainda há danos sendo perpetrados nessas taxas e isso seria-
Como em grande escala. Eu acho que é importante dizer isso claramente. O dano está sendo perpetrado em grande escala.
I mean, the concerns are legitimate, right? Mas toleramos muitos danos. Toleramos a ingestão de coisas que não fazem bem se você for adulto, certo? E isso talvez seja centrado nos EUA, mas houve vários... quero dizer, não sei se ainda é um precedente com a forma como as coisas estão indo, mas houve vários precedentes judiciais que basicamente disseram isso... acho que isso na verdade tem a ver com digitalização ou outro; eles disseram: “Ok, estes devem ser compatíveis e equilibrados com a restrição da liberdade dos adultos, para serem essencialmente muito, muito seguros”.
Você pode tornar a sociedade muito, muito, muito segura tirando toda liberdade, seja ela qual for. Você pode fazer isso. E isto é uma compensação em relação ao que queremos fazer, mas não creio que as pessoas internalizem totalmente o facto de que demasiada segurança talvez seja um mundo em que também não queiram viver.
Acho que foi Ben Franklin, mais uma vez, para não ser muito americano, mas as pessoas que trocariam a liberdade pela segurança não merecem nenhuma das duas coisas. Estou parafraseando. Eu sou americano. I live in Europe now, but I am originally American. Há muitas pessoas que realmente tocam o tambor da liberdade nos EUA, mas estão dispostas a abrir mão de toda a sua privacidade.
Acho que privacidade e liberdade estão inextricavelmente ligadas. Você não pode ser livre sem privacidade. Portanto, penso que há um compromisso a ser feito aqui, e podemos discutir qual é o compromisso, mas o compromisso não deveria ser tornar todo o sistema transparente para quem quiser olhar.
Because there are some really bad people who want to look. E mesmo que você pense que o governo nunca será aquela pessoa má, o que parece ingênuo, mas mesmo que você pense que é esse o caso, existem todos os tipos de criminosos cibernéticos em todos os outros lugares. Esses backdoors ou vulnerabilidades – acho que as vulnerabilidades são mais fáceis do que backdoors – mas as vulnerabilidades que foram encontradas ou introduzidas na criptografia têm um longo histórico de serem exploradas por malfeitores. A história é clara. É impossível ter um backdoor que não possa ser explorado, exceto pelas pessoas a quem se destina. Então, acho que existem outras maneiras de fazer isso, acho que precisamos-
Você pode descrever essas outras maneiras? Acho que talvez isso esteja faltando na conversa. Se existirem outras soluções técnicas para mitigar os danos, como seriam?
Muito disso seria atrapalhar a maneira de fazer as coisas.
Vá em frente. É para isso que serve este show.
Claro. Por exemplo, existem provas de conhecimento zero, que basicamente envolvem a capacidade de provar que tenho mais de 18 anos sem realmente fornecer qualquer outra informação sobre isso. Na verdade, existem várias maneiras de fazer isso, algumas das quais não envolvem provas de conhecimento zero, mas estão muito longe de… Discord, que teve problemas, esqueci, há um ou dois meses por causa de uma violação de segurança onde eles fizeram verificação de idade e então eles tiveram - esqueci o que era - algum tipo de balde S3 aberto [AWS] ou algo assim com toneladas de IDs de pessoas e outras coisas.
Esta não é a maneira certa de fazer isso. Mas garanto a você que as pessoas farão isso errado. Se todo site precisar coletar sua identidade, estaremos em grandes [problemas]. Portanto, existem maneiras de fazer com que os emissores façam com que, digamos, uma pessoa de confiança emita uma identificação para você. Pode ser uma credencial local. Pode ser uma credencial. Também pode ser uma credencial armazenada na nuvem, mas de forma criptografada para que o servidor não possa ver qual é a credencial e então fazer com que seu dispositivo divulgue seletivamente, digamos, que a idade é maior de 18 anos, se o site que você acessa exigir isso.
Não precisa ser: “Este é o seu endereço, este é o seu nome, isso é o que for”. Pode ser apenas, ah, sim, essa pessoa tem uma declaração assinada criptograficamente que diz ter mais de 18 anos, deixe-a entrar.
Essa é uma solução técnica para uma demanda regulatória, certo? Você acha que a solução técnica tem que estar inscrita no regulamento, ou deve haver algum regime de “é assim que se faz da maneira certa”? Ou você acha que a indústria precisa se unir e dizer: “Vamos fazer provas de conhecimento zero”?
Não, acho que certamente ajuda se a indústria se unir. Existe uma iniciativa de identificação da UE, que na verdade é bastante boa. Não é conhecimento zero, mas é bastante bom. Existem alguns problemas com esse tipo de credencial. Obviamente, as credenciais digitais podem ser copiadas, então você quer ter certeza de que elas não serão copiadas e postadas na internet e usadas por um milhão de pessoas. Portanto, existem algumas compensações antiabuso, certo? Você não quer que a identidade de um cara de algum país seja usada por todos os adolescentes nos EUA.
Eu teria sido aquele adolescente, só para ser 100% claro. Eu absolutamente seria aquele adolescente.
[Risos] Sim, com certeza. Acho que, em geral, os prazos são muito diferentes. A história da inclusão de soluções exactas em quadros regulamentares é bastante sombria. Mas penso que as leis que fazem isto poderiam redigir coisas de uma forma que exija protecções de privacidade de uma forma que penso que não foi feita.
Isso levaria à solução técnica. Isso é o que estou perguntando. O governo diz: "Olha, você tem que começar a verificar a idade. As crianças estão vendo todo tipo de coisas estranhas online. Temos que começar a bloquear parte desse conteúdo da mesma forma que bloqueamos, não sei, lojas pornográficas fisicamente".
Certo.
“Ou bloqueamos filmes com classificação R. Ok, temos que fazer isso.” E a indústria irá inevitavelmente escolher a solução mais barata; vamos apenas armazenar carteiras de motorista em buckets S3.
Claro. Ou inevitavelmente escolherão a solução que lhes permitirá comercializar essas informações de alguma forma, certo?
Você se senta no meio disso. Seus ideais e sua estrutura impedem que você faça a pior e mais barata versão disso.
Sim.
Como você faz com que a indústria corresponda aos seus valores? Será que o regulador determina a solução, o que você parece considerar uma má ideia? Será que colocam restrições à solução, o que leva todos a fazerem a coisa certa? De onde vem isso?
Ah, isso é complicado. Se eu soubesse a resposta, estaria forçando. Mas acho que as parcerias são uma delas. Acredito que certamente as diretrizes regulatórias sobre o que você pode armazenar, o que não pode armazenar e o quanto você pode saber sobre seus clientes são provavelmente fundamentais. Acho que isso talvez envolva um pouco a concorrência, mas muitos danos potenciais também vêm da integração vertical total de muitas coisas.
Portanto, exigir que as coisas sejam entidades separadas e, portanto, não vou descartar isso nesta palestra, mas isso pode ajudar muito a evitar certos tipos de danos e tentações de abusar de coisas. Mas penso que a regulamentação e a inclusão de requisitos de privacidade nas regulamentações são certamente o primeiro passo. E essas implementações compatíveis pelo menos já têm isso incorporado.
Eu também acho que isso é novamente difícil de fazer, mas forçar isso aos fabricantes de sistemas operacionais também pode ser perigoso porque ajuda a consolidar esses pontos de estrangulamento. Já temos muitos pontos de estrangulamento para o Google, e a Apple tem estes-
É engraçado. A Apple realmente está lutando contra isso, mas a Apple adora ser um ponto de estrangulamento. Por que você acha que eles estão pressionando contra o verificador de idade?
Essa é uma boa pergunta, na verdade não sei. Você pensaria que eles iriam pular, certo? Quero dizer, eles certamente adoram ser o ponto de estrangulamento da App Store e cobrar 30% de todos.
Eu sei que você esteve em uma briga.
Sim.
A Proton está brigando com a Apple por causa das políticas da App Store. Este parece ser um caso em que seria óbvio o seu interesse em dizer: "Na verdade, vamos manter o controlo. Estes 30 por cento, parem de nos incomodar com os 30 por cento, reguladores, porque iremos fornecer-lhes a verificação da idade".
Sim. Quero dizer, acho que eles podem ver isso simplesmente como um jogo sem saída, no sentido de que você pode fazer KYC, ou conhecer seu cliente, o quanto quiser, mas haverá alguns que escaparão, e então você será o responsável. Então, talvez eles só queiram que terceiros façam isso, então isso não é problema deles, certo? Não sei.
Essa pode ser a resposta completa.
Deixe-me perguntar isso. Conversamos sobre verificação de idade. Não tenho certeza se existe uma resposta que resolverá todos os problemas, mas você apresentou algumas abordagens técnicas que irão pelo menos equilibrar os danos.
Quando eu disse que os danos estão acontecendo em grande escala, o que eu quis dizer foi material de abuso sexual infantil. Isso está acontecendo em grande escala na Internet. Todos nós sabemos disso. Existem muitas e muitas maneiras de mitigá-lo. E há apenas plataformas que não podemos ver, onde isso vai acontecer de qualquer maneira. Próton é um deles. O iMessage é na verdade outra, se você criptografar totalmente o iMessage. A Apple recebe muitas críticas por isso.
A resposta da Apple é a mesma da Proton: "Não há como fazer isso. Simplesmente não podemos fornecer uma maneira de fazer isso que não crie backdoors para todos os outros atores mal-intencionados. Se você quiser, não vamos fazer isso."
Quais são as soluções para mitigar os danos do CSAM sem criar backdoors? Porque sinto que isso também está faltando nesta conversa, especialmente quando falo com os ativistas que estão focados na escala dos danos.
Portanto, não posso descrever exatamente o que o Proton faz porque o antiabuso é uma das coisas em que a segurança através da obscuridade realmente ajuda. Ajuda que os maus atores não saibam o que fazemos. Mas posso dizer que você pode combater o CSAM sem verificação de conteúdo. É possível.
Muito disso é… De qualquer forma, provavelmente não deveria dizer isso, mas você pode lutar contra o CSAM. Não estou dizendo que é a mesma coisa. Não é tão eficaz quanto digitalizar tudo, mas também na era da geração de imagens por IA, quem sabe o que é real ou não. Não que o CSAM gerado por IA seja bom, mas a questão é que você não sabe se existe uma vítima real, não é, etc.
Portanto, acho que existem alternativas à digitalização de todas as imagens que você pode fazer para combater o CSAM. E temos feito isso há anos, e é difícil saber até que ponto temos sido eficazes nisso porque não sabemos realmente qual é o denominador. Penso que temos sido, pelo menos em termos de redes que identificámos: identificámos algo, desligámo-las e mitigámos isto.
Temos um grande interesse em manter todos os tipos de maus atores fora da plataforma porque nosso objetivo é… A missão não será cumprida se for “Oh, esta é uma plataforma para criminosos”. E como resultado, não é. Quero dizer, para a grande maioria dos usuários do Proton… Colocamos quase 10% do total dos recursos da empresa no combate ao abuso. Levamos muito a sério a questão de reduzir o mínimo possível o abuso na plataforma. Então isso pode ser feito.
É um centro de custos. É um centro de custos que comemos. Não nos dá nenhum dinheiro, mas pode ser feito. Acho que a outra coisa é, e não se trata apenas de CSAM, mas do facto de a esfera digital não ser o único lugar onde estes crimes são cometidos. Há a esfera física também. Existem as vítimas reais. Existem pessoas reais prejudicadas por isso. Acho que todo mundo quer que seu trabalho seja mais fácil. Cops are not exempt from this. Então, eles adorariam digitalizar tudo na Internet, e na verdade não os culpo por este pedido, porque tornaria o seu trabalho muito mais fácil, e eles realmente querem reduzir os danos.
No entanto, penso que precisamos de fazer um compromisso entre isso e a ameaça que representa também a sociedade livre. Portanto, acho que provavelmente há mais que pode ser feito no tipo de espaço físico para combater esse tipo de abuso com recursos e outros enfeites. Mas direi, e vou repetir, que a digitalização de conteúdo não é a única maneira de fazer isso. Há também algumas verificações de conteúdo que podem ser feitas sem violação. Pode ser do lado do cliente; podem ser outras coisas. Isso pode ser feito em segredo. De certa forma, isso também é muito complicado, mas há coisas que podem ser feitas para não violar a privacidade em grande escala, o que é um preço que considero simplesmente alto demais.
Você está dizendo que existe um sistema que você não consegue descrever e que é eficaz para impedir os danos do CSAM em grande escala. Isso pode ser verificado por algumas das pessoas que desejam impor os regulamentos? É auditável? A segurança através da obscuridade tem esses problemas, certo? We have to trust you. Grande parte dessa conversa gira em torno do quanto podemos confiar no Proton estrutural e pessoalmente.
O problema é que não sei qual é o denominador. Não sei se encontramos 50% deles; Não sei se encontramos 10% deles. Não sei se encontramos um por cento deles, porque tudo que sei são as coisas que encontramos. Mesmo assim, é probabilístico. Não vemos as imagens. Não sabemos às vezes. Às vezes temos uma ideia melhor, mas não direi como. Mas não vemos as imagens de forma alguma. Não somos legalmente capazes de fazer isso, e Deus sabe que não queremos sujeitar nossos funcionários a isso de qualquer maneira.
Mas não, não sabemos qual é o denominador, então não sei quão eficaz é. Eu sei que podemos correlacionar isso até certo ponto com o tipo de solicitações legais que recebemos, e que essas são muito poucas e raras.
Eu acho que se isso fosse um grande problema na plataforma, receberíamos muito mais solicitações legais de metadados relacionados a isso e coisas assim. E esse é o nosso proxy, não para CSAM em particular, porque muitas vezes não sabemos de onde vêm as solicitações, mas em geral, um dos nossos proxys é: “Ok, quantas solicitações legais estamos recebendo de dados?” Ao contrário de quão bons somos no combate ao abuso. If legal requests go through the roof, which they haven’t, then obviously we have a big problem with anti-abuse, and that has not been the case.
Então, eu sei que é uma resposta insípida, mas esse é o problema. Os dados são privados. Não podemos ler. Essa é a nossa coisa toda. Também temos um sistema de relatórios, é claro. As pessoas cometem erros como qualquer outra pessoa. Então, se eles compartilharem uma imagem, que pode ser denunciada, isso pode acabar. Portanto, existem muitos mecanismos. Mais uma vez, estou na ponta dos pés dizendo todos os detalhes porque não quero que essas coisas se tornem ineficazes. But we do a good job, I think, relative to external indicators that we can see.
Vou te dar um exemplo onde não é CSAM, mas é algo parecido, ok? Costumávamos receber muitas solicitações, relativamente falando, muitas solicitações de contas de ransomware porque as pessoas iam para o Proton. Receber um e-mail do Proton informando que eles, não sei, [vinculariam] algo com Bitcoin, certo? Qualquer que seja. Conseguiríamos isso nas solicitações legais. Poderíamos olhar para isso e dizer: “Ah, essa é definitivamente uma conta de ransomware por vários motivos. ”
Ficamos muito, muito bons em eliminar contas de ransomware. Agora, ocasionalmente ainda receberemos [solicitações sobre] eles, mas eles terão sido desativados por nós por abuso seis meses antes de recebermos a solicitação legal. Estou usando o ransomware como analogia, mas temos um ciclo de feedback para saber o quão bons somos.
Portanto, há algo no seu sistema, há um conjunto de indicadores que você pode detectar, e você simplesmente não vai me dizer quais são. Mas existe algum conjunto de indicadores de como uma conta funciona em seu sistema que permite saber para que ela está sendo usada.
Sim.
Algum governo já lhe perguntou qual é esse conjunto de indicadores?
Não.
Interessante. Esperançosamente, isso não acontece hoje. Policiais, se vocês estão ouvindo, esqueçam que ouviram nada disso. Estamos ficando sem tempo aqui. Quero perguntar rapidamente, no final, sobre IA. Porque falamos sobre sistemas e dinâmicas que considero bastante familiares. Cheguei à Usenet e ao Slashdot e provavelmente ouvi essa citação sobre liberdade e segurança 10.000 vezes. Essa é a base da minha vida na internet.
[Risos] Claro.
This debate, from, I don’t know, the ’80s and ’90s up until now, is the same. E talvez a IA vire todo o carrinho de maçãs. Agora podemos implementar a segurança cibernética em grande escala, de forma que os governos intervenham e impeçam o envio dos modelos. Quer isso esteja correto ou não, é isso que realmente está acontecendo no mundo.
Podemos gerar grandes quantidades de dados sintéticos que podem desarmar todos os seus sistemas de detecção, independentemente de quaisquer danos ocorrerem ou não após esses dados. Você enviou um assistente de IA porque vários países não querem depender de empresas modelo americanas, e ter soberania de dados na Europa é importante para eles. Isso parece uma oportunidade de mercado para você.
Qual é a sua abordagem para tudo isso? Você depende do modelo de IA? Você depende de empresas fronteiriças? Are you building your own model? Como você protege seus dados deles? No final das contas, tudo isso parece perturbar, de maneiras significativas, as estruturas e os sistemas que descrevemos até agora.
Acho que não estou tão preocupado. Não creio que tenha tido um efeito tão dramático nos tópicos que discutimos, talvez. Temos o Lumo, interno próprio, que é administrado. Controlamos os sistemas em que está sendo executado e queremos ser independentes de modelos de terceiros e coisas assim.
Esse é realmente um modelo que você treinou ou é confiável?
Não, são modelos de código aberto que compilamos. E é uma coleção de modelos de código aberto que costuramos com base em seus pontos fortes e fracos. Mas sim, não temos um bilhão de dólares para incendiar e treinar nossos próprios modelos. Na verdade, é por isso que podemos ser uma das poucas empresas de IA que realmente ganham dinheiro com IA, porque não fazemos nenhum treinamento, certo? Nós vendemos a inferência. Não que não haja muito trabalho envolvido na construção do Lumo, mas sim, não treinamos nossos próprios modelos.
Acho que existem dois lados diferentes. Existe a questão “como a IA afetará a indústria em geral?” e talvez “como isso nos afetou e como o usamos”. So for a lot of our stuff, in particular the client-side stuff, it is open source. O material do lado do cliente também não é segredo do usuário. Então, testamos modelos da Anthropic e ChatGPT. Também testamos o Lumo com OpenAI porque, no final das contas, muito disso é público de qualquer maneira, e não são segredos do usuário, então vamos usar a melhor ferramenta para nos fazer avançar o mais rápido possível.
Ela mudou a engenharia de software, provavelmente de forma permanente, em termos da quantidade de tempo gasto na escrita do código em comparação com outras coisas. Mas talvez não tão fundamentalmente. Quero dizer, as pessoas falam sobre essa coisa do SaaSpocalypse de que cada empresa escreverá seu próprio software corporativo. Pessoalmente, eu simplesmente não compro. Há uma grande diferença entre ser capaz de criar seu próprio software de pedido de compra personalizado, ERP ou o que quer que funcione para sua pequena empresa, talvez mais ou menos, e então o tipo de coisas que - seja conformidade, seja escalonamento, seja confiabilidade, todas essas coisas que as empresas precisam e você não vai ... Quer dizer, simplesmente não consigo ver cada empresa construindo [as suas próprias]. "Ah, o software está morto. Não teremos fornecedores para fazer isso e que possam nos prometer coisas que precisamos."
Não sei se estou respondendo sua pergunta aqui, mas a outra coisa sobre isso é que, para mim, isso mudou o que é valorizado na engenharia de software para habilidades de nível mais sênior, talvez. Mas não mudou fundamentalmente o que é um bom software ou como arquitetar um bom software. Na verdade, coisas como revisar o código de outras pessoas… Bem, hoje você está revisando o código de outras pessoas e revisando o código do robô, mas é a mesma habilidade.
Então, talvez o equilíbrio anterior fosse um pouco mais no sentido de, ok, você consegue escrever código muito rapidamente e com precisão com esse tipo de coisa? Onde agora é, ok, é mais para, você pode revisar o código muito rapidamente? O que talvez seja uma habilidade de nível mais sênior. Mas ainda faz parte do kit de ferramentas do engenheiro de software: projetar um bom software, o que significa um bom software, como é a aparência de um bom software.
Acho que uma coisa que descobrimos é que os LLMs funcionam muito melhor quando seu código é bem arquitetado. Se o seu código for bem projetado, o LLM funcionará melhor. Se o seu código for uma bagunça, o LLM não funcionará tão bem porque são mecanismos lógicos. Há mais chances de eles ficarem confusos. Portanto, muitos dos fundamentos da construção de software - sim, a indústria mudou - mas muitos dos fundamentos da construção de software são diferentes.
A outra coisa que descobrimos é que o tempo gasto escrevendo código diminuiu. Agora, existem outros gargalos em seu pipeline que você precisa resolver. Agora talvez a sua [integração contínua] demore muito. Agora talvez suas outras coisas demorem muito. Portanto, isso pode mudar os tipos de coisas que você precisa otimizar, mas no final das contas, acho que para a maioria dos engenheiros de software seniores, a quantidade de tempo que eles realmente gastaram escrevendo código não foi, francamente, a parte mais difícil de seu trabalho ou onde eles passaram a maior parte do tempo.
Acho que o software é provavelmente o setor mais afetado e o setor mais tratável para LLMs que já vi, pelo menos até agora. Obviamente, existem outros usos para isso, mas é software; é baseado em regras. Você pode testar a correção. Você pode mitigar muitas das coisas que os LLMs podem sair dos trilhos e ter alucinações. No final das contas, você precisa de um código funcional, certo? Então você pode testar esse tipo de coisa.
Você pode mitigar muitos dos problemas com LLMs. O software é o seu melhor cenário. E mesmo assim, pelo que tenho visto, é uma evolução. Não é uma revolução. É definitivamente uma grande mudança, mas é em grande parte uma mudança de produtividade, e não “despejar tudo, começar de novo”. Talvez eu esteja errado sobre isso. E talvez, à medida que os modelos melhorem, a situação se torne cada vez mais dramática. Mas, no momento, é uma grande oportunidade de produtividade. Acho que – e software é o que conheço melhor – os medos são um pouco exagerados.
Deixe-me perguntar o outro lado disso. Você mencionou anteriormente que agora é possível ver todos os e-mails e fazer vigilância em massa. A Anthropic chegou ao governo dos Estados Unidos dizendo: "Você pode fazer isso com nosso modelo. Não queremos que você faça isso porque não achamos que seja bom o suficiente e achamos que há problemas reais em fazer isso".
Você também se depara com isso, certo? Você tem seu próprio modelo interno de IA. Seus usuários provavelmente estão gerando mais dados dentro de seus sistemas do que nunca com IA. Parece algo que acontece quando você adiciona IA a um sistema. Os modelos ficam melhores quando você os alimenta com mais dados. Eles têm um apetite voraz por dados. É muita pressão sobre “vamos manter tudo privado”. É muita pressão sobre quem pode ver suas coisas, por que elas podem vê-las e o que podem fazer quando as tiverem. E o valor de tê-lo parece estar aumentando. O valor da recolha de todos os dados parece estar a aumentar.
Sim.
Como você responde a isso, mesmo tendo que implementar sistemas de IA para competir com a grande tecnologia que os está colocando literalmente em todos os lugares?
Acho que isso se resume ao que mencionei antes: privacidade é controle. Privacidade é autodeterminação no sentido de que você controla seus dados e com quem eles são compartilhados. E talvez esse “quem” seja um sistema de IA, e tudo bem.
Acho que desde que seja uma opção do usuário… Na verdade, é um debate interno, mas já temos recursos. Por exemplo, ok, temos um recurso de lista de discussão. OK? Eu prometo que isso tem algo a ver com IA, com aprendizado.
[Risos] É uma grande construção; aqui vamos nós.
Mas temos um recurso de lista de e-mail, e esse recurso é feito de forma privada. Eu envio um e-mail para você, ou mando um e-mail para a lista de e-mails, e ela envia o e-mail para todos os outros. O sistema não vê isso. Mas se você quiser pessoas de fora do Proton em sua lista de e-mails, não poderemos mais usar criptografia de ponta a ponta. Temos que desligar isso.
Portanto, ao adicionar pessoas externas à sua lista de e-mails, você será solicitado: “Ei, se quiser ativar destinatários externos, você precisa desativar a criptografia de ponta a ponta”. O usuário diz que sim, porque isso faz parte do seu fluxo de trabalho. Eles precisam disso. Nesse ponto, ainda não salvamos uma cópia.
Tudo salvo no Proton é criptografado em repouso. No entanto, temos um e-mail de texto não criptografado em nosso sistema porque precisamos enviá-lo para quem quer que sejam os destinatários externos, certo? Esse é o tipo de modelo que vejo no futuro com alguns deles. Não são apenas sistemas de IA; são também integrações onde - e especialmente à medida que nos concentramos mais em clientes empresariais e outras coisas - eu preciso dessa integração em meu CRM, certo? Vou optar por compartilhar esta caixa de correio com meu CRM. Tudo bem. Isso pode ser uma decisão, e é nosso trabalho construir uma interface de usuário que comunique quais são as consequências disso.
Mas a privacidade é fundamentalmente... Não se trata de não compartilhar coisas. Não se trata de não compartilhar suas fotos; não se trata de não compartilhar seus dados com terceiros. Trata-se de compartilhar os dados com terceiros que você escolher, e não apenas por padrão com todos. Esse tem sido uma espécie de grande paradigma tecnológico para a Web 2.0 ou como você quiser chamá-lo, nas últimas duas décadas.
Então acho que podemos conciliar isso com o Proton porque nunca se tratou apenas de criptografia. A criptografia é uma ferramenta até o fim. É tudo uma questão de, ei, o fato de eu ter armazenado dados no computador de outra pessoa na Internet não significa que eu lhes dou o controle para fazer o que quiserem com eles, ou que confio que eles não os perderão. Então, vamos tentar construir um sistema onde eu mantenha esse controle e ainda possa participar de serviços online modernos, certo?
Sinto que teremos que ter você de volta em breve para ver como tudo isso será posto à prova. Isto é novo.
Sim.
Sinto que nos próximos anos descobriremos mais, então teremos você de volta em breve. Você nos deu muito tempo extra. Bart, muito obrigado por estar no Decoder.
Obrigado. Muito obrigado; foi uma explosão. Eu agradeço.
Perguntas ou comentários? Contate-nos em [email protected]. Nós realmente lemos todos os e-mails!
← Voltar