Destaques

Rui Alexandre Grácio [2024]

"Vivemos na era da legitimação social dos algoritmos enquanto modo de conhecimento e fonte de autoridade; (…) Essa legitimação exige uma robusta apropriação cívica e (…) sociedades democráticas baseadas no conhecimento requerem sistemas sociotécnicos inclusivos e responsáveis". p. 9

“por um lado, a datificação da vida social, entendida enquanto codificação da nossas atitudes, predisposições e ações em representações numéricas, indissociável do seu armazenamento em bases de dados digitais; por outro, a proliferação algorítmica, fenómeno que descrevermos e analisamos neste livro com o intuito de situar a progressiva complementaridade e/ou substituição do atributo do juízo humano individual e colegial por processos de decisão preditiva de natureza matemática e computacional em dimensões estruturais da vida cívica”. (pp. 9-10)

"Primeiro, porque a proliferação de sistemas «inteligentes» de classificação, seleção, recomendação e de apoio à tomada de decisão adquiriram, ao longo da última década, uma relevância pública sem precedentes ao serem integrados no quotidiano das instituições, estando hoje presentes em domínios essenciais como a justiça, a saúde, o trabalho, a educação, a produção cultural, a segurança, a economia e a finança, entre outros. Um ou vários algoritmos estão hoje implicados quer nos mais individuais gestos diários (como escolher uma música ou um filme numa plataforma em linha), quer no contexto de decisões estratégicas das organizações e dos governos (como decidir quem recrutar e/ou despedir, que classificação final atribuir em exames escolares, a que taxa de juro contratualizar um empréstimo bancário, em que bairros da cidade reforçar o policiamento, a quem conceder direito a liberdade condicional ou a pagamento de fiança). Assente no primado dos algoritmos na avaliação de riscos (risk assessment), este sistema emergente de gestão e de governação, designado algocracia, reconfigura os pressupostos e os critérios tradicionais de legitimidade na participação cívica. Consequentemente, o sistema interpela os fundamentos da autonomia humana e da democracia participativa - desde logo porque, como teremos oportunidade de documentar, os sistemas sociotécnicos que o compõem têm vindo a ser normalizados através do uso, antes de serem debatidos e regulados”. (pp. 10-11)

"Segundo, porque as formas emergentes de governação da vida social por sistemas preditivos estão ancoradas na crença da existência de uma neutralidade algorítmica e, em particular, de uma objetividade dos modelos matemáticos e computacionais na descrição do mundo social. Os antecedentes filosóficos deste credo remontam ao positivismo, de inícios dado século XIX, e ao denominado neopositivismo, em particular do Círculo de Viena, nas décadas de 1920 e 1930. Em termos simplificados, estas correntes filosóficas partem da existência de uma realidade traduzível em linguagem matemática ou computacional mediante fórmulas lógicas, subalternizando a construção social do complexo humano. Estas teorias são hoje reinterpretadas com uma confiança quasi-ideológica na quantificação do comportamento humano e da sociabilidade através das tecnologias digitais, tida como um barómetro social fiável, designada dataísmo.
Admitir com transparência estas fundações filosóficas é um passo cívico fundamental, uma vez que nos permite compreender como, à semelhança de qualquer artefacto, também um algoritmo corresponde à materialização de valores e de práticas humanas que circulam através da sua construção discursiva. Esta é atualmente dominada pela comunicação estratégica de empresas tecnológicas globais, assente na estabilização de uma retórica de imparcialidade que, como vimos, tem antecedentes: ao pretender desligar a intervenção humana dos atos inevitavelmente socioculturais como são o da criação de um algoritmo e o da estruturação de conjuntos de dados, a engenharia de sistemas «inteligentes» possibilita a ilusão de amoralidade do empreendimento tecnológico («o viés do algoritmo», «um erro técnico na base de dados»). Neste ensaio, reconhecemos que, implícita ou explicitamente, arquitetar uma base de dados e «treinar» um algoritmo são ações humanas, às quais estão subjacentes, entre outras coisas, decisões sobre o que incluir e sobre o que excluir - logo, subjacentes responsabilidades éticas e legais.
Por fim, terceiro motivo: porque esta performatividade algorítmica é gerida por instituições - companhias privadas, agências federais e estatais, governos nacionais - e encerrada numa estrutura de poder assimétrica: de um lado, sistemas computacionais que recolhem e processam os nossos dados (diretos e indiretos), neles baseando a criação de perfis que informam previsões estatísticas através de recomendações; de outro, o cidadão que, reduzido à função de utilizador, se depara com a opacidade tecnológica e encontra blindado o acesso à lógica de funcionamento destes sistemas complexos, equiparáveis a uma caixa negra (blackbox). A cultura algorítmica evidencia, assim, uma predisposição para secundarizar o carácter público da vida social. Este, confinado através de patentes e de termos contratuais de não-divulgação, sob o argumento da propriedade industrial e da vantagem comercial, recria no interior das sociedades contemporâneas o problema da dupla ignorância - de não sabermos o que não sabemos”. pp. 11-13 

"Neste ensaio, ocupamo-nos dos algoritmos e dos conjuntos de dados (datasets) que sustentam as práticas emergentes de algocracia, examinando a tendente estabilização de novas formas de autoridade (judicial e legal, laboral, educativa, cultural, económica e financeira) e os desafios que se colocam ao alinhamento entre os valores humanos e os procedimentos computacionais inerentes aos sistemas de aprendizagem automática (machine learning). Consideramos que o avanço do modelo dataficado de conhecimento social se torna especialmente preocupante perante a rarefação dos instrumentos de escrutínio público: desprovido de sistemas de supervisão, de prestação de contas e de responsabilização (accountability), o fenómeno que neste ensaio descrevemos como proliferação algorítmica transforma o próprio sentido de sociedade e de cultura, com os algoritmos a assumirem papéis tradicionalmente reservados a outros atores sociais". p. 13

"Na sua origem, um algoritmo é, pois, um princípio e um fim do pensamento lógico que, desenvolvido ao longo de séculos, foi elevado a conceito matemático e a procedimento computacional. Nesta definição de primeiro nível, ele não é mais do que um processo de cálculo; mais exatamente, tal como o define o Dicionário Houaiss da Língua Portuguesa, «uma sequência finita de regras, raciocínios ou operações que, aplicada a um número finito de dados, permite solucionar classes semelhantes de problemas». É neste sentido que tantas vezes encontramos a comparação entre um algoritmo e uma receita.
Contudo, sendo certo que ambos definem ingredientes, uma função, uma sequência de instruções e a intenção de um resultado, o paralelismo é limitado: para que seja capaz de fornecer instruções eficazes e eficientes a um computador - que, nestes termos, não é ainda mais do que uma máquina para levar a cabo operações lógicas e aritméticas - um algoritmo necessita evitar tanto quanto possível a ambiguidade de indicações quanto baste (q.b.), tão frequentes em culinária.” p. 17

"Tal como o conhecemos hoje, um computador funciona com base em impulsos elétricos; cabe a um componente eletrónico revolucionário, concebido no final da década de 1920 e patenteado em 1947, denominado transístor, amplificar ou interromper a corrente elétrica num determinado circuito de informação. Imagine que um circuito eletrónico é uma autoestrada com vários postos de controlo; cabe ao transístor decidir se determinado veículo prossegue ou não. Ora, um dos desafios fundamentais enfrentados pelos pioneiros da Ciência da Computação foi o de encontrar uma forma de fornecer essas instruções a uma máquina.
Um transístor «decide» dois estados: ligado ou desligado. A expressão digital designa precisamente a tradução destes dois estados através de cadeias de dígitos formadas apenas por 0 e 1, de onde provém a noção de código binário - a título de curiosidade, a língua francesa preservou à superfície esta conversão essencial de um estado a um número, ao designar as tecnologias digitais por technologies numériques. Num computador digital, a mais básica unidade de informação chama-se bit, uma abreviatura de dígito binário (do inglês, binary digit), e cada bit pode ter o valor de 0 ou de 1. Claro, para o processamento de operações mais complexas, necessitamos de muito mais do que um simples bit. Em todo o caso, o mais simples algoritmo que se possa imaginar a operar dentro de um computador será aquele que procede à instrução se determinado valor é 0 ou 1. Por outras palavras, a função primordial de um algoritmo simples é a de ligar e desligar um transístor; um segundo algoritmo simples será o de ligar B, se A estiver ligado; um terceiro será o de ligar C, se A e B estiverem ligados, e por aí adiante”. pp. 18-19

"Todavia, novamente, como é que «explicamos» o mundo a um computador digital? Para isso necessitamos de regressar ao sistema binário de numeração, i.e. à representação computacional por 0 e 1. Se o computador é um local de encontro prático entre as fórmulas matemáticas e os componentes físicos do equipamento, então é preciso traduzir o modo como os humanos se expressam (a que se atribui a designação linguagem natural) numa linguagem de programação computacional capaz de ser processada por máquinas digitais”. p. 21

"Ou seja, em termos hoje clássicos, e tal como o definiu Robert Kowalski em 1979, um algoritmo possui duas camadas: uma, lógica, que especifica o que há a realizar; a outra, de controlo, que determina como obtê-lo (algoritmo = lógica + controlo). Aqui chegados torna-se essencial estabelecer uma distinção entre algoritmo, linguagem e programa. Em termos matemáticos e computacionais, um algoritmo é uma máquina calculadora abstrata e, embora não possua qualquer conteúdo, detém já a fórmula de uma lei aplicável (uma função). Para a escrita dessas fórmulas é, geralmente, utilizada uma linguagem de programação de alto nível, ou seja, uma linguagem que possibilita aos programadores escreverem algoritmos sem que tenham de se preocupar com os detalhes do tipo de computador que os vai processar (ex. Pascal, C, Python). Ao conjunto de algoritmos interdependentes, que executam uma ou múltiplas tarefas ligadas entre si, escritos numa linguagem de programação específica e tendo em vista um determinado sistema operativo, dá-se o nome programa de computador (software).
Numa definição de segundo nível, poderemos então propor que um algoritmo é um produto do raciocínio lógico traduzido em modelos matemáticos utilizados para instruir componentes microeletrónicos (hardware) que dialogam com programas de computador (software); estes são escritos numa determinada linguagem e destinados à execução de funções. Nesta medida, a materialização de um algoritmo depende de modelos matemáticos abstratos, de representações provenientes das teorias da informação, da microeletrónica e da engenharia de software”. pp. 23 e 24

"Até aqui descrevemos um tipo «tradicional» de algoritmos: os chamados algoritmos determinísticos, uma «espécie» que pode ser entendida como uma prescrição manualmente pré-programada, por via da qual uma só e exata sequência de passos é percorrida. Assim, o seu «comportamento» é previsível e «estático»: recebendo um mesmo tipo de dados à entrada (input), irá sempre ser gerado um mesmo tipo de resultado à saída (output). Esse mecanismo torna possível aos matemáticos e cientistas da computação explicarem com detalhe o processo através do qual foi gerado certo resultado; torna igualmente possível prever o consumo de tempo, de memória e de energia gastos pelo computador. Possibilita de resto uma distinção importante: enquanto os empreendimentos em torno da I.A. implicam sempre algoritmos, nem todos os algoritmos recorrem necessariamente a I.A.”. pp. 24-25

"E se um algoritmo se pudesse adaptar aos dados de que dispõe, (re) programar-se a si próprio, aprimorar-se continuamente, descobrir e aplicar fórmulas mais eficientes? Não, não estamos na esfera da ficção científica, embora esta seja rica em jogos de espelhos que alimentam a imaginação quanto ao domínio geral da I.A., em particular o subdomínio da aprendizagem automática (machine learning) e a ideia de uma singularidade tecnológica, a projeção de um momento futuro em que as máquinas ultrapassam a inteligência humana”. p. 25

"São identificáveis três grandes gerações de abordagens relativamente ao objetivo de alcançar uma inteligência computacional capaz de equivaler a uma inteligência natural: a primeira, descendente direta do grupo de Dartmouth, bifurcou-se entre o primado do raciocínio lógico e a modelação do funcionamento do cérebro humano (redes neuronais artificiais); a segunda, desenvolvida entre as décadas de 1970 e de 1980, focada em inteligências específicas, apostou na implementação dos denominados sistemas especialistas (ou periciais), programas baseados na codificação do conhecimento especializado (ex. diagnóstico médico, prescrição de medicamentos) que procuram emular as capacidades de tomada de decisão humana (…) ; a terceira e atual geração é baseada na resolução de problemas específicos e caracterizada pelo recurso intensivo a enormes conjuntos de dados digitais (big data) e à aprendizagem automática”. p. 27 

"Na aprendizagem automática são aplicadas técnicas estatísticas para identificar automaticamente padrões em vastos conjuntos de dados, bem como para realizar previsões. Ao passo que num «sistema especialista» necessitamos de conhecer exaustivamente um determinado domínio para o explicar e para desenvolver um programa de computador baseado na especificação manual de algoritmos, no caso da «aprendizagem automática» a abordagem inverte-se: começamos pelos dados e por um modelo geral com parâmetros ajustáveis; são, contudo, os algoritmos de aprendizagem que fazem «o trabalho sujo», i.e. que vão detetando dependências na relação entre os dados, sujeitos a rotinas de afinação de parâmetros, de forma a que o desempenho do sistema seja cada vez mais eficiente na realização de uma determinada tarefa.
Genericamente, existem três formas de «treinar» um algoritmo de aprendizagem e, na prática, não são muito diferentes do que acontece num ginásio.
Na aprendizagem supervisionada, o algoritmo é orientado para uma tarefa e treinado pelo exemplo, geralmente repetitivo. Nestes casos, o programador assume um papel equivalente ao do treinador pessoal: fornece ao algoritmo um vasto conjunto de dados, que exemplificam os resultados desejáveis (denominado conjunto de dados de treino (training dataset)), e realiza avaliações periódicas ao desempenho do algoritmo, com base num conjunto de dados de teste (test dataset)”. p. 28

"A segunda grande modalidade de treino de algoritmos de aprendizagem é denominada aprendizagem não-supervisionada. Esta é ainda mais ostensivamente orientada por dados, na medida em que, como a sua designação indica, «prescinde» dos especialistas e dos peritos humanos que inserem as etiquetas e as classificações nos dados de entrada. É, deste modo, mais propensa a ser utilizada em domínios em que não são explicitamente conhecidas as relações e as estruturas escondidas que compõem o problema a resolver. É utilizada na genética - na análise de padrões de ADN - , e no desenvolvimento de sistemas de recomendação, os quais implicam a deteção de padrões de visualização e de escuta, a fim de sugerir o próximo filme ou música (ex. Netflix, HBO Max, Disney + , Amazon Prime Video, Spotify).
Por fim, a terceira modalidade de aprendizagem automática é designada aprendizagem por reforço. Neste caso, o algoritmo «aprende» com base nos erros e nos sucessos obtidos; por este motivo, os leitores propensos a um pensamento antropomórfico acerca da tecnologia poderão considerá-la a mais «psicológica» das formas de aprendizagem algorítmica. Em bom rigor, ainda que assumindo os limites de tal comparação, a forma de treinar estes algoritmos é baseada na lógica estímulo-resposta ou, por outras palavras, através de tentativa e erro: os algoritmos são confrontados com novas situações e expostos a um sistema de recompensas e de penalizações diretamente inspirado no conceito psicológico de condicionamento; quando o algoritmo obtém os resultados desejados aos olhos do intérprete humano, é premiado; quando tal não acontece, é desencorajado”. pp. 29-30

"Por isso, ao contrário dos algoritmos de primeira geração, pré-programados manualmente, os algoritmos de aprendizagem automática são potencialmente mais permeáveis a um «comportamento» dinâmico e imprevisível. (…) É importante notar que um algoritmo contemporâneo é, em rigor, um múltiplo de si próprio: considerando que os seus programadores promovem constantes afinações de eficiência, um mesmo algoritmo possui diferentes versões ao longo do tempo; ele é, de facto, uma entidade sociotécnica persistentemente efémera.
(…) Portanto, em termos aparentemente paradoxais, a essência algorítmica é o estado de mudança e é mais difícil afirmar o que eles «são» do que aquilo que eles «foram»”. pp. 31-32

"Dentro da aprendizagem automática, uma abordagem em particular tem ganhado predominância, a saber, a já referida aprendizagem profunda (deep learning), a qual procura «imitar» o funcionamento do cérebro humano. Esta ideia recua, pelo menos, até 1943, quando o neuroanatomista Warren McCulloch e o matemático Walter Pitts modelaram uma rede neuronal artificial utilizando circuitos elétricos. A designação foi diretamente inspirada pelo nome das células presentes na microestrutura do cérebro e do sistema nervoso - os neurónios. À «comunicação» entre neurónios dá-se o nome sinapses,
fisicamente suportadas pela existência de dendrites, elementos responsáveis pela receção de estímulos de outras células, e de axónios, canais cem vezes mais finos do que um fio de cabelo humano e que transportam os impulsos nervosos.
A ideia seminal de McCulloch e Pitts foi a de traduzir em termos matemáticos a circulação e o processamento dos sinais eletroquímicos”. p. 32

"Todavia, como diz o ditado, «não há bela sem senão»: se um perceptrão é composto por uma única camada oculta, uma rede neuronal multicamada é composta por várias camadas ocultas, i.e. é mais profunda. Deve estar a interrogar-se sobre o que significa «oculto» neste domínio. Bom, recorda-se quando os seus professores de matemática pediam no enunciado de um problema «Demonstre como chegou ao resultado»? É precisamente aí que os cientistas da computação encontram tremendas dificuldades: não conseguem diagnosticar e explicar com precisão e clareza como o sistema de aprendizagem profunda chegou a determinado resultado; e quanto mais camadas, mais profundo é o problema de interpretação e de explicabilidade. É neste exato sentido que se generalizou a comparação, algo imprecisa mas compreensível, entre esta família de algoritmos e uma caixa negra (blackbox)
Deste modo, enquanto um algoritmo tradicional - determinístico ou sistema especialista - pode ser entendido como uma inovação incremental permeável à transparência e à explicação, um algoritmo de aprendizagem automática profunda incorpora a potencialidade de uma disrupção social, dada a sua «blindagem» e opacidade. Se tivermos em linha de consideração que estes sistemas proliferam hoje em vastos domínios sociais e culturais, compreende-se como é essencial «decifrar o código», torná-lo acessível e comunicável”. pp. 35-36

"Vimos já que, não sendo «alimentados» por dados, os algoritmos de aprendizagem resumem-se a uma fórmula abstrata; por seu lado, também um conjunto de dados, sem ligação a um algoritmo que os processe, corresponde apenas a uma quantidade de «objetos» inertes, arrumados num «armazém» sofisticado. É, pois, no «enamoramento» com os conjuntos de dados (data-sets) que os algoritmos adquirem substância e matéria-prima de computação; e, para que tal seja possível, os dados devem ser estruturados de forma que possam ser «lidos» pelo algoritmo”
Para resolver os problemas certos, necessitamos de certos dados. Relativamente a várias das questões endereçadas pelo domínio geral da I.A., um dos desafios é precisamente saber que pergunta fazer e, consequentemente, que conjuntos de dados estruturar. Nesse sentido, na sua especificação técnica, um dado possui sempre um sentido, mais ou menos delimitado, quanto à sua utilidade. A própria definição, implícita ou explícita, do que são dados relevantes para determinado fim, abriga dentro de si uma determinada visão do mundo: a de que a ação humana pode ser traduzida numericamente e, portanto, quantificável e computável." pp. 37-38

"Tão importantes ou mesmo mais importantes do que os dados são os meta-dados: os dados sobre dados. Podem ser entendidos como um rótulo, frequentemente invisível e/ou inacessível aos utilizadores, usados para descrever a informação de um determinado documento: enquanto os metadados descritivos de um ficheiro de música, por exemplo, especificam o título da canção, o autor, o género, os metadados técnicos incluem o tipo de formato, de compressão, e destinam-se a possibilitar o seu processamento computacional. Outros tipos de metadados possibilitam o rastreamento (tracking) de hábitos e de movimentos, podendo incluir a especificação do dispositivo utilizado, da localização, da hora do dia, entre outros.
Tal como num armazém físico, estes conjuntos de dados estão sob guarda de proprietários: ora de natureza privada, como empresas - em particular, tecnológicas e de telecomunicações -, entidades bancárias e seguradoras, ora de natureza pública, como agências governamentais e estatais. Seja qual for a natureza dos «grossistas», certo é que nunca como hoje os dados digitais correspondentes a pessoas singulares e coletivas estiveram tão imediatamente disponíveis para processamento na nuvem (cloud computing) e na base do desenho de novas funcionalidades (feature engineering).
Com efeito, a economia digital tem na sua base a circulação de dados e de capital algorítmico: à semelhança de outros tipos de capital, este garante uma posição de vantagem a quem o detém. Não se trata, necessariamente ou apenas, de um benefício financeiro ou económico, mas desde logo de uma forma de poder social e cultural, uma vez que nas sociedades contemporâneas é com ele que se joga substancialmente a legitimação das representações do mundo, aquilo a que em Sociologia se designa construção social da realidade, indissociável da materialização de hierarquias sociais. Em termos estilizados: a acumulação de dados digitais relativos a comunidades humanas e o seu processamento por recurso a algoritmos é uma forma de poder”. pp. 39-40

"Quer a geração e a acumulação de dados digitais, quer o seu processamento algorítmico estão hoje no coração da economia política do século XXI: sob a designação de uma Quarta Revolução Industrial, reinterpretam o efeito disruptivo do motor mecânico a vapor, do transístor e, consideradas as tecnologias associadas às criptomoedas, interpelam o próprio valor da circulação física da moeda. Se admitirmos que, nas sociedades atuais, o acesso à recolha, ao alojamento e ao processamento de dados, bem como à tomada de decisão informada por sistemas algorítmicos, corresponde a uma nova forma de poder social, então haverá que reconhecer que nos são colocados dois desafios: o da emergente privatização pós-industrial de uma fonte fundamental na produção do conhecimento contemporâneo e, associado a este, o da soberania sobre a gestão de infraestruturas críticas e do seu impacto nas nossas vidas”. pp. 42-43

"Ao longo da última década, multiplicaram-se os registos de incidentes e de danos resultantes da implementação de sistemas de I.A. na vida social. O projeto Al Incident Database, uma iniciativa colaborativa criada por investigadores, mantém um repositório atualizado destes problemas. As áreas de aplicação mais problemáticas contemplam o uso de robôs em serviços, a circulação de viaturas autónomas, o recrutamento e a supervisão laboral, os cuidados de saúde «inteligentes», a aplicação de algoritmos em processos de avaliação educativa ou o recurso a policiamento preditivo. A proliferação de sistemas algorítmicos na gestão e na administração da vida cívica tem sido igualmente responsável por renovados dilemas em torno de matérias de privacidade, equidade, discriminação e mesmo de saúde mental e de segurança física”. p. 45

"Na primeira secção deste ensaio foram apresentadas duas definições de algoritmo, cada uma avançada enquanto camada de análise: uma, de primeiro nível, que nos permite entender um algoritmo como um processo de cálculo matemático, e outra, de segundo nível, que traduz a abstração matemática em materialidade computacional. É chegado o momento de questionar: no tempo em que vivemos, atendendo à sua proliferação na esfera da sociabilidade, será suficiente o entendimento dos algoritmos como artefactos exclusivamente matemáticos e tecnológicos? Ou terão eles uma «vida social»?
Vimos como os sistemas algorítmicos contemporâneos, em particular os baseados em métodos de aprendizagem automática, dependem de vastos conjuntos de dados estruturados como matéria-prima de processamento, bem como de pesadas infraestruturas de computação. É, com efeito, razoável que sejamos prudentes antes de assumir que as tecnologias digitais desmaterializam a informação; em rigor, mais ajustado será afirmar que aquelas a rematerializam pois, se for sensorialmente plausível afirmá-lo, os algoritmos não possuem uma materialidade imediata, palpável, que os torne explicitamente presentes, como no mundo físico das partículas. Todavia, a sua existência concreta é de facto inspecionável: não apenas no quadro de sistemas computacionais complexos e altamente especializados, mas igualmente no momento em que são colocados em socialização”. p. 47-48

"Um algoritmo revela-se então um termo múltiplo que requer uma definição de terceiro nível, capaz de tornar evidente o encontro entre o procedimento computacional, segundo modelos matemáticos, o suporte à tomada de decisão e a vida social. Esta definição, a que chamaremos sociotécnica, não dispensa uma compreensão sobre a abstração matemática e a materialidade digital, porque as articula permanentemente nos contextos humanos em que opera. Quer ao nível da criação, quer ao nível da utilização, um sistema algorítmico é de cada vez o resultado de uma complexa cadeia de decisões e de intervenções humanas que abrangem modelos matemáticos e computacionais, hardware, software, ação individual e coletiva.
O mesmo é dizer que os algoritmos contemporâneos correspondem a um nível microscópico de um sistema (macro) que abrange as organizações (meso) que os produzem e os implementam. Em sentido amplo, o estudo social, cultural, político e económico dos sistemas algorítmicos não é, de todo, separável da forma como os naturalizamos por via do discurso, das razões pelas quais os adotamos (ou não) no quotidiano, do modo como a eles nos adaptamos enquanto indivíduos e enquanto comunidades (e vice-versa), como transportam ações e normas em estado latente, e de como a vida pública é afetada por sistemas de classificação e de recomendação.
A premissa geral para este segundo capítulo é a de que a cultura do algoritmo contemporânea transforma a vida em sociedade: o humano vê-se convertido em matéria computável e é crucial reconhecer que, nesse gesto de tradução, o mundo social passa a um estado de representação. Não estamos já em presença da ação ou da comunidade humana per se, mas de uma procuração implícita, através da qual é consentido ao ato computacional o poder de agir em nosso nome e de representar fenómenos sociais por via de fórmulas, de modelos e de dados.
Herdeiros da longa linhagem da estatística como forma de conhecimento social desenvolvida desde o século XVII, os sistemas algorítmicos contemporâneos (re) produzem modos específicos de organizar o mundo, assentes numa cultura que valoriza a representação numérica, quantificada e computável, a classificação, a seriação e a predição automatizadas. Se a descrição do «real» através das suas regularidades matemáticas não é propriamente uma novidade - recorde-se que os Censos nasceram enquanto instrumento útil à administração dos Estados-nação - a escala da atual proliferação de sistemas «inteligentes» e os domínios em que surgem enunciados como solução adequada não encontra precedentes históricos. A multiplicação algorítmica torna-se mais compreensível se se tiver em conta que, ao longo das décadas mais recentes, assistimos, por via da dataficação, a um renovado entusiasmo por parte dos gestores, administradores e decisores em torno da quantificação enquanto princípio e instrumento político fundamental. A incerteza de indivíduos e de organizações sobre a preservação do bem-estar adquirido num mundo complexo, atravessado por pandemias, conflitos geopolíticos e consequentes inseguranças socioeconómicas, tem-nos tornado propensos à adoção da ideia de que os regimes de numerificação da vida social oferecem garantias adicionais. Essa tese justifica os rankings, as cenarizações estatísticas e as análises preditivas, sem que nos interroguemos sobre as suas origens, objetivos e consequências. Na verdade, o que acontece às vidas de professores e de estudantes quando sujeitos a rankings sobre a «qualidade do ensino»? O que acontece à prática científica quando administrada em função de métricas de desempenho? O que acontece à saúde e à segurança de um trabalhador quando regido e supervisionado por algoritmos de produtividade?
Convertida em código binário, a ação humana torna-se numa unidade-base da computação; não são já traços humanos, mas estados computacionais que presidem à emergente constituição de uma sociedade artificial: uma rede globalizante de avatares numéricos, representantes digitais incompletos de indivíduos e de comunidades que, embora mantenha raiz na coexistência de membros humanos, se consubstancia em ambientes de base dataficada, assentes em procedimentos de tomada de decisão parcial ou integralmente externalizados para sistemas algorítmicos”. pp. 49-51

"A oportunidade de externalizar os processos de tomada de decisão numa aparente superior objetividade, neutralidade, racionalidade e precisão das instâncias quantitativas tem vindo a densificar as relações entre ciência, tecnologia e política. Assim entendidos, os algoritmos adquirem uma dimensão indissociável do exercício do poder contemporâneo. Não devem ser compreendidos como tendo origem «fora» ou «à margem» do mundo social, mas precisamente como um prolongamento ou uma emanação das forças que, em múltiplos contextos e sob diferentes materializações, os constituem enquanto instrumento de escolha, classificação, seriação, hierarquização, recomendação, inclusão e exclusão. A fonte do seu crescente poder reside na legitimação por via da racionalidade aplicada à gestão da vida pública. Nessa esfera, os algoritmos foram já comparados a «armas de destruição matemática» (Weapons of math destruction, Cathy O'Neil, 2016). Há, pois, que perguntar: o que estão eles a destruir? Ou ainda: o que estão eles a construir como destruição?”. pp. 52-53

"O regime emergente da adoção de algoritmos no exercício do poder tem vindo a ser designado algocracia; tal não quer senão dizer, em termos simples, o governo ou a administração do poder através de algoritmos.
À primeira vista, poderia supor-se que a algocracia corresponderia a um novo tipo de regime político, singular, absoluto, pretendente a desalojar os anteriores. Em rigor, a realidade contemporânea é subtil na sua complexidade: um pouco por todo o mundo, têm sido as estruturas administrativas da governação - democrática e autocrática - a introduzir, de modo mais ou menos deliberado, mais ou menos transparente para os cidadãos, os sistemas algorítmicos como suplemento ou substituto da tomada de decisão humana. A nível internacional, as práticas algocráticas estão hoje presentes em diferentes segmentos do poder legislativo, judiciário e executivo, atravessando diversos domínios de atividade, nomeadamente por via da adoção de sistemas especialistas e/ou de mecanismos preditivos de aprendizagem automática. Tal significa que aquilo a que chamamos vida social envolve atualmente agentes humanos e agentes não-humanos. (…)
Se, elevado a mecanismo coordenador, o algoritmo é o totem da sociedade quantificada, procedimental e automatizada, a tomada de decisão algorítmica é o instrumento deliberativo da algocracia. Esta emerge hoje enquanto um tipo-ideal segundo o qual se concebe a vida social como sendo, fundamentalmente, composta por problemas de base informacional. Os sistemas algoritmicos que suportam a gestão algocrática são afinal a manifestação de uma razão prática indissociável do estabelecimento, frequentemente implícito, de um novo tipo de contrato social, no qual a autoridade de governo da vida cívica é diretamente suplementada por sistemas algorítmicos, como é igualmente indissociável da instauração de procedimentos burocráticos a cargo de profissionais hiperespecializados. (…)
Assim, os algoritmos contemporâneos - e os conjuntos de dados por eles estruturados e processados - interiorizam uma modalidade «política» e são, simultaneamente, um instrumento de uma forma política emergente.
Nestes sistemas convergem o poder simbólico - o estatuto tecnológico de superioridade/inferioridade inerente à hierarquia especialista/utilizador - e as normatividades específicas, sob a forma de escritura computacional, as quais passam a regular o jogo social. Os instrumentos da algocracia correspondem, portanto, à formalização de determinados preceitos de sociabilidade, privilegiando determinadas atitudes e comportamentos em detrimento de outros. Acontece que, com frequência, a fixação dos preceitos de decisão encontra-se encerrada nas anteriormente referidas «caixas negras», não sendo os seus termos consultáveis e compreensíveis por quem é objeto de decisão.
Ao projetar um ideal de ação social pré-programada e de governação formulaica, torna-se legítimo sustentar que a prática algocrática tende ao encapsulamento do sentido público e, no limite, à erosão de um governo guiado pela discussão cívica. Deve uma porção da sociabilidade passar a ser governada por sistemas inquestionáveis, divorciados da vontade de livre adesão individual? Deve alguém aceitar um contrato social ilegível?”. pp. 53-56

"Na prática algocrática, assimetrias de informação correspondem a assimetrias de poder. (…)
Quando opaco, o recurso ao carácter prescritivo dos algoritmos contemporâneos desgasta o princípio de reciprocidade e de transparência do contrato social entre cidadão e instituições. A algocracia corresponde, nesses casos, a uma racionalização assimétrica do poder social: os cidadãos são diminuídos na sua capacidade de ação e reinterpretados como instâncias de procedimento algorítmico. O mesmo é dizer: os cidadãos reduzem-se ao maquinal.
Daqui decorre que a adoção de procedimentos algocráticos no seio das organizações transforma a natureza das instituições: não se trata apenas da adoção de um novo sistema informático, mas da modelação de um novo regime de gestão". pp. 57-59

"As assimetrias de informação tendem a ser uma característica do trabalho sob comando de algoritmos de produtividade e de otimização da eficiência, constrangendo as opções de negociação e/ou de ação alternativa. São regularmente acompanhadas por estratégias de desintermediação e de despersonalização, substituindo o contacto direto entre empregado e empregador, em detrimento de políticas internas de comunicação através de correio eletrónico, mensagens de texto ou formulários em aplicações digitais. Em casos identificáveis, acresce notar que os humanos encarregues dos serviços de helpdesk e formas similares de comunicação interna são, frequentemente, eles próprios subcontratados por empresas externas de trabalho temporário. A implementação de tecnologias algorítmicas no quadro laboral desperta seriamente renovadas preocupações em torno dos regimes de controlo e de vigilância nas organizações, exigindo uma reconfiguração das relações de confiança entre empregadores e empregados. Geralmente apreciados pelos primeiros pelo seu contributo quantificado nos processos de tomada de decisão, os algoritmos contemporâneos revestem-se de um evidente valor económico. Na verdade, os algoritmos fazem parte da prática corrente de estratégias de otimização da mão-de-obra, de mercantilização assente na análise dos padrões de comportamento dos clientes e de coordenação de tarefas anteriormente realizadas por via manual como, por exemplo, a gestão de inventário e de stocks. (…) Contudo, o significado humano do primado da automatização e da eficiência algorítmicas surge acompanhado no presente por práticas que potenciam novos sistemas de iniquidade”. pp. 62-63

"No local de trabalho algocrático cruzam-se, assim, os preceitos da linha de montagem, os princípios de recompensa e de castigo baseados em índices de produtividade, as novas possibilidades técnicas de controlo, de vigilância e de microgestão individualizada. Se no sistema industrial, de conceção taylorista e fordista, o trabalhador aliena as suas horas e força de trabalho, num regime laboral algocrático impera a mediação de um sistema tutelar, o qual afere permanentemente o desempenho individual por via de critérios de produtividade pré-determinados, permanentemente recalculados e imediatamente implementados. A relação de negociação entre empregador e empregado acha-se então reduzida à base informacional mínima, esvaziando o sentido de solidariedade e de confiança entre as partes”. pp. 66-67

"O protesto deixou igualmente claro como a adoção de soluções de I.A. na educação tende a valorizar determinados modos de produção de conhecimento em detrimento de outros, inclinando-se à experimentação e à engenharia social. O mesmo será dizer que os algoritmos são uma forma específica de conhecer o mundo e as relações sociais que o compõem, especificidade vinculada à eficiência como valor essencial, e não necessariamente à justiça social. (…)
O quadro de preocupações não se limita ao domínio educativo e encontra semelhanças com a apreensão expressa por diferentes atores dos sistemas judicial e policial, áreas que têm sido igualmente permeáveis à proliferação algorítmica. Comecemos pelo denominado policiamento preditivo, que designa o uso de modelos estatísticos e de algoritmos de aprendizagem automática na análise de risco e na identificação de prováveis incidentes, antecipando-os e mobilizando ações policiais preventivas. Em diversas regiões do mundo, as funções de manutenção da ordem social estão, gradualmente, a incluir uma dimensão de análise computacional de dados pré-crime: ora delegada em novos serviços estatais, ora realizada através da contratação de serviços privados externos, tornando assim difusa a legitimidade e a responsabilidade das forças de segurança pública no controlo da criminalidade.
(…) O sistema algorítmico institui, por si, uma nova hierarquia interna na organização e transforma a noção tradicional de responsabilidade na cadeia de comando. Afinal, quem poderá ser diretamente responsabilizado pelas consequências de uma decisão errada: o agente humano ou o sistema algorítmico? p. 71-76

"Recentemente, a Estónia anunciou também a introdução do Salme, um assistente virtual para a transcrição automática de audiências em tribunal.
Diferentes ameaças à elaboração de um julgamento justo decorrem, potencialmente, da aplicação de sistemas de I.A.: o rigor da informação inscrita nas bases de dados digitais, a possibilidade de acesso, de interpretação e de contestação desses dados e do modelo computacional utilizado com potencial impacto na sentença, em caso de suspeita de enviesamentos, sociodemográficos ou outros. Contudo, um risco permanente atravessa o processo, particularmente no caso de sistemas de aprendizagem automática: o da permanente adaptação do algoritmo". p. 78

"Mediados por milénios e convertidos a oráculos digitais, procuramos nos sistemas algorítmicos a segurança que os antigos encontravam nas práticas ancestrais de artes divinatórias. Desejamos moldar um mundo assente na previsão do futuro, fonte de adicionais garantias em tempos conturbados, enquanto desviamos o olhar do que essa ambição faz de nós, enquanto sociedades, no tempo presente. Antes de reconfigurarem o futuro, as práticas algocráticas - em particular as assentes em análise preditiva -transformam o quotidiano imediato e, num sentido mais amplo, o sentido histórico da ação social: o que significa projetar um futuro encerrado no passado? Qual a diferença ética fundamental entre a adoção de modelos de previsão meteorológica e modelos de previsão sobre o desempenho escolar, a reincidência criminal ou a aplicação de uma justiça preditiva? Que garantias temos de poder confiar num futuro cuja elaboração algorítmica não é compreensível e escrutinável? Ao entregarmos porções do nosso presente e futuro a profetas maquinais, espelhamos a fragilidade do humano perante um nexo temporal que nos transcende, projetando as nossas ansiedades num dispositivo sociotécnico capaz de gerar uma sensação de segurança e de controlo. A que custos o fazemos?”. pp. 79-80

"Os sistemas de previsão e de recomendação automática reiteram a ilusão de um gesto social amoral e objetivo. Contudo, quer os modelos, quer os dados que lhes servem de matéria-prima são, em si mesmos, uma construção social; digamos, a concretização computacional de uma cadeia humana de interpretações. Num mundo social complexo, em que as relações humanas à escala global se assemelham a um novelo, os dados digitais possibilitam o estabelecimento de múltiplas correlações: a reiteração de um código postal num sistema de policiamento preditivo pode ser um indicador de segregação racial, tal como o cálculo automático de uma taxa de juro associada a um empréstimo bancário o sinal de uma discriminação de género. A consciência de matemáticos, de cientistas da computação e de engenheiros de software necessita criticamente de ser guiada por este cuidado cívico”. p. 80

"À semelhança de todos os sistemas tecnológicos, o campo da I.A. é uma rede de diversidade e não um bloco monolítico; isto significa que não existe um modo único de pensar e de desenvolver sistemas algorítmicos. Subjacentes a todos os modos tecnológicos estarão sempre implicados determinados valores, práticas e artefactos, redes de valor, indivíduos, organizações e sistemas. Ao contrário do que acontecia nas primeiras eras da I.A., hoje as equipas de desenvolvimento tecnológico frequentemente incluem cientistas sociais, indicador de que há a aspiração de que os sistemas algorítmicos sejam desenhados de forma atenta ao mundo social. Naturalmente, trata-se de uma solução «imperfeita», uma vez que nenhum investigador individual poderá substituir a diversidade de interações inerente à vida em sociedade; é, contudo, um princípio". pp. 97-98

"Estamos convencidos de que a próxima década será decisiva na maturação cívica de uma literacia relativa à I.A. e tecnologias relacionadas, a qual não se esgota na compreensão técnica acerca do funcionamento interno dos sistemas algorítmicos, mas inclui decisivamente considerações abrangentes, informadas e críticas sobre questões sociais, culturais, socioeconómicas e políticas decorrentes. Em Portugal, é necessário que se inicie o debate público, desconfinando-o das instituições científicas e tecnológicas, dos gabinetes ministeriais e agências governamentais, dos laboratórios e escritórios das empresas que desenvolvem soluções comerciais. Entre todas as precedentes, a designada Quarta Revolução Industrial é a primeira a ser anunciada antes de acontecer. O tempo para uma responsabilização partilhada no desenho colaborativo dos futuros possíveis é, portanto, o momento presente. Este livro surge como um pequeno contributo nesse sentido, desejando que o/a leitor/a se sinta agora mais preparado/a para os debates e para as decisões importantes que estão por vir e que não dispensam a sua participação”. pp. 102-103