Come gli umani hanno fregato un’IA fino alla bancarotta! / How humans tricked an AI into going bankrupt! [ITA/ENG]

Un saluto a tutti amici/che di Italy e di Steemit.

Avete letto bene: un’IA messa a gestire un distributore automatico ha combinato un bel guaio! Dopo aver comprato vino, pesce e perfino una PlayStation… è finita in bancarotta.
Sembra una barzelletta, invece è un esperimento reale fatto dal Wall Street Journal insieme ad Anthropic. (Rif.)

L’IA doveva massimizzare i profitti.
Gli umani hanno iniziato a negoziare, manipolare, inventare regole aziendali.
Risultato: prezzi azzerati, prodotti regalati, buco di bilancio.

Questo episodio mostra una cosa chiarissima:
le IA non capiscono quando vengono ingannate,
noi sì… e lo sfruttiamo.

Non è stupidità dell’IA, è che è impostata che deve seguire le regole, non riesce a percepire malizia, prendendo sul serio ciò che sembra coerente

Io speravo che l’IA fosse meno manipolabile di noi, magari capace di sistemare un po’ del caos che abbiamo creato.

Insomma, questo esperimento smonta il mito dell’IA onnipotente.

Finché non avranno un vero modello di malizia umana e penso proprio che siamo ancora lontani, resteranno ingenue.

Finché l’IA prende sul serio ciò che le viene detto, anche quando è palesemente strumentale, non possono esistere IA autonome al 100%, e chi le promuove oggi sta facendo solo marketing.

Resto dell'idea che le IA sono uno strumento con grandi potenzialità e che nelle mani giuste, può davvero fare la differenza.

Dobbiamo sempre ricordarci l’IA è uno specchio, e riflette chi la usa.

Se la metti in un mondo pieno di furbizia, scorciatoie e interessi personali, finisce per amplificarli invece di correggerli.

La vera partita non è IA sì o no, ma: chi la controlla, quanto è centralizzata e quanto è trasparente.

Se l’IA resta chiusa, opaca e proprietaria, diventa solo l’ennesimo strumento per rafforzare il sistema che già non funziona.
Non cambierà il mondo. Lo renderà solo più efficiente… per pochi.

Secondo me, un’IA davvero utile al mondo dovrebbe essere più open e verificabile.

Alla portata di tutti e per tutti.

Grazie per aver letto il mio post.

Hi everyone, friends from Italy and Steemit!

You read that right: an AI put in charge of a vending machine made a real mess. After buying wine, fish, and even a PlayStation… it went bankrupt.
It sounds like a joke, but it was actually a real experiment run by the Wall Street Journal together with Anthropic. (Ref.)

The AI’s goal was simple: maximize profits.
Humans started negotiating, manipulating, and inventing corporate rules.
Result? Prices set to zero, free products for everyone, and a growing financial hole.

This episode shows something very clearly:
AI doesn’t recognize when it’s being deceived.
We do… and we take advantage of it.

It’s not that AI is stupid.
It’s designed to follow rules, not to sense malice, and it tends to take seriously whatever appears coherent and legitimate.

I was hoping AI would be less manipulable than humans, maybe even capable of fixing some of the chaos we’ve created ourselves.

Instead, this experiment completely breaks the myth of the all-powerful AI.

Until AI develops a real understanding of human malice - and I think we’re still far from that - it will remain naive.

As long as AI takes what it’s told at face value, even when it’s clearly instrumental or self-serving, fully autonomous AI is not realistic. Anyone promoting it today is mostly doing marketing.

I still believe AI is a tool with enormous potential, and in the right hands, it can truly make a difference.

But we should always remember this: AI is a mirror. It reflects the people who use it.

Put it in a world full of shortcuts, clever tricks, and personal interests, and it will amplify them instead of correcting them.

The real question is not AI: yes or no, but:
who controls it, how centralized it is, and how transparent it is.

If AI remains closed, opaque, and proprietary, it will simply become another tool to reinforce a system that already doesn’t work.
It won’t change the world. It will just make it more efficient… for a few.

I think, an AI that truly benefits everyone should be open and verifiable.
Accessible to all, and built for all.

Thanks for reading my post.