Mientras todos se pelean por comprar GPUs de Nvidia, ¿sabías que Google tiene su propio chip para IA? Y ni siquiera lo vende. Se llama TPU, que significa Tensor Processing Unit, o unidad de procesamiento de tensores.

Y aunque parezca magia, cuando una IA responde, casi siempre hace lo mismo: multiplica enormes tablas de números. En matemáticas, a esas tablas se les llama matrices, y cuando tienen más dimensiones, tensores; de ahí viene el nombre del chip. Y lo repite millones de veces por segundo.

Por eso, dentro de cada TPU hay una pieza fundamental llamada MXU, que se encarga justamente de multiplicar estas matrices. Y la forma en que está construida es lo interesante.

Imagina una cuadrícula de 256 por 256 personas, lo cual da más de 65.000, cada una con una calculadora. A cada persona le das un número fijo, que no va a cambiar. Esto representa los pesos de un modelo de IA: es decir, lo que la IA aprendió.

Ahora, por la izquierda empiezan a entrar los datos, por ejemplo, las palabras de tu pregunta convertidas en números. Cada persona recibe un número de su vecino de la izquierda, lo multiplica por su número fijo, le suma el resultado parcial que le pasa el de arriba y le entrega el total al de abajo. Y al mismo tiempo, le pasa el dato al de su derecha.

Es bastante enrevesado, ¿verdad? Pero lo importante es que todos lo hacen al mismo ritmo, como si siguieran el latido de un corazón. Por eso a esta solución se le llama arreglo sistólico, por la sístole del corazón. Y de la última fila de la cuadrícula van saliendo los resultados ya calculados.

¿Y por qué es tan eficiente todo esto? Porque los resultados intermedios nunca vuelven a la memoria: pasan de mano en mano. Y en un chip, ir a buscar datos a la memoria es lo que más tiempo y energía gasta. Una GPU, en cambio, tiene que ir y volver muchas más veces.

Además, la TPU usa un formato de números que creó Google, llamado bfloat16, que ocupa la mitad que un número normal, pero puede representar números igual de grandes y de pequeños. Y si bien pierde algo de precisión, a la IA no le afecta mucho, y así calcula el doble de rápido.

Ahora, Google no usa una sola. De hecho, conecta miles de TPUs con switches ópticos, en lo que llama pods, y las enfría con líquido.

Y el lado malo de todo esto es que solo sirve para esto, porque para cualquier otra cosa este chip es pésimo. Y no lo puedes comprar. Pero sí lo puedes probar: en Google Colab puedes usar TPUs gratis, con límites, desde el navegador.

Ahora, si te preguntas si Google es el único que hace estos chips, bueno, no. También están Amazon, Microsoft, Meta y OpenAI. E incluso Anthropic, que no tiene chips propios, entrena sus modelos en las TPUs de Google y en los chips de Amazon.

Todos quieren lo mismo: dejar de depender de Nvidia.