La mayoría de los juegos en teoría de juegos no serían muy buenos videojuegos. Por ejemplo, un juego es más o menos así:
Hay personas que ofertan por $ 100. Las reglas son que si gana, paga lo que ofertó y obtiene los $ 100. Si está en segundo lugar, también paga lo que ofertó pero no obtiene nada. Un juego bastante aburrido y si las ofertas superan los $ 100, ambas personas pierden.
El tipo de cosas que aprenderías en la teoría de juegos probablemente se aplicaría más a pensar en cómo un jugador podría acercarse a tu juego en lugar de ayudar al desarrollo. Dado que siento que las otras publicaciones ya han establecido que realmente no sería beneficioso, aunque es bastante interesante si te gusta ese tipo de cosas, hablaré sobre las matemáticas que podrían ser útiles.
El álgebra lineal es imprescindible, principalmente porque se usa en muchas otras ramas de las matemáticas, incluida la teoría de juegos. Es el tipo de matemática con la que más me encuentro al desarrollar juegos. Me imagino que si uno entrara en el desarrollo del motor, este tipo de matemática sería aún más relevante. También es más útil en juegos 3D que en 2D.
Las matemáticas combinadas podrían ser útiles. Especialmente para la probabilidad. La teoría de juegos combinatorios también trata sobre juegos, pero exclusivamente por turnos y, en general, los juegos son simples.
La probabilidad discreta también es útil. Realmente no he visto demasiadas cosas continuas, pero las cosas discretas surgen con bastante frecuencia y en realidad podrían reducir el tiempo de prueba. Básicamente, cada vez que usa números aleatorios, usa la probabilidad. A veces es bastante básico, pero quién sabe, a veces los problemas de probabilidad parecen mucho menos complicados de lo que realmente son.
E imagino que si desarrollaras un motor de física, se usaría Cálculo, pero no sé nada sobre el desarrollo del motor.