Java - 522 434 228 213 caracteres
Resuelve comprobando sistemáticamente todas las n-tuplas enteras posibles mediante multiplicación directa hasta que se encuentre una que funcione.
La función toma matriz aumentada, A, vector de solución de prueba, x, y dimensión, n, como vector de solución de entrada - salida, x. Tenga en cuenta que el vector x es en realidad uno más grande que la dimensión para ayudar a analizar posibles soluciones. (Si declarara las variables A, x, n, j, k, s como variables de instancia, la función sería 31 caracteres más corta, para un total de 182, pero eso parece doblar las reglas demasiado lejos).
int[]Z(int[][]A,int[]x,int n){int j,k,s;for(;;){for(j=0;j<n;j++){for(k=s=0;k<n;s+=A[j][k]*x[k++]);if(s!=A[j][n])j+=n;}if(j==n)return x;for(j=0;j<=n;j++)if(x[j]!=x[n]||j==n){x[j]++;for(k=0;k<j;x[k++]=-x[n]);j=n;}}}
Programa de prueba (algo no golfista):
import java.util.*;
class MatrixSolver{
public MatrixSolver() {
Scanner p=new Scanner(System.in); //initialize everything from stdin
int j,k,n=p.nextInt(),A[][]=new int[n][n+1],x[]=new int[n+1];
for(j=0;j<n;j++)for(k=0;k<=n;A[j][k++]=p.nextInt());
x=Z(A,x,n); //call the magic function
for(j=0;j<n;j++) System.out.print(x[j]+" "); //print the output
}
public static void main(String[]args){
new MatrixSolver();
}
int[]Z(int[][]A,int[]x,int n){
int j,k,s;
for(;;){
for(j=0;j<n;j++){ //multiply each row of matrix by trial solution and check to see if it is correct
for(k=s=0;k<n;s+=A[j][k]*x[k++]);
if(s!=A[j][n])j+=n;
}
if(j==n)return x; //if it is correct return the trial solution
for(j=0;j<=n;j++)if(x[j]!=x[n]||j==n){//calculate the next trial solution
x[j]++;
for(k=0;k<j;x[k++]=-x[n]);
j=n;
}
}
}
}
El programa toma la entrada de stdin como enteros separados por espacios de la siguiente manera: primero, la dimensión del problema, segundo, las entradas de la matriz aumentada por fila.
Ejecución de muestra:
$java -jar MatrixSolver.jar
3 2 1 -1 8 -3 -1 2 -11 -2 1 2 -3
2 3 -1
Afeité varios caracteres siguiendo los consejos de Victor sobre bucles y "público", almacenando el RHS en la matriz aumentada en lugar de por separado, y agregando una entrada adicional a mi solución de prueba para simplificar la generación de cada nueva solución de prueba. El OP también dijo que una función es suficiente, no es necesario contar todo el programa.