已知$a$为整数，关于$x$的方程$a^2x-20=0$的根是质数，且满足不等式$|ax-7|>a^2$，求$a$的值