解：（1）可利用矩阵A=(1,1,0;1,3,-1;5,3,1)三行元素，进行初等变换得A1=(1,1,0;0,2,-1;0,0,0)所以秩为2. （2）由第一问可知，一个最大线性无关组a和b. (3)设r=xa+yb,即（5，3，1）=（x,x,0)+(y,3y,-y)=(x+y,x+3y,-y)所以y=-1,x=6.
