scanf の "%d" を使えば、スペースや改行を読み飛ばしてくれます。
1文字ずつ読み込ませるためには "%1d" を使えばよいでしょう。 

tate と yoko に制限をつけてよいのなら、次のようなプログラムになります。
無制限にしたいというのなら、プログラムは難しくなります。

#include <stdio.h>

#define N  64

int main(void)
{
    int i, j, yoko, tate, v1, v2, v3, v4, aa[N][N];
    FILE *fp = fopen("text.txt", "r");

    if (fp == NULL) return 1;

    if (fscanf(fp, "%d%d", &yoko, &tate) != 2) return 1;
    if (yoko > N || tate > N) return 1;
    if (fscanf(fp, "%d%d%d%d", &v1, &v2, &v3, &v4) != 4) return 1;

    for (i = 0; i < tate; i++)
        for (j = 0; j < yoko; j++)
            if (fscanf(fp, "%1d", &aa[i][j]) != 1) return 1;
    
    for (i = 0; i < tate; i++) {
        for (j = 0; j < yoko; j++)
            printf(" %d", aa[i][j]);
        printf("\n");
    }
    return 0;
}