#include<stdio.h>
#define  SIZE 100

   char S[SIZE];
   int sp=-1;

void push(char ch){
  sp++; S[sp]=ch;
 }

void pop(void){
  sp--;
 }

char top(void){
  return S[sp];
}

int empty(void){
  if(sp==-1){
    return 1;
  }
  else{
    return 0;
  }
}

int check(char P[]){
  char ch;
  int  i=0;

  while(P[i]!='\0'){
    if(P[i]=='('||P[i]=='['||P[i]=='{'){
      push(P[i]);
    }
    else{
      ch=top();
      if((ch=='('&&P[i]==')')||(ch=='['&&P[i]==']')||(ch=='{'&&P[i]=='}')){
	pop();
      }
      else{
        return 0;
      }
    }
      i++;
    }

    if(empty()){
      return 1;
    }
    else{
      return 0;
    }
  }

int main(void){
  char P[SIZE];
  int  rval;

  printf("文字列を入力してください。\n");
  scanf("%s",P);
  rval=check(P);

  if(rval==1){
    printf("括弧の列はかみ合います。 \n",P);
  }
  else{
    printf("括弧の列はかみ合いません。 \n",P);
  }

  return 0;
}

#include <stdio.h>

int main(void)
{
    static char str[]= "[[aaa]{bbb]] (111{123aaa) " ;

    char *ptr= str ;
    int p1,p2,p3 ;
    p1= 0 ;
    p2= 0 ;
    p3= 0 ;
    
    while( *ptr != '\0' ){
        switch(*ptr){
            case '[':
                p1++ ;
                break ;
            case ']':
                p1-- ;
                break ;
            case '{':
                p2++ ;
                break ;
            case '}':
                p2-- ;
                break ;
            case '(':
                p3++ ;
                break ;
            case ')':
                p3-- ;
                break ;
        }
        ptr++ ;
    }
    if(( p1 + p2 + p3 ) != 0 ){
        puts( "カッコがおかしい\n" ) ;
    }
    return 0 ;
}

> 恐ろしく簡単なのですが、一応機能は果たすと思います。
> 本当は、[aa(bb]cc) 等の場合も考えなくてはならないと思いますが？

[aa) の場合、「カッコがおかしい」と出ませんが、機能を果たすと言えるのでしょうか？

さて、こんなのを書いてみましたが、参考になりますかどうか。

#include <stdio.h>
#include <string.h>

const char *bp;

int check(char e)
{
    char c, *p;  static char l[] = "([{", r[] = ")]}";

    while ((c = *bp) != '\0') {
        bp++;
        if (strchr(r, c)) return c == e;
        if ((p = strchr(l, c)) != NULL && !check(r[p-l])) return 0;
    }
    return e == 0;
}

int main(void)
{
    char P[100];  int rval;

    printf("文字列を入力してください。\n");
    scanf("%99s", P);
    bp = P;
    rval = check(0);
    if (rval == 1)
        printf("括弧の列はかみ合います。 \n", P);
    else
        printf("括弧の列はかみ合いません。 \n", P);
    return 0;
}

> →個別に判断が必要ですね。間違った投稿をしました、お許しください m(_"_)m
 
「個別に判断」と言うのは、 if(( p1 + p2 + p3 ) != 0 ){  を
if (p1 != 0 || p2 != 0 || p3 != 0) {  にするということでしょうか。

でも、それなら、)ab(  が正しいことになってしまいませんか？

結局、この問題を解決するには、( と [ と { がどういう順番で出てきたかという
履歴を配列やスタックに記録しておく必要があると思います。

#include <stdio.h>

char GetR( char ch )
{
    const char nBrackets[]= "(){}[]" ;
    const char rBrackets[]= ")(}{][" ;
    int i ;
    for( i= 0 ; nBrackets[i] != '\0' ; i++ ){
        if( nBrackets[i] == ch ){
            return rBrackets[i] ;
        }
    }
    return '\0' ;
}

int main(void)
{
    static char str[]= "[[aaa]{bbb}] (111{123(aaa)})(" ;

    char *ptr= str ;
    char buf[100] ;
    int  inx= 0 ;
    char ch ;

    while( *ptr != '\0' ){
        ch= * ptr++ ;
        if( ch == '[' || ch == '{' || ch == '(' ){
            buf[inx++]= ch ;
        }else if( ch == ']' || ch == '}' || ch == ')' ){
            if( inx <= 0 || buf[--inx] != GetR(ch)){
                puts( "1.カッコの順序が違います\n" ) ;
                inx= 0 ;
                break ;
            }
        }
    }
    if( inx != 0 ){
        puts( "2.カッコの数が違います\n" ) ;
    }
    return 0 ;
}

しかし、私が作ったのだとaとか文字を読み括弧の列はかみ合う場合でも0を返してしまいます。

    if(P[i]=='('||P[i]=='['||P[i]=='{'){
      push(P[i]);
    }
    else{
      ch=top();
      if((ch=='('&&P[i]==')')||(ch=='['&&P[i]==']')||(ch=='{'&&P[i]=='}')){
	pop();
      }
      else{
        return 0;
      }
    }

if ('a' == '(' || 'a' == '[' || 'a' == '{') {
    push('a');
} else {
    ch = top();
    if ((ch == '(' && 'a' == ')') || (ch == '[' && 'a' == ']') || (ch == '{' && 'a' == '}')) {
        pop();
    } else {
        return 0;
    }
}

if (0 || 0 || 0) {
    push('a');
} else {
    ch = top();
    if ((ch == '(' && 0) || (ch == '[' && 0) || (ch == '{' && 0)) {
        pop();
    } else {
        return 0;
    }
}

if (0) {
    push('a');
} else {
    ch = top();
    if (0) {
        pop();
    } else {
        return 0;
    }
}

    ch = top();
        return 0;