double length(const Point *a, const Point *b)
{
    double x = a->x - b->x,  y = a->y - b->y;
    return sqrt(x*x + y*y);
}

double angle(double a, double b, double c)
{
    double t = (a && c) ? (a*a + c*c - b*b) / (2*a*c) : 0;
    if (t < -1) t = -1; else if (t > 1) t = 1;
    return acos(t);
}

int is_inside(const Point *a, const Point *b, const Point *c, const Point *p)
{
    double bc = length(b, c),  ca = length(c, a),  ab = length(a, b);
    double pa = length(p, a),  pb = length(p, b),  pc = length(p, c);
    double t = angle(pb, bc, pc) + angle(pa, ab, pb) + angle(pc, ca, pa);
    return fabs(t - 2*3.141592653589793238) < 1e-10;
}

なるほど、面積を使うという手がありますね。でも、距離は不要です。
3辺の長さが分かっている場合、へロンの公式で三角形の面積が求められるのは
有名ですが、3頂点の座標が分かっている場合も面積は簡単に求められます。

#include <math.h>

typedef struct { double x, y; } Point;

double area(const Point *a, const Point *b, const Point *c)
{
    return fabs((a->x - c->x)*b->y + (b->x - a->x)*c->y + (c->x - b->x)*a->y) / 2;
}

int is_inside(const Point *a, const Point *b, const Point *c, const Point *p)
{
    return area(p, b, c) + area(p, c, a) + area(p, a, b) == area(a, b, c);
}


ただし、これだと、三角形の内部だけでなく、辺上の点も含まれてしまいます。

それ以上に問題なのが、点P が三角形の内部にあっても、浮動小数点演算の精度
の問題により、等式が成り立たない場合があることです。そこで、次のように
書いたほうがよいかもしれません。

int is_inside(const Point *a, const Point *b, const Point *c, const Point *p)
{
    double t = area(p, b, c) + area(p, c, a) + area(p, a, b);
    return fabs(area(a, b, c) - t) < 1e-10 * t;
}

いろいろな方法が考えられるものですね。
次のようなのはいかがでしょうか。

typedef struct { double x, y; } Point;

int under( const Point* a, const Point* b, const Point* p )
{
    return ( a->x <= p->x && p->x < b->x || b->x < p->x && p->x <= a->x )
           && p->y < a->y + ( p->x - a->x ) * ( b->y - a->y ) / ( b->x - a->x ) ? 1 : 0;
}

int is_inside( const Point* a, const Point* b, const Point* c, const Point* p )
{
    return under( a, b, p ) + under( b, c, p ) + under( c, a, p ) == 1;
}

under関数は、y軸方向を上下としたとき、点pが線分abの下側にあれば1、そうでなければ0を返します。
各辺についてのunder関数の判定結果の合計が1（点pは1辺だけの下側にある）ならば、pは三角形の内
部にあると判定できます．
平面図形と任意の点の関係について、当該点から任意の方向に引いた半直線が図形の周を横切る回数が
奇数回ならば、当該点は図形の内部にあるという原理に基づいています。

>> 次のようなのはいかがでしょうか。
>
>A(0,0), B(4,0), C(3,3) の場合、P(0,-1) や P(4,-5) は明らかに
>△ABC の外部ですが、そのプログラムでは内部になってしまいますよ。

本当だ^^;
pのx座標値がいずれかの頂点のx座標値と同じ場合に正しく判定できないことがありました。
ご指摘ありがとうございました。

前回書いた原理を生かすなら、pのx座標値と頂点のx座標値が等しい場合の特別な判定処理が必要ですね。
次のように改めます。

typedef struct { double x, y; } Point;

int in_range( double x1, double x2, double t )
{
    return x1 < t && t < x2 || x2 < t && t < x1;
}

int under( const Point* a, const Point* b, const Point* p )
{
    return in_range( a->x, b->x, p->x ) && p->y < a->y + ( p->x - a->x ) * ( b->y - a->y ) / ( b->x - a->x ) ? 1 : 0;
}

int is_inside( const Point* a, const Point* b, const Point* c, const Point* p )
{
    int n = 0;
    if( p->x == a->x && p->y < a->y && in_range( c->x, b->x, p->x ) ){
        n++;
    }
    if( p->x == b->x && p->y < b->y && in_range( a->x, c->x, p->x ) ){
        n++;
    }
    if( p->x == c->x && p->y < c->y && in_range( b->x, a->x, p->x ) ){
        n++;
    }
    return  n + under( a, b, p ) + under( b, c, p ) + under( c, a, p ) == 1;
}

#include <stdio.h>

typedef struct { double x, y; } Point;

double line(Point *a, Point *b, Point *c)
{
    return (a->y - b->y)*(c->x - b->x) - (a->x - b->x)*(c->y - b->y);
}

int is_inside(Point *a, Point *b, Point *c, Point *p)
{
    return line(a, b, c) * line(a, b, p) > 0
        && line(b, c, a) * line(b, c, p) > 0
        && line(c, a, b) * line(c, a, p) > 0;
}

int main(void)
{
    Point a = {0, 0}, b = {4, 0}, c = {3, 3}, p;

    for (p.x = -1; p.x <= 5; p.x++)
        for (p.y = -1; p.y <= 4; p.y++)
            printf("(%2g,%2g) %s\n", p.x, p.y,
                is_inside(&a, &b, &c, &p) ? "in" : "out");
    return 0;
}