NAN("not a number")をglibcで使うには、GNUのextensionsを使うことを宣言する必要があります。
具体的には、_GNU_SOURCE をdefineした後で<math.h>をincludeします。
良い例)
#define _GNU_SOURCE
#include <math.h>
ただし、この宣言はあらゆる #include <> より先にしておくべきです。
悪い例)
#include <stdio.h>
#define _GNU_SOURCE
#include <math.h>
/*このような順番では使えません。*/