// FunToken.cpp: implementation of the FunToken class.
//
//////////////////////////////////////////////////////////////////////

#include "stdafx.h"
#include "FunToken.h"
#include "FunUtil.h"
#ifdef _DEBUG
#undef THIS_FILE
static char THIS_FILE[]=__FILE__;
#define new DEBUG_NEW
#endif

//////////////////////////////////////////////////////////////////////
// Construction/Destruction
//////////////////////////////////////////////////////////////////////

int FunToken::StartPos=0;
int FunToken::LineNumber=1;

FunToken::FunToken()
{
}

FunToken::~FunToken()
{
}

void FunToken::Reset()
{
	StartPos=0;
	LineNumber=1;
}

int FunToken::GetStartPos()
{
	return StartPos;
}

int FunToken::GetLineNumber()
{
	return LineNumber;
}

void FunToken::ReturnBack(CString Token)
{
	int len=Token.GetLength();
	StartPos-=len;
}

BOOL FunToken::GetToken(CString &FunStream,CString &Token)
{
	Token.Empty();
	int FunLen=FunStream.GetLength();

	while(StartPos<FunLen)
	{
		//White space
		if( IsWhiteSpace(FunStream[StartPos]) )
		{
			do{
				if(FunStream[StartPos] == '\r')
				{
					StartPos+=2;  //for \r and \n
					LineNumber++;
				}
				else StartPos++;

				if(StartPos==FunLen)return true;
			}
			while( IsWhiteSpace(FunStream[StartPos]) );

		}
		//symbol ( or )
		if( IsSymbol(FunStream[StartPos]) )
		{
			Token=FunStream[StartPos];
			StartPos++;
			return true;
		}
		// @
		else if( IsAt(FunStream[StartPos]) )
		{
			Token=FunStream[StartPos];
			StartPos++;
			return true;
		}
		// dot
		else if( IsDot(FunStream[StartPos]) )
		{
			Token=FunStream[StartPos];
			StartPos++;
			return true;
		}
		// #
		else if( IsHash(FunStream[StartPos]) )
		{
			Token=FunStream[StartPos];
			StartPos++;
			return true;
		}
		//the operator
		if(IsOperator(FunStream[StartPos]))
		{
			Token=FunStream[StartPos];
			StartPos++;
			return true;
		}
		//literal
		else if( IsAlpha(FunStream[StartPos]) )
		{
			Token+=FunStream[StartPos];
			StartPos++;
			if(StartPos==FunLen)return true;
			while(IsAlpha(FunStream[StartPos]) || IsNumber(FunStream[StartPos]))
			{
				Token+=FunStream[StartPos];
				StartPos++;
				if(StartPos==FunLen)return true;
			}
			int len=Token.GetLength();
			//check if the literal contain dot or not
//			for(int i=0;i<len;i++)
//				if(Token[i]=='.')return false;
			//check if all string is ( _ )
			for(int i=0;i<len;i++)
				if(Token[i]!='_')
					return true;
			return false;//all alphapetical is ( _ )
		}
		//number
		else if( IsNumber(FunStream[StartPos]) )
		{
			int dotflag=0; //=1 if dot are appear
			do
			{
				Token+=FunStream[StartPos];
				if(FunStream[StartPos]=='.')
					dotflag=1;
				StartPos++;
				if(StartPos==FunStream.GetLength())return true;
				if(IsAlpha(FunStream[StartPos]))return false;
				if(dotflag==1 && FunStream[StartPos]=='.')return false;
			}
			while(IsNumber(FunStream[StartPos]) || IsDot(FunStream[StartPos]));
			return true;
		}
		else return false;
	}//end while

	return true;
}

BOOL FunToken::GetConcept(CString &FunStream,CString &Token)
{
	Token.Empty();
	while(!IsDot(FunStream[StartPos]))
	{
		Token+=FunStream[StartPos];
		StartPos++;
		if(StartPos==FunStream.GetLength())break;//return true;
	}
	if(Token.IsEmpty())
		return false;

	return true;
}

BOOL FunToken::GetProp(CString &FunStream,CString &Token)
{
	Token.Empty();
	while(!IsOperator(FunStream[StartPos]) && !IsSymbol(FunStream[StartPos]) && FunStream[StartPos]!=' ')
	{
		Token+=FunStream[StartPos];
		StartPos++;
		if(StartPos==FunStream.GetLength())break;//return true;
	}
	if(Token.IsEmpty())
		return false;
	return true;
}

BOOL FunToken::GetDate(CString &FunStream,CString &Token)
{
	char x;
	// figure of date
	// 00/00/0000#
	// 0 /0 /00#

	//Days
	if(!IsNumber(FunStream[StartPos]))return false;
	StartPos++;
	x=FunStream[StartPos];
	if( !IsNumber(x) && x!='/' )return false;
	if( IsNumber(x) ){
		StartPos++;
		if( FunStream[StartPos]!= '/')return false;
	}
	StartPos++;

	//Month
	if(!IsNumber(FunStream[StartPos]))return false;
	StartPos++;
	x=FunStream[StartPos];
	if( !IsNumber(x) && x!='/' )return false;
	if( IsNumber(x) ){
		StartPos++;
		if( FunStream[StartPos]!= '/')return false;
	}
	StartPos++;

	//year
	if(!IsNumber(FunStream[StartPos]))return false;
	StartPos++;
	if(!IsNumber(FunStream[StartPos]))return false;
	StartPos++;
	x=FunStream[StartPos];
	if( !IsNumber(x) && x!='#' )return false;
	if( IsNumber(x) ){
		StartPos++;
		if(!IsNumber(FunStream[StartPos]))return false;
		StartPos++;
		if( FunStream[StartPos] != '#')return false;
	}
	StartPos++;
	return true;
}

void FunToken::WriteToken(CString &FunStream)
{
	CFile file;
	CString token,delim("\r\n"),error;
	file.Open("token.txt",CFile::modeCreate|CFile::modeWrite);
	file.SeekToBegin();
	while(StartPos<FunStream.GetLength())
	{
		BOOL x=GetToken(FunStream,token);
		if(x==false)
		{
			CString s;
			s.Format("In line number %d \n Undefined token",LineNumber);
			AfxMessageBox(s);
			break;
		}
		else
		{
			file.Write(token,token.GetLength());
			file.Write(delim,delim.GetLength());
		}
	}
	file.Close();
}