85 Token(int32_t start, int32_t end);
91 Token(int32_t start, int32_t end,
const String& type);
97 Token(int32_t start, int32_t end, int32_t flags);
104 Token(
const String& text, int32_t start, int32_t end);
112 Token(
const String& text, int32_t start, int32_t end,
const String& type);
120 Token(
const String& text, int32_t start, int32_t end, int32_t flags);
123 Token(CharArray startTermBuffer, int32_t termBufferOffset, int32_t termBufferLength, int32_t start, int32_t end);
130 static const String& DEFAULT_TYPE();
164 virtual void setPositionIncrement(int32_t positionIncrement);
168 virtual int32_t getPositionIncrement();
175 virtual String term();
181 virtual void setTermBuffer(
const wchar_t* buffer, int32_t offset, int32_t length);
185 virtual void setTermBuffer(
const String& buffer);
191 virtual void setTermBuffer(
const String& buffer, int32_t offset, int32_t length);
196 virtual CharArray termBuffer();
199 virtual wchar_t* termBufferArray();
207 virtual CharArray resizeTermBuffer(int32_t newSize);
210 virtual int32_t termLength();
216 virtual void setTermLength(int32_t length);
223 virtual int32_t startOffset();
227 virtual void setStartOffset(int32_t offset);
231 virtual int32_t endOffset();
235 virtual void setEndOffset(int32_t offset);
239 virtual void setOffset(int32_t startOffset, int32_t endOffset);
242 virtual String type();
246 virtual void setType(
const String& type);
253 virtual int32_t getFlags();
256 virtual void setFlags(int32_t flags);
264 virtual String toString();
267 virtual void clear();
273 TokenPtr clone(CharArray newTermBuffer, int32_t newTermOffset, int32_t newTermLength, int32_t newStartOffset, int32_t newEndOffset);
276 virtual int32_t hashCode();
281 TokenPtr reinit(CharArray newTermBuffer, int32_t newTermOffset, int32_t newTermLength, int32_t newStartOffset, int32_t newEndOffset,
const String& newType);
286 TokenPtr reinit(CharArray newTermBuffer, int32_t newTermOffset, int32_t newTermLength, int32_t newStartOffset, int32_t newEndOffset);
291 TokenPtr reinit(
const String& newTerm, int32_t newStartOffset, int32_t newEndOffset,
const String& newType);
296 TokenPtr reinit(
const String& newTerm, int32_t newTermOffset, int32_t newTermLength, int32_t newStartOffset, int32_t newEndOffset,
const String& newType);
301 TokenPtr reinit(
const String& newTerm, int32_t newStartOffset, int32_t newEndOffset);
306 TokenPtr reinit(
const String& newTerm, int32_t newTermOffset, int32_t newTermLength, int32_t newStartOffset, int32_t newEndOffset);
312 void reinit(
TokenPtr prototype,
const String& newTerm);
315 void reinit(
TokenPtr prototype, CharArray newTermBuffer, int32_t offset, int32_t length);
324 void ConstructToken(int32_t start, int32_t end,
const String& type, int32_t flags);
329 void growTermBuffer(int32_t newSize);
331 void initTermBuffer();
334 void clearNoTermBuffer();
351 virtual AttributePtr createAttributeInstance(
const String& className);
353 virtual int32_t hashCode();