com.hankcs.hanlp.tokenizer
类 SpeedTokenizer

java.lang.Object
  继承者 com.hankcs.hanlp.tokenizer.SpeedTokenizer

public class SpeedTokenizer
extends Object

极速分词,基于Double Array Trie实现的词典分词,适用于“高吞吐量”“精度一般”的场合

作者:
hankcs

字段摘要
static Segment SEGMENT
          预置分词器
 
构造方法摘要
SpeedTokenizer()
           
 
方法摘要
static List<List<Term>> seg2sentence(String text)
          切分为句子形式
static List<Term> segment(char[] text)
          分词
static List<Term> segment(String text)
           
 
从类 java.lang.Object 继承的方法
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait
 

字段详细信息

SEGMENT

public static final Segment SEGMENT
预置分词器

构造方法详细信息

SpeedTokenizer

public SpeedTokenizer()
方法详细信息

segment

public static List<Term> segment(String text)

segment

public static List<Term> segment(char[] text)
分词

参数:
text - 文本
返回:
分词结果

seg2sentence

public static List<List<Term>> seg2sentence(String text)
切分为句子形式

参数:
text - 文本
返回:
句子列表


Copyright © 2014–2015 鐮佸啘鍦�/a>. All rights reserved.