com.hankcs.hanlp.tokenizer
类 StandardTokenizer

java.lang.Object
  com.hankcs.hanlp.tokenizer.StandardTokenizer

public class StandardTokenizer
extends Object

标准分词器

作者：

hankcs

字段摘要

static Segment

SEGMENT 预置分词器

构造方法摘要

StandardTokenizer()

方法摘要

static List<List<Term>>	seg2sentence(String text) 切分为句子形式
static List<Term>	segment(char[] text) 分词
static List<Term>	segment(String text) 分词

从类 java.lang.Object 继承的方法

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细信息

SEGMENT

public static final Segment SEGMENT

预置分词器

构造方法详细信息

StandardTokenizer

public StandardTokenizer()

方法详细信息

segment

public static List<Term> segment(String text)

分词

参数：

text - 文本

返回：

分词结果

segment

public static List<Term> segment(char[] text)

分词

参数：

text - 文本

返回：

分词结果

seg2sentence

public static List<List<Term>> seg2sentence(String text)

切分为句子形式

参数：

text - 文本

返回：

句子列表