com.hankcs.hanlp.tokenizer
类 BasicTokenizer

java.lang.Object
  com.hankcs.hanlp.tokenizer.BasicTokenizer

public class BasicTokenizer
extends Object

基础分词器，只做基本NGram分词，不识别命名实体，不使用用户词典

作者：

hankcs

字段摘要

static Segment

SEGMENT 预置分词器

构造方法摘要

BasicTokenizer()

方法摘要

static List<List<Term>>	seg2sentence(String text) 切分为句子形式
static List<Term>	segment(char[] text) 分词
static List<Term>	segment(String text) 分词

从类 java.lang.Object 继承的方法

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细信息

SEGMENT

public static final Segment SEGMENT

预置分词器

构造方法详细信息

BasicTokenizer

public BasicTokenizer()

方法详细信息

segment

public static List<Term> segment(String text)

分词

参数：

text - 文本

返回：

分词结果

segment

public static List<Term> segment(char[] text)

分词

参数：

text - 文本

返回：

分词结果

seg2sentence

public static List<List<Term>> seg2sentence(String text)

切分为句子形式

参数：

text - 文本

返回：

句子列表