Laravel使用全文检索引擎TNTSearch和中文分词jieba-php实现中文全文搜索

全文搜索

搜索基本就是每个网站必备的
虽然是搜索 但是去搜索
我是一个php程序员，我是一个java程序员
完全是两个概念
一般搜索都是 sql 的 like 去查询
比如 php是世界上最好的语言 这句话
如果我们用 sql 的 like 的 % 模糊查询的话
搜索的词要连贯并且一字不差；
可以搜 like 'php是%' 也可以搜 like '%最好的语言' 或者 like '%世界上最好%' ；
但你要是搜索 世界最好语言 还能搜索到吗？？
像 百度谷歌 可能会让用户一字不差的输入进去吗
这时候就会用到我们的全文搜索
简单的来说全文搜索的原理就是把内容按关键字给拆分了
比如说上面这句话拆成 php 、世界 、最好 、 语言
也就是php不用依赖第三方实现全文搜索的TNTSearch

中文分词

英文句子实现比较简单可以按空格去拆分
而中文 它并不懂 世界 、最好 、 语言 这些是词语
会把它给拆成单个字
这时候就需要中文分词了
中文分词就是会智能按中文的词语来拆分成关键字
作为 TNTSearch 中文分词的jieba-php

laravel框架实现

为了方便 先创建一个测试表和测试模型

php artisan make:model Models/Test -m

添加字段
/database/migrations/2019_01_16_055730_create_tests_table.php

    /**
     * Run the migrations.
     *
     * @return void
     */
    public function up()
    {
        Schema::create('tests', function (Blueprint $table) {
            $table->increments('id');
            $table->string('title')->default('')->comment('测试标题');
            $table->mediumText('content')->comment('测试内容');
            $table->timestamps();
        });
    }

.env文件数据库配置 就不用多说了吧

运行迁移命令生成数据表

php artisan migrate

创建数据填充文件

php artisan make:seed TestsTableSeeder

生成测试数据
/database/seeds/TestsTableSeeder.php

public function run()
    {
        DB::table('tests')->insert([
            [
                'title' => 'TNTSearch',
                'content' => 'PHP编写的全文搜索引擎,非常强大'
            ],
            [
                'title' => 'jieba-php',
                'content' => '强大的中文分词，最好的php中文分词，中文拆分成关键字'
            ]
        ]);
    }

运行填充

php artisan db:seed --class=TestsTableSeeder

这时候可以看到数据表里面有数据了

接下来测试

/routes/web.php

use App\Models\Test;
Route::get('search', function () {
    dump(Test::all()->toArray());
});

进入web页面 显示以下数据

依赖 SQLite 存储索引
再确认下自己的 php 是否开启以下扩展：

pdo_sqlite

sqlite3

mbstring

vanry为我们造的轮子 laravel-scout-tntsearch

直接通过composer安装

composer require vanry/laravel-scout-tntsearch

config/app.php

// config/app.php
'providers' => [
    // ...
    Laravel\Scout\ScoutServiceProvider::class,
    Vanry\Scout\TNTSearchScoutServiceProvider::class,
],

在 .env 文件中添加 SCOUT_DRIVER=tntsearch
然后就可以将 scout.php 配置文件发布到 config 目录。

php artisan vendor:publish --provider="Laravel\Scout\ScoutServiceProvider"

在 config/scout.php 中添加:

'tntsearch' => [
    'storage' => storage_path('indexes'), //必须有可写权限
    'fuzziness' => env('TNTSEARCH_FUZZINESS', false),
    'searchBoolean' => env('TNTSEARCH_BOOLEAN', false),
    'asYouType' => false,

    'fuzzy' => [
        'prefix_length' => 2,
        'max_expansions' => 50,
        'distance' => 2,
    ],

    'tokenizer' => [
        'driver' => env('TNTSEARCH_TOKENIZER', 'default'),

        'jieba' => [
            'dict' => 'small',
            //'user_dict' => resource_path('dicts/mydict.txt'), //自定义词典路径
        ],

        'analysis' => [
            'result_type' => 2,
            'unit_word' => true,
            'differ_max' => true,
        ],

        'scws' => [
            'charset' => 'utf-8',
            'dict' => '/usr/local/scws/etc/dict.utf8.xdb',
            'rule' => '/usr/local/scws/etc/rules.utf8.ini',
            'multi' => 1,
            'ignore' => true,
            'duality' => false,
        ],
    ],

    'stopwords' => [
        '的',
        '了',
        '而是',
    ],
],

目前支持 jieba, phpanalysis 和 scws 中文分词，在 .env 文件中配置 TNTSEARCH_TOKENIZER 可选值 为 jieba, analysis, scws, default， 其中 default 为 TNTSearch 自带的分词器。
考虑到性能问题，建议生产环境使用由C语言编写的scws分词扩展。

使用 jieba 分词器，需安装 fukuball/jieba-php

composer require fukuball/jieba-php

使用 phpanalysis 分词器，需安装 lmz/phpanalysis

composer require lmz/phpanalysis

使用 scws 分词器，需安装 vanry/scws

composer require vanry/scws

分别在 config/scout.php 中的 jieba, analysis 和 scws 中修改配置。

这里我使用的jieba 先安装 然后在.env文件配置TNTSEARCH_TOKENIZER=jieba

模型中定义全文搜索；
/app/Models/Test.php

<?php

namespace App\Models;

use Illuminate\Database\Eloquent\Model;
use Laravel\Scout\Searchable;

class Test extends Model
{
    //
    use Searchable;
    /**
     * 索引的字段
     *
     * @return array
     */
    public function toSearchableArray()
    {
        return [
            'id'=>$this->id,
            'title'=>$this->title,
            'content'=>$this->content,
        ];
    }
}

生成索引

php artisan scout:import "App\Models\Test"

使用方法 要搜索的内容传给 search() 方法
/routes/web.php

use App\Models\Test;
Route::get('search', function () {
    dump(Test::all()->toArray());
    dump(Test::search('全文搜索引擎')->get()->toArray());
});

这时候发现结果是空的 因为还没有生成索引

生成索引

php artisan scout:import "App\Models\Test"

/routes/web.php

use App\Models\Test;
Route::get('search', function () {
    dump(Test::all()->toArray());
    dump(Test::search('全文搜索引擎')->get()->toArray());
    dump(Test::search('强大搜索引擎')->get()->toArray());
    dump(Test::search('php分词')->get()->toArray());
});

接下来看下打印出来的结果

看是不是成功啦