简介

Gearman是一个轻量级分布式任务系统，它提供了一套程序框架将任务分发到不同的机器或进程，以便更好的处理任务。它允许并行工作、负载均衡处理、多语言间调用。能应用于多种场景，从高可用网站、图片缩放到数据库复制。

Gearman有以下几个优点：

1. 开源， BSD协议
2. 多语言支持，提供了多种编程语言API
3. 灵活，可以快速整合
4. 快速高效，Server采用C/C++编写，协议简单
5. 无单点故障
6. 容易水平扩展
7. 无消息容量限制

工作原理

Gearman驱动的应用程序由三部分组成：Client，Worker，Job Server

• Client：创建Job并发送任务到Job Server（生产者）
• Job Server：发现合适的Worker并把Job转发过去（协调者）
• Worker：处理Job Server转发过来的Job， 完成后通过Job Server发送响应到Client（消费者）

Gearman提供了Client和Worker API，应用程序通过调用API与Gearman Job Server通讯。你不需要自己处理网络问题或者Job的映射。

在Gearman内部，Client和Worker API通过TCP socket与Job Server通讯。

跨语言调用

Gearman提供了多种编程语言API，支持跨语言调用，假设需要通过PHP调用C语言程序， 可以使用PHP调用Client API发送数据，C语言程序调用Worker API处理数据并返回结果。

分布式

当某一个Job Server宕机后，连接到它的Client和Worker会自动迁移到其他存活的Job Server，你可能不希望运行太多的Job Server，但使用两到三台Job Server进行冗余是不错的选择。

持久化

Gearman Job Server内部的Job 队列是存储在内存里的。这意味着当服务器重启或崩溃的时，处于等待状态的Job会丢失，不会被Worker运行。持久化队列允许后台任务存储到外部的持久化队列中，以便服务器重启或崩溃后Job队列依然可用。持久化队列只对后台任务有效。因为前台任务是与Client绑定的，当Job Server离线后，Client能够检测到，并重新开始这个Job。任务加入到内部Job队列前就会被添加到持久化队列，当任务完成时，任务会从持久化队列中移除。目前Gearman支持Drizzle，MySQL，Postgresql，SQLite3，Memcached等持久化介质。

安装

Gearman安装

wget https://github.com/gearman/gearmand/releases/download/1.1.16/gearmand-1.1.16.tar.gztar -xvzf gearmand-1.1.16.tar.gzcd gearmand-1.1.16./configuremake && make install

Gearman PHP 扩展安装

wget https://pecl.php.net/get/gearman-1.1.2.tgztar -xvzf gearman-1.1.2.tgzcd gearman-1.1.2phpize./configuremake && make install

启动

/usr/local/sbin/gearmand -d

应用

简单任务（反转字符串）

Client

<?php
 
$client= new GearmanClient();
//添加Server
$client->addServer('127.0.0.1', 4730);
$data = "Hello World!";
//发送任务
$result = $client->doNormal("reverse", serialize($data));
echo $result;

Worker

<?php
  
$worker = new GearmanWorker();
//添加Server
$worker->addServer('127.0.0.1', 4730);
//注册Worker提供的reverse功能
$worker->addFunction('reverse', function($job){
    //获取Job数据
    $workload = $job->workload();
    $data = unserialize($workload);
    return strrev($data);
});
 
//阻塞，监听Job
while($worker->work()) {
    if ($worker->returnCode() != GEARMAN_SUCCESS) {
        //error
    }
}

并行任务（多次查询）

Client

<?php
 
$client = new GearmanClient();
//添加Server
$client->addServer('127.0.0.1', 4730);
 
//初始化用户信息和最近文章
$userInfo = $post = null;
 
//设置任务完成后的回调 $context 用于标识是哪个任务的回调
$client->setCompleteCallback(function(GearmanTask $task, $context) use (&$userInfo, &$friends, &$posts) {
    switch($context) {
        case 'getUserInfo':
            $userInfo = $task->data();
            break;
        case 'getLatestPost':
            $post = $task->data();
            break;
    }
});
 
//添加并行任务
$client->addTask('getUserInfo', 'joe@joe.com', 'getUserInfo');
$client->addTask('getLatestPost', 'joe@joe.com', 'getLatestPost');
 
//执行并行任务
$client->runTasks();
 
var_dump($userInfo, $post);

Worker

<?php
 
$worker = new GearmanWorker();
//添加Server
$client->addServer('127.0.0.1', 4730);
 
//注册Worker提供的getUserInfo功能
$worker->addFunction('getUserInfo', function(GearmanJob $job){
    //获取用户信息，假设要3s
    sleep(3);
    $username = $job->workload();
    return ['username' => $username, 'age' => 25];
});
  
//注册Worker提供的getLatestPost功能
$worker->addFunction('getLatestPost', function(GearmanJob $job){
    //获取用户信息，假设要3s
    sleep(3);
    $username = $job->workload();
    return ['title' => 'demo post', 'author' => $username];
});
 
while ($worker->work());

注意事项

• 集群部署时，需要开放相应端口。
• 使用MySQL持久化时，可能因为wait_timeout过小导致MySQL连接丢失，可以将参数调大，或者换用其他持久化介质。