MySQL主备复制原理

首先,MySQL主备复制有什么作用?
  • 数据分布
    在不同的地理位置分布数据备份,这对于具有大数据的公司尤为重要。

  • 负载均衡
    通常用作读写分离,将读操作分布到多个服务器上,实现对读密集型应用的优化,并且实现很方便,通过简单的代码修改就能实现基本的负载均衡。

  • 备份
    复制既不是备份也不能够取代备份,但对于备份来说,复制是一项很有意义的技术补充。

  • 高可用性和故障切换
    复制能够帮助应用程序避免MySQL单点失败,一个包含复制的设计良好的故障切换系统能够显著的缩短宕机时间。

  • MySQL升级测试
    在将要升级全部实例前,使用一个更高版本的MySQL作为备库,测试查询是否能够在备库按照预期执行。

那么,MySQL主备复制是如何工作的呢?

一般复制分为三个步骤:

  1. 主库把数据变更记录到二进制日志(Binary Log)中(这些记录也被称为二进制日志事件)

  2. 备库从主库上的二进制日志中读取二进制日志事件,并写在自己的中继日志(Relay Log)中。备库读取日志的方式不是轮询的方式,主备库的关系有点像日本漫画与动画的关系。当动画(备库复制日志)追赶上漫画(主库没有新的事件)的时候,动画制作就会先停止(备库读日志线程会进入睡眼状态),当漫画有更新时(主库有新的事件),动画(备库)被唤醒,接着制作(读取)

  3. 备库读取中继日志中的事件,将其重放到备库数据之上

如下图所示:
MySQL主备复制工作示意图

在Linux下用FFmpeg制作自己喜欢的小视频

前言

你想在Linux下自由的创作自己的视频吗?快来试试FFmpeg吧!

  • 查看自己屏幕分辨率
xrandr
注:"xrandr" 是一款官方的 RandR Wikipedia:X Window System 扩展配置工具。它可以设置屏幕显示的大小、方向、镜像等。比如屏幕分辨率是1366×768

  • 屏幕录制
ffmpeg -video_size 1366x768 -framerate 25 -f x11grab -i :0.0+0,0 -f pulse -ac 2 -i default `date +%Y-%m-%d_%H:%M:%S`.mp4
    注:如果提示:The encoder 'aac' is experimental but experimental codecs are not enabled, add '-strict -2' if you want to use it.
    则按提示增加参数'-strict -2',如:ffmpeg -video_size 1366x768 -framerate 25 -f x11grab -i :0.0+0,0 -f pulse -ac 2 -i default -strict -2 `date +%Y-%m-%d_%H:%M:%S`.mp4

  • 给视频增加或修改背景音乐
ffmpeg -i input.mp3 -i output.mp4 [-strict -2](可选) output.mp4
注:如果视频和音频时间不一样长,需要自己额外处理

  • 视频截取
ffmpeg -i input.mp4 -ss 00:00:10 -t 120 output.mp4
注:从第10秒开始,截取120秒

  • 打马赛克
ffmpeg -i input.mp4 -filter_complex "crop=298:80:115:38, boxblur=10[blurLogo1]; [v:0] [blurLogo1]overlay=115:38" -c:a copy -y output.mp4
注:打马赛克,其实是先从原视频里截取一个小区域并模糊处理,产生新视频,然后再把新视频合并回去,这样看起来原视频的某个区域就像打了马赛克一样

  • 加Logo水印
ffmpeg -i input.mp4 -i ../watermark.jpg -filter_complex "overlay=main_w-overlay_w-55:5" -codec:a copy output.mp4
注:在overlay的位置加上watermark.jpg图片

  • 从视频中截图
ffmpeg -i input.mp4 -y -f image2 -t 0.001 -ss 10 -s 1280x720 output.jpg
注:在视频的第10秒处生成1280×720的图片

  • 制作GIF图
ffmpeg -ss 10 -t 5 -i input.mp4 -r 10 -vf scale=-1:144 -y output.gif
注:从视频的第10秒开始计时5秒生成GIF图片

  • 合并视频
vim filelist.txt
file 'input1.mp4'
file 'input2.mp4'
file 'input3.mp4'
ffmpeg -f concat -i filelist.txt -c copy output.mp4
注:如果有三个视频文件需要合并,建立一个txt文本,把文件名写入,然后用命令合并

  • 混合音频
ffmpeg -i input1.mp3 -i input2.mp3 -filter_complex amix=inputs=2:duration=first:dropout_transition=2 -f mp3 output.mp3
-i 代表输入参数
-filter_complex ffmpeg滤镜功能,非常强大
    amix 是混合多个音频到单个音频输出
    inputs=2 代表是2个音频文件,如果更多则代表对应数字
    duration 确定最终输出文件的长度 longest(最长)|shortest(最短)|first(第一个文件)
    dropout_transition 结束后的过度时间,默认为2秒.
-f mp3  输出文件格式

  • 多张图片制作成视频
ffmpeg -f image2 -r 0.5 -i ./image%01d.jpg -vcodec libx264 -t 120 output.mp4
-r 代表每秒播放图片的帧数,比如,0.5代表每秒播放0.5帧的图片,即是每张图片播放2秒
-i 当前目录下的图片,名称image+数字规律命名的,%01d代表数字,0~99就是01d,0~999即是02d,以此类推
-t 视频时长,设置了-r,好像这个参数就不起作用了,t = (1 / r) * 图片数量,单位秒
  • 给视频增加字幕
ffmpeg -i input.mp4 -vf subtitles=字幕文件.srt output.mp4
字幕文件制作格式(括号里为说明):
1(第一段)
00:00:00,180 --> 00:00:01,800(时间,时:分:秒,毫秒)
什么是比特币?(内容)

2(第二段)
00:00:01,900 --> 00:00:04,900(时间,时:分:秒,毫秒)
比特币是第一个(内容)
去中心化的数字货币。

字幕文件下载地址
完成后的视频地址

Elasticsearch和PHP结合使用搜索分词

本示例所用环境
* 机器:普通电脑 ThinkPad E470c
* 系统:Ubuntu 16.04 LTS(在ArchLinux下测试也没有任何问题)
步骤

一. 学习Python,使用Python爬虫框架Scrapy爬取测试数据,之前准备爬取微博数据,学艺不精,爬取了豆瓣书籍目录下的一些信息。
1. 学习Python,感谢廖雪峰老师关于Python教程所作的贡献,教程地址
2. 感谢Scrapy文档,感叹:只要有一颗学习的心,知识真是唾手可得。
3. 感谢不知名网友,通过他的示例,完成了自己的需求,我自己爬取豆瓣书籍信息的项目地址


二. 爬取数据时,是保存在文件里的,用PHP把数据导入MySQL。
1. 把抓取到的书籍信息文件items.json放入第四步的demo里,然后使用demo里的PHP脚本导入MySQL.


三. 安装Elasticsearch,用PHP把数据从MySQL导入Elasticsearch。
1. 感谢阮一峰老师关于Elasticsearch教程所作的贡献,教程地址
这里面讲讲解了Elastic的安装和简单使用,还有分词插件。
2. 通过上述教程,结合Elastic官方出的elasticsearch-php库,完成了下面的demo。


四. 完成demo。
1. 项目地址
2. 图示
elasticsearch搜索显示示例图片


demo简介
  • Html+jquery+bootstrap+PHP+Elasticsearch中文分词搜索显示的示例。

demo目录结构及文件说明:

README.md 此说明


composer.json composer资源文件,此demo所使用的两个PHP库,Eloquent和elasticsearch-php库。Eloquent是Laravel里使用的数据库ORM,方便好用,能独立于Laravel使用。elasticsearch是PHP调用Elasticsearch服务的库。clone此项目后,使用命令:composer update -vvv安装依赖。


items.json 使用Python爬虫获取的豆瓣读书目录下的一些信息,JSON格式。此文件已从版本库里去掉,文件已共享


book.sql 数据库和数据表结构


douban.sql 爬取的数据导入MySQL后,导出的小部分SQL数据。觉得自己学习爬数据麻烦的同学,可以直接把数据导入MySQL。觉得数据太少的同学可以下载上面的json文件自己使用下面的脚本导入数据库,再从数据库导入ElasticSearch。


import_data_to_book_table_form_items_json.php 把items.json文件内容导入数据表脚本,命令:php 文件名直接执行


start.php PHP第三方库和数据库等前置配置



以下四个文件是单独测试Elasticsearch示例

createIndex.php 创建elasticsearch index、type(类似创建MySQL数据库、数据表),命令:php createIndex.php

insert.php 向elasticsearch插入测试数据,命令:php insert.php

search.php 根据条件查询数据,命令:php search.php

delete.php 删除elasticsearch index或者document,命令:php delete.php


douban 实际搜索显示demo目录

createDoubanIndex.php 创建elasticsearch index、type(类似创建MySQL数据库、数据表),命令:php createDoubanIndex.php

insertDataToEs.php 把之前导入MySQL的数据导入ElasticSearch,使用Eloquent ORM查出数据,然后批量插入Elasticsearch,命令:php insertDataToEs.php

search.php 前端请求的后端地址文件

view 前端模版文件目录

index.html 搜索显示页面,使用ajax分页和向后端传递数据

在自己本地测试访问地址:localhost/项目路径/elasticsearch_example/douban/view/index.html

完结

在Linux Ubuntu下把PDF扫描档转换为可编辑文本文件

本教程所用环境
* 机器:普通电脑 ThinkPad E470c
* 系统:Ubuntu 16.04 LTS
背景
    有一个朋友找我帮忙,需要把他在网上下载的一份pdf文件转换为word文档。刚开始我认为这个操作很简单,网上应该很多成熟的方案,果然,随便找找,就找到很多免费的在线转换网站。
    本以为事情结束了,native :) ,他下载的是一份扫描档pdf文件(每一页类似于一张文件),在线网站还没有找到能直接把pdf扫描档转换为word文档的,花了九牛二虎之力也没有发现简便的方法,最后我觉得应该借助Linux的工具来解决这件事(Windows有收费软件直接解决,更方便)。
方法

概括:先把pdf扫描档转换为图片,然后把图片转换为txt文本文档,最开始找到了一个软件pdfocr,但好像16.04安装不了。

  • 把pdf扫描档转换为图片

    这一步需要借助工具包poppler-utils,这个工具包里含有很多处理pdf文档的工具。

    1. 检测你是否已经安装过此工具dpkg -s poppler-utils,大多数Ubuntu默认已经安装了。如下图:
      pdf转换工具
      可以看到,有很多命令(pdftotext,pdftohtml,pdfimages等)供我们使用,如果是正常pdf文档是可以直接转换为txt文本的,命令:pdftotxt xx.pdf xx.txt

    2. 如果没有安装,则使用sudo apt install poppler-utils命令安装。

    3. 把pdf扫描档转换为png图片:pdfimages xxx.pdf -png 你的/存放/图片/目录/路径,如果你的pdf有多页,那么每页会自动生成一张图片。

  • 把图片转换成txt文档

    这一步需要借助工具是Tesseract,这个软件已经大名顶顶了。

    1. 安装命令sudo apt install tesseract-ocr tesseract-ocr-chi-sim,前一个是软件,后一个是中文简体语言包。语言包有很多,我只安装了中文简体,其它语言包如下图:
      Tesseract语言包

    2. cd进入你的/存放/图片/目录/路径

    3. 先处理单个文件试验一下:tesseract xx.png output -l chi_sim,参数:-l(L字母小写,language首字母) chi_sim是需要识别的语言包,成功后,当前目录下就会多一个output.txt文件,里面内容就是图片上的文字,但要注意,如果图片质量不好,那么识别出来的内容会有挺大的偏差。

    4. 批量处理命令:

    for i in `ls *.png | awk -F '.' '{print $1}'`;do tesseract $i.png $i -l chi_sim;done
    
ps:如果你有更好的方法,可以微信或邮件告知哟!

PHP设计模式-工厂模式

  • 工厂模式

    工厂设计模式提供获取某个对象的新实例的一个接口,同时使调用代码避免确定实际实例化基类的步骤。

    简述:假设,我们现在在获取微信端消息的通知,消息有许多类型,比如文本、图片、语音等,这些类型都包含在微信推送的内容里,需求是要把这些内容都保存在本地的数据库,我们来模拟一下,方法大概有两种:

    微信端消息的通知:用户向某服务号发送信息或触发了一些事件(扫码,上报地理位置等),如果此服务号开启了开发者的一些设置,那么微信会把相关信息或事件推送给服务号设置的接收信息地址。

  1. 获取到微信推送的内容后,判断出信息类型,然后实例化不同的对象来保存对应的信息。
    // 模拟获取信息
    $message = file_get_contents("php://input");
    switch ($message->type) {
        case 'link':
            $object = new Link();
            $object->save($message->content);
            break;
        case 'text':
            $object = new Text();
            $object->save($message->content);
            break;
        case 'image':
            $object = new Image();
            $object->save($message->content);
            break;
        case 'voice':
            $object = new Voice();
            $object->save($message->content);
            break;
        case 'video':
            $object = new Video();
            $object->save($message->content);
            break;
        case 'location':
            $object = new Location();
            $object->save($message->content);
            break;
        default:
            # code...
        break;
    }
    
  2. 使用工厂模式,可以有助于减少主代码流中基于条件的复杂性。
    // 模拟获取信息
    $message = file_get_contents("php://input");
    class MessageFactory {
        public static function create($type) {
            $class = ucfirst(strtolower($type));
    
            return new $class;
        }
    }
    
    $objcet = MessageFactory::create($message->type);
    $object->save($message->content);
    

    可以看到,第二种方式明显比第一种更简洁,不需要做过多的判断。另外,如果微信端增加了新的信息类型,我们在接收时也不需要再增加判断语句,只要增加一个处理对应类型的类即可。

    这种模式有点像硬币自动分拣器一样,不需要每个都判断它是五毛的还是一块的硬币,它会自动去到自己的存放点。见下图:
    硬币自动分拣器

数字货币的下一个小劫

  • 比特币的价值在于非法交易,洗钱或者资产转移。当然,还有资产掠夺,俗称“割韭菜”。

    在比特币大户(持币量在五位数以上)和交易平台等核心利益者的围剿之后,被掠夺者不计其数,多是不明就里,想短期内获取高额回报的投机者和暴富幻想家。投机比特币,就像是赌博,这是一场零和游戏,是极少数人掠夺其他玩家的钱,这个道理也许很多人明白,但都存在侥幸心理,希望自己不是最后被掠夺的人。

  • 现在,比特币的价格,除了上面所说的条件支撑,还有一个因素----ICO。

    ICO最早出现在2013年,那时也有一轮比特币的暴涨,但ICO远不如现在“威名远扬”,现在ICO里项目繁杂,名目众多,五花八门,可以说是多如牛毛,但正如某些圈内大佬所说:99%的项目就是为了圈钱。这些项目只接收比特币,莱特币,以太坊等已经在国际流通,且具有一定价格的数字货币,众多投机者必须到交易平台充值人民币,兑换成ICO项目规定的对应的数字货币,然后众筹给这个项目,换成项目方发行的代币,等待代币上线某交易平台,其他“韭菜”接手,完成自己的财富增值。

    大部分ICO项目都很离谱:
    1.很多人把一个原本没有融资能力的项目加一个区块链的外衣来圈钱或蒙钱;
    2.很多项目根本没有落地,拿着白皮书就去融钱,而且还能融到钱;
    3.找一些名人、圈内大佬站台,很多项目连白皮书都没有,同样也能拿到钱;
    4.很多白皮书里写的企业高管,团队成员全是伪造,是前腾讯、前facebook里xxx要员等,在搜索求证后发现,很多都是"克隆人";
    5.项目里声称,在和某些大公司合作,比如与Starbucks,Amazon合作等也是编造。
    ......

    有的项目甚至和某些交易平台、圈内大佬合作,一起掠夺别人,比如:利用某些平台做交易为某项目众筹,相当于把平台客户的钱,变成自己口袋里的钱。

    数字货币的疯狂,带动了ICO圈钱。ICO项目又反过来带动了数字货币的上涨。正如早期入场者说的:“都是一条船上的,现在应该唱多,好有嫩韭菜接盘,让我们跑。”

  • 投机者的劫难

    在现在滥竽充数的项目里,很多投机者等来的也许不是他们炒新所期待的结果,而可能是项目根本落不了地,代币上不了线,甚至是项目方跑路等劫难。

  • 数字货币的小劫

    为什么只是小劫呢?

    当被欺骗的人越来越多,怨声载道的时候,也是有关部门不得不整治的时候,这时会出现很多措施来监管ICO,ICO的名声为应声而下,很多代币也会下线,此时会戳破很多谎言,比特币等数字货币价格肯定会下跌,但也不至于伤筋到骨。所以我称之为小劫。

  • 总结

    “天欲其亡 必令其狂”,现在的ICO项目集资,让我想起了2014~2015年的互联网O2O创业拿风投,当时做出个手机app就能拿到钱。相同点是都是骗钱,不同点是骗不同人的钱。是泡沫都有破的时候,不像房市,有ZF托底调控,以三年的时间轴来看,这些泡沫坚持不了多久。等到腐败的ICO项目烂掉,完善的法律法规出来,更好的项目才能展现。而不是现在这样,为了圈钱而无所不用其极。

    我坚信区块链技术一定会发展的越来越好,基于区块链的落地应用也越来越多,但不是现在那些xx链的垃圾项目......

ETP(熵)币在Ubuntu下的挖矿教程

本教程所用环境
* 机器:普通电脑 ThinkPad E470c
* 系统:Ubuntu 16.04 LTS
步骤
  • 下载元界钱包
    • 官方博客有一篇元界(Metaverse)安装与使用手册,这里面涵盖了Windows,MacOSX,Linux系统下钱包下载,安装,使用的详细说明,可能在一些细节与实际不同,摸索一下就会掌握,如有问题,欢迎在评论下留言,或者直接联系我。
  • 下载挖矿软件
    1. 英语过关的请直接看这篇文章Ethereum GPU Mining on Linux How-To,这里有如何下载以太币挖矿软件和显卡驱动。建议:最好结合我下面的一起操作 🙂 。
    2. 我结合自己的实践来大概说明一下:
      • 用以下命令增加挖矿软件安装包的源:
      sudo apt-get install software-properties-common
      sudo add-apt-repository ppa:ethereum/ethereum
      sudo apt-get update
      

      如果是在Debian 8(在Ubuntu上你可以跳过此步骤)上你需要使用以下命令替换源名称:

      sudo sed 's/jessie/vivid/' -i /etc/apt/sources.list.d/ethereum-*.list
      sudo apt-get update
      
      • 安装ethereum, ethminer 和 geth:
      sudo apt-get install ethereum ethminer geth
      

      geth好像是用来生成以太币钱包地址的,对于我们将要挖ETP来说,应该没有用处。因为我们在安装好元界钱包,注册登录后会有ETP的地址。

      • 安装显卡驱动:
        首先,需要知道自己电脑的显卡型号,然后去官方下载对应的驱动软件。比如我的显卡是NVIDIA,电脑系统是Linux(Ubuntu 16.04 LTS)64位,使用的是GeForce 920。到N卡驱动官方网站搜索下载自己需要的驱动。

      然后,安装显卡驱动所需要的依赖:

      sudo apt-get install linux-headers-amd64 build-essential
      

      linux-headers-amd64 这个包好像已经废弃了,不过不影响后续安装。

      最后,安装驱动。显卡驱动安装必须在Linux文本模式,所以:

      第一步,Ctrl+Alt+F1切换到tty1,使用命令sudo service lightdm stop关闭 X-Window.

      第二步,给下载的驱动增加执行权限,然后运行(注:请先看完以下内容在运行).

      chmod +x NVIDIA-Linux-x86_64-367.35.run
      sudo ./NVIDIA-Linux-x86_64-367.35.run
      

      第三步,安装完成后,重新启动X-Windowsudo service lightdm start,然后Ctrl+Alt+F7进入图形界面;

      我在安装完成后遇到一个坑,在图形模式下,登录界面输入密码后依然跳转回登陆界面,无限循环。经过搜索,用以下方法重新安装解决:

      sudo ./NVIDIA.run -no-x-check -no-nouveau-check -no-opengl-files
      -no-x-check:安装驱动时关闭X服务
      -no-nouveau-check:安装驱动时禁用nouveau
      -no-opengl-files:只安装驱动文件,不安装OpenGL文件
      

      这样再reboot,就不会出现循环登录的问题。

      如果没有解决请参考这篇blog.

    3. 寻找矿池挖矿。

      我使用的是火池,挖矿命令:ethminer -F http://get.etp.huopool.com:8888/MEEihkdp6w7JKVA6hyKVGU9FomAV4G7jYP -G --farm-recheck 200

      由于我用的是个人电脑,所以算力很低 🙂 ,仅为了试验一下而已,下面是挖矿和矿池收益截图:
      挖矿图
      收益图

总结
  • 以上内容如果对你有帮助且你还有闲余的ETP的话,可以对我进行打赏
    我的ETP地址:MEEihkdp6w7JKVA6hyKVGU9FomAV4G7jYP
    我的博客地址:http://blog.blianb.com

比特币(bitcoin)的几种获取方法

  • 背景

现在比特币(bitcoin)的名头是越来越响,大街小巷,无人不知,价格也是越炒越高,我知道它也是很晚了,在二〇一三初的时候,当时价格是一千多,现在(二〇一七)已经翻了20多倍了。

  • 比特币的简介

详见维基百科,目前来说,比特币还处在投机,炒作之声中,但如果你要问,它会不会消失?我能肯定的说,它不会消失,因为它与不法交易息息相关,不法交易涵盖太多东西,这些东西就像人性的阴暗面,永远不会完全消失,只能说比特币可能会被一个新数字货币取代,而且这个数字货币有更强的安全性、匿名性和更广的接受程度。现在还没有那一种数字货币有这种趋势。

  • 获取比特币的几种方式
  1. 挖矿,中本聪(比特币创作者)把通过消耗CPU的电力和时间来产生比特币,比喻成金矿消耗资源将黄金注入经济。当前,挖矿对于普通人来说,已经没有任何可行性,只适用于专业矿工。
  2. 到交易平台进行交易,注册账号,充值人民币,购买比特币。现在交易平台很多,但要选择有一定年限和名气的平台,有些平台会有随时跑路的风险,另外,任何平台都有安全风险,我就经历过MT.Gox平台比特币被hacker盗币而倒闭的事件。
  3. 通过一些网站免费获取比特币,比如:

a. 浏览网站btcclicks上的广告,当然,你需要先注册一个账号,然后点击Surf Ads按钮到广告列表,每个广告都标明了广告时长和你能获得的比特币数量,当你积累到0.1mBTC时就可以提到自己的私人地址了。PS:此网站可能需要自备梯子才能浏览广告:)
b. 定时领取网站freebitcoin上的比特币,当然你也需要注册一个此网站的账号,然后每小时可以领取一定数量的比特币,当你积累到0.3mBTC时就可以提到自己的私人地址了。

以上两种方法,都是我亲测有效的,如果以后发现新的方法,会更新在这里。如果你有别的方法,也可以写在评论区哟,好东西需要大家分享呀!

判断一个地区第三次浪潮的发展情况

先简单介绍下本书《第三次浪潮》(The Third Wave),阐述了由科学技术发展所引起的社会各方面的变化与趋势,1980年3月出版

之前看新闻(2017-07-05),看到滴滴发布的北京交通流量分布图,觉得印象深刻。后来在读本书的时候,就联想到了这两者的关系。

书中说道,判断一个地区第三次浪潮的发展情况,有一个简单的办法:

观察当地的交通流量情况,如果高峰时刻仍旧很突出,交通现象又是早上集中在一个方向,晚上又从另一个方向回来,这说明第二次浪潮社会同步化仍旧占着优势。如果交通流量从早到晚都是均衡的,而且在越来越多的城市中都是这种情况,运行的方向都是多面的,而不是单向的来回,那么就可以很有把握地判断,第三次浪潮社会已经站稳脚根了,服务项目的职工已经超过了生产工人,灵活工时制已得到了发展,非全日工作和夜班工作已经盛行,昼夜开放的小规模超级市场,银行,加油站和饭店,也将很快得到发展。

我们再来看看滴滴出行发布的早晚高峰交通流量分布图:

早高峰:

早高峰

晚高峰:

晚高峰

这么看来,虽然说,《第三次浪潮》中判断某个地区第三次浪潮社会的发展对北京不是完全适用(这本书是1980年出版),但书中的描绘与北京是如此贴切,也能够说明北京现在还处在第二次浪潮中;北京现在的生产工人也确实是多于服务行业人员的。

这本书能给予你看待生活和时代变迁很多不同的观点,可能能对以后生活的不确定性变化做出一定的指导。

ps:在博客后台上传上面两张gif图时,一直提示http error,设置了nginx

client_max_body_size 4m;

后解决