Heka

heka是一个用Golang编写的日志收集服务 more ...

2015.05.07静坐

静坐

饭后行至“月明心清”。初时闻蝉长鸣,俄而心静。

清风徐来,起息则风起,落息则风止,若随呼吸而生变化,当真玄妙。

蚊虫噬而似不觉,路人过而身未动。

至起身时,闻路人言:"有车有房,何忧何虑?"如此便可了吗?

而后读书,觉南怀瑾《论语别裁》非是真正体会中华文化的方式,不用注解的方式难以理解原文的遣词造句,这样怎么做到以经解经呢?

跑步归来,想起少年时集体跑步呼吸难以为继,大概是被赶鸭子要求与大家同样频率的缘故吧?有自己节奏之后的运动才是乐事嘛

more ...

《爱的艺术》读后感

我第二遍在读《爱的艺术》,今年读过最有启发的书。

读到附录,忽然发觉,我不像许多心理学常说的“受父母或环境影响”,我的生活中找不到我父母的行为模式,受影响少的可怜。

我既没有受类似父爱的影响,亦没有受母爱的影响,或者说对我性格影响都很少。

若真要说类似的影响,只有诸子百家吧?

在我心中,始终是这样的态度:

孟子谓万章曰:
一乡之善士,斯友一乡之善士;
一国之善士,斯友一国之善士;
天下之善士,斯友天下之善士。
以友天下之善士为未足,又尚论古之人。
颂其诗,读其书,不知其人,可乎?
是以论其世也。是尚友也。 —— 《孟子·万章下》

仔细想来,也许正因如此,诸多地方与现代人不同,才导致我总有些感觉与周围格格不入。

more ...

找到乱建文件的家伙!

最近有一台服务器上的日志在切割之后新日志属主经常会变成root, 那么,监控是哪个家伙来改的吧!

使用auditd针对/data/logs/app/进行监控

auditctl -w /data/logs/app/ -p wxa -k php_app_change

第二天查看监控结果

ausearch -k php_app_change | less

用/搜索CREATE 有用内容如下:

time->Mon Mar 23 23:59:02 2015
type=PATH msg=audit(1427126342.023:1289345): item=1 name="/data/logs/app/http_access.log" inode=3418062 ...
more ...

明源的2013

2013年终总结,2014新年展望 more ...

分布式任务队列Celery快速上手

Celery介绍

celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。

  • 它侧重于实时操作,但对调度支持也很好。
  • celery用于生产系统每天处理数以百万计的任务。
  • celery是用Python编写的,但该协议可以在任何语言实现。它也可以用其他语言通过webhooks实现。
  • 目前已知有php/ruby/nodejs的实现

为什么用Celery?

  • 异步
  • 耗时久的事儿可以扔给 Worker 处理,处理完可以触发子任务提醒
  • 天然的并发能力(多进程/协程)!
  • 非常方便添加 Worker 来增强处理能力
  • Celery提供了Web方式的监控/报警,这样,我们就可以监控每个任务的情况了
  • 出现错误可以自动处理/重试

角色介绍

Brokers: 提供队列服务,Celery支持的Brokers有:

  • RabbitMQ(推荐)
  • Redis
  • MongoDB
  • Beanstalk
  • CouchDB
  • SQLAlchemy(MySQL/PostgreSQL/Sqlite/Oracle)
  • Amazon SQS等

Worker ...

more ...

使用Ansible批量/自动部署Hadoop CDH3

介绍

Ansible

  • 开源的配置管理/批量执行方案
  • 非常轻量
  • 使用简单, 功能强大
  • 基于Python
  • http://ansibleworks.com/

CDH

Hadoop中最流行的发行版

本项目

链接 : https://github.com/muxueqz/ansible-hadoop-cdh3

基本是fork自 https://github.com/ansible/ansible-examples/tree/master/hadoop ,

将CDH4换成了CDH3,增加了Hive/Hbase

过几天我整理一个中文的使用方法 ^_^

more ...

新版百度空间RSS订阅方法(2013.08.11更新)

坑爹的Yahoo Pipes不知怎么了,原来的那个被重置成了H站RSS。。

链接:http://pipes.yahoo.com/pipesmuxueqz/hibaidurss_new

在考虑用开源方案替代Yahoo Pipes了

more ...