CentOS7时间同步服务chrony


CentOS 7默认使用chrony替代ntp服务进行时间同步,用法很简单

安装

~]# yum install chrony

启动

~]# systemctl start chronyd

配置自动启动

~]# systemctl enable chronyd

关于chrony的详细介绍可参考:Red Hat Enterprise Linux 7 – Using chrony

 

Advertisements

解决Cassandra节点一直报告”received an invalid gossip generation”问题


有一个月多月的时间Cassandra节点一直报告“received an invalid gossip generation for peer xxx.xxx.xxx.xxx; local generation = 1414613355, received generation = 1450978722”,导致不能创建表。

试过重启报告问题的节点,以及集群内所有节点逐个重启,问题都没有解决。

最近通过Nodes showing DN in nodetool status with “invalid gossip generation” warning in logs文章找到了long-running cluster sees bad gossip generation when a node restarts文章,有朋友报告,重启整个集群解决了问题,突然来了灵感,找了一个业务空闲的时间,将所有集群节点全部停止,再次重启,问题解决。

之前一直有个误区,认为重启集群,是集群中的节点逐个重启一遍,原来是需要停掉集群所有节点,再次启动。

Nginx配置只能通过域名访问,禁止通过IP访问


为了避免客户直接使用IP地址访问我们的网站,导致运维需要变更域名对应IP时引发客户报障,我们可以通过Nginx进行域名访问的限制性配置,具体配置如下:

修改nginx.conf 文件
修改成

server {
    listen 80;
    server_name www.example.com; #这里是你自己指定的域名
    ...
}

再在上个server后继续添加一段:
如果没有找到域名配置的server,会继续向后查找server,走到默认server直接返回403

server {
    listen 80 default_server;
    server_name _;
    return 403;
}

通过以上配置,当使用IP访问时就会返回403错误

Nginx限速配置心得


参考:Rate Limiting with NGINX and NGINX Plus

  • 令牌桶设置技巧——不做缓冲令牌桶,超速直接返回
    nginx做限速,设置不做缓冲,burst=0不能写在配置文件里,直接不写burst参数默认为0
    增加nodelay参数,立即返回错误

    limit_req zone=xxxx nodelay;

  • 超速默认返回503(Service Unavailable),设置limit_req_status参数可指定返回的错误代码

    limit_req_status 429;

    429(Too Many Requests),参考:RFC 6585 – Additional HTTP Status Codes – IETF Tools

  • limit_req可以配置成Server,Location多个位置

Servlet, Struts2 Action, SpringMVC Control是否单例测试结果


同事咨询Servlet, Struts2 Action, SpringMVC Control的应用情况,针对是否单例,运行工程实际测试了一下。

测试方法:

  • 在Servlet.service方法中打印对象的hashcode值
  • 在Action.excute方法中打印对象的hashcode值
  • 在Control.XXX方法中打印对象的hashcode值

测试结果:

  • Servlet是单例的,多个请求共用一个对象。
  • Struts2 Action是多例的,每次请求都新生成一个实例对象。
  • SpringMVC Control是单例的,多个请求共用一个对象。

结论:

对于高并发的Web应用,建议不使用Struts,每个请求新生成一个对象,是个比较大的开销,同时Struts在开发上限制太多和直接写Servlet无太大区别,缺乏灵活性。

 

使用POI输出超过65536行大Excel(SXSSF技术)


一直以来都用POI做Excel导出,之前导出的Excel格式都是2003版的——XLS,最近客户要求导出超过65536条数据,超出了XLS的上限,所以研究起XSSFWorkbook的用法。

原本以为只是把HSSFWorkbook替换成XSSFWorkbook就能导出数据,无奈总是报告内存溢出。放狗查找资料,最终锁定SXSSFWorkbook类。

首先参考Upgrading to POI 3.5, including converting existing HSSF Usermodel code to SS Usermodel (for XSSF and HSSF)完成HSSFWorkbook转换为XSSFWorkkbook的转换,注意使用CreationHelper类。

再参考SXSSF (Streaming Usermodel API)完成大文件的输出

import junit.framework.Assert;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.util.CellReference;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;

public static void main(String[] args) throws Throwable {
    SXSSFWorkbook wb = new SXSSFWorkbook(100); // keep 100 rows in memory, exceeding rows will be flushed to disk
    Sheet sh = wb.createSheet();
    for(int rownum = 0; rownum < 1000; rownum++){
        Row row = sh.createRow(rownum);
        for(int cellnum = 0; cellnum < 10; cellnum++){
            Cell cell = row.createCell(cellnum);
            String address = new CellReference(cell).formatAsString();
            cell.setCellValue(address);
        }

    }

    // Rows with rownum < 900 are flushed and not accessible
    for(int rownum = 0; rownum < 900; rownum++){
      Assert.assertNull(sh.getRow(rownum));
    }

    // ther last 100 rows are still in memory
    for(int rownum = 900; rownum < 1000; rownum++){
        Assert.assertNotNull(sh.getRow(rownum));
    }

    FileOutputStream out = new FileOutputStream("/temp/sxssf.xlsx");
    wb.write(out);
    out.close();    // dispose of temporary files backing this workbook on disk
    wb.dispose();
}

写在最后

  • SXSSF通过把数据缓存到磁盘临时文件,完成超大Excel的输出。
  • 一个Sheet对应一个临时文件
  • 通过SXSSFWorkbook构造函数指定多少条写入临时文件,实际测试证明,维持默认100条能够获得较好的性能。
  • 最后不要忘记使用SXSSFWorkbook.dispose()方法清除临时文件,该方法返回true,则表示所有的临时文件都已经清除。
    该方法实际最终执行SheetDataWriter.dispose(),此方法内部执行java.io.Writer.close()方法释放资源,同时执行java.io.File.delete()方法删除临时文件。
  • 如果碰到临时文件空间的问题,可以尝试启动GZIP,用CPU来换空间了。

GZIP启用方法:

SXSSFWorkbook wb = new SXSSFWorkbook(); 
  wb.setCompressTempFiles(true); // temp files will be gzipped

Intel Rapid Start 安装配置方法


Intel Rapid Start:Intel 推出的一种快速恢复技术,能够保证笔记本在深度睡眠的时候维持接近于0W的功耗,同时又提供快速恢复能力,恢复能力接近于从内存直接恢复系统的速度,当然,这一切除了去年年底上市的芯片组以外,还需要SSD的支持。

困扰了我两天的Intel Rapid Start安装配置终于解决,笔记本官方以及Intel都没有放出有效的安装方法,最后在Dell的英文支持论坛找到答案,简单翻译一下,供大家参考。

安装成功条件:
1. 确认 BIOS 支持 Intel Rapid Start Technologies,并且已经选择了 Enable。
2. SSD硬盘必须分配和内存大小相同的睡眠分区。
3. 安装厂商提供的Intel Rapid Start Technologies软件程序

详细安装步骤(以Window 7为例):
1. 右击开始菜单里的“计算机”打开磁盘管理工具。
2. 在磁盘管理工具里选中你SSD所在硬盘,选择一个空闲空间最大的分区,右击,选择压缩卷。
3. 分配和内存大小相同的磁盘空间。比如我的是4GB内存,则输入4096,计算方法:1024 * 4。

在开始菜单搜索cmd,并选择以管理员身份打开,然后输入以下命令
a) Diskpart
b) Select disk 0 (这个命令是选择磁盘,为了确保选择的是SSD,可以首先通过list disk查看磁盘情况,从0开始计数)
c) create partition primary size=4096 id=84
命令执行完成后,可以在磁盘管理工具中看到新增了一个和内存大小相同的睡眠分区。
最后一步:重启系统,然后安装Intel Rapid Start Technologies软件

参考:http://en.community.dell.com/support-forums/laptop/f/3518/p/19410148/19963290.aspx