解决Cassandra节点一直报告”received an invalid gossip generation”问题


有一个月多月的时间Cassandra节点一直报告“received an invalid gossip generation for peer xxx.xxx.xxx.xxx; local generation = 1414613355, received generation = 1450978722”,导致不能创建表。

试过重启报告问题的节点,以及集群内所有节点逐个重启,问题都没有解决。

最近通过Nodes showing DN in nodetool status with “invalid gossip generation” warning in logs文章找到了long-running cluster sees bad gossip generation when a node restarts文章,有朋友报告,重启整个集群解决了问题,突然来了灵感,找了一个业务空闲的时间,将所有集群节点全部停止,再次重启,问题解决。

之前一直有个误区,认为重启集群,是集群中的节点逐个重启一遍,原来是需要停掉集群所有节点,再次启动。

Advertisements

Nginx配置只能通过域名访问,禁止通过IP访问


为了避免客户直接使用IP地址访问我们的网站,导致运维需要变更域名对应IP时引发客户报障,我们可以通过Nginx进行域名访问的限制性配置,具体配置如下:

修改nginx.conf 文件
修改成

server {
    listen 80;
    server_name www.example.com; #这里是你自己指定的域名
    ...
}

再在上个server后继续添加一段:
如果没有找到域名配置的server,会继续向后查找server,走到默认server直接返回403

server {
    listen 80 default_server;
    server_name _;
    return 403;
}

通过以上配置,当使用IP访问时就会返回403错误

Nginx限速配置心得


参考:Rate Limiting with NGINX and NGINX Plus

  • 令牌桶设置技巧——不做缓冲令牌桶,超速直接返回
    nginx做限速,设置不做缓冲,burst=0不能写在配置文件里,直接不写burst参数默认为0
    增加nodelay参数,立即返回错误

    limit_req zone=xxxx nodelay;

  • 超速默认返回503(Service Unavailable),设置limit_req_status参数可指定返回的错误代码

    limit_req_status 429;

    429(Too Many Requests),参考:RFC 6585 – Additional HTTP Status Codes – IETF Tools

  • limit_req可以配置成Server,Location多个位置

Servlet, Struts2 Action, SpringMVC Control是否单例测试结果


同事咨询Servlet, Struts2 Action, SpringMVC Control的应用情况,针对是否单例,运行工程实际测试了一下。

测试方法:

  • 在Servlet.service方法中打印对象的hashcode值
  • 在Action.excute方法中打印对象的hashcode值
  • 在Control.XXX方法中打印对象的hashcode值

测试结果:

  • Servlet是单例的,多个请求共用一个对象。
  • Struts2 Action是多例的,每次请求都新生成一个实例对象。
  • SpringMVC Control是单例的,多个请求共用一个对象。

结论:

对于高并发的Web应用,建议不使用Struts,每个请求新生成一个对象,是个比较大的开销,同时Struts在开发上限制太多和直接写Servlet无太大区别,缺乏灵活性。

 

使用POI输出超过65536行大Excel(SXSSF技术)


一直以来都用POI做Excel导出,之前导出的Excel格式都是2003版的——XLS,最近客户要求导出超过65536条数据,超出了XLS的上限,所以研究起XSSFWorkbook的用法。

原本以为只是把HSSFWorkbook替换成XSSFWorkbook就能导出数据,无奈总是报告内存溢出。放狗查找资料,最终锁定SXSSFWorkbook类。

首先参考Upgrading to POI 3.5, including converting existing HSSF Usermodel code to SS Usermodel (for XSSF and HSSF)完成HSSFWorkbook转换为XSSFWorkkbook的转换,注意使用CreationHelper类。

再参考SXSSF (Streaming Usermodel API)完成大文件的输出

import junit.framework.Assert;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.util.CellReference;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;

public static void main(String[] args) throws Throwable {
    SXSSFWorkbook wb = new SXSSFWorkbook(100); // keep 100 rows in memory, exceeding rows will be flushed to disk
    Sheet sh = wb.createSheet();
    for(int rownum = 0; rownum < 1000; rownum++){
        Row row = sh.createRow(rownum);
        for(int cellnum = 0; cellnum < 10; cellnum++){
            Cell cell = row.createCell(cellnum);
            String address = new CellReference(cell).formatAsString();
            cell.setCellValue(address);
        }

    }

    // Rows with rownum < 900 are flushed and not accessible
    for(int rownum = 0; rownum < 900; rownum++){
      Assert.assertNull(sh.getRow(rownum));
    }

    // ther last 100 rows are still in memory
    for(int rownum = 900; rownum < 1000; rownum++){
        Assert.assertNotNull(sh.getRow(rownum));
    }

    FileOutputStream out = new FileOutputStream("/temp/sxssf.xlsx");
    wb.write(out);
    out.close();    // dispose of temporary files backing this workbook on disk
    wb.dispose();
}

写在最后

  • SXSSF通过把数据缓存到磁盘临时文件,完成超大Excel的输出。
  • 一个Sheet对应一个临时文件
  • 通过SXSSFWorkbook构造函数指定多少条写入临时文件,实际测试证明,维持默认100条能够获得较好的性能。
  • 最后不要忘记使用SXSSFWorkbook.dispose()方法清除临时文件,该方法返回true,则表示所有的临时文件都已经清除。
    该方法实际最终执行SheetDataWriter.dispose(),此方法内部执行java.io.Writer.close()方法释放资源,同时执行java.io.File.delete()方法删除临时文件。
  • 如果碰到临时文件空间的问题,可以尝试启动GZIP,用CPU来换空间了。

GZIP启用方法:

SXSSFWorkbook wb = new SXSSFWorkbook(); 
  wb.setCompressTempFiles(true); // temp files will be gzipped

Intel Rapid Start 安装配置方法


Intel Rapid Start:Intel 推出的一种快速恢复技术,能够保证笔记本在深度睡眠的时候维持接近于0W的功耗,同时又提供快速恢复能力,恢复能力接近于从内存直接恢复系统的速度,当然,这一切除了去年年底上市的芯片组以外,还需要SSD的支持。

困扰了我两天的Intel Rapid Start安装配置终于解决,笔记本官方以及Intel都没有放出有效的安装方法,最后在Dell的英文支持论坛找到答案,简单翻译一下,供大家参考。

安装成功条件:
1. 确认 BIOS 支持 Intel Rapid Start Technologies,并且已经选择了 Enable。
2. SSD硬盘必须分配和内存大小相同的睡眠分区。
3. 安装厂商提供的Intel Rapid Start Technologies软件程序

详细安装步骤(以Window 7为例):
1. 右击开始菜单里的“计算机”打开磁盘管理工具。
2. 在磁盘管理工具里选中你SSD所在硬盘,选择一个空闲空间最大的分区,右击,选择压缩卷。
3. 分配和内存大小相同的磁盘空间。比如我的是4GB内存,则输入4096,计算方法:1024 * 4。

在开始菜单搜索cmd,并选择以管理员身份打开,然后输入以下命令
a) Diskpart
b) Select disk 0 (这个命令是选择磁盘,为了确保选择的是SSD,可以首先通过list disk查看磁盘情况,从0开始计数)
c) create partition primary size=4096 id=84
命令执行完成后,可以在磁盘管理工具中看到新增了一个和内存大小相同的睡眠分区。
最后一步:重启系统,然后安装Intel Rapid Start Technologies软件

参考:http://en.community.dell.com/support-forums/laptop/f/3518/p/19410148/19963290.aspx

Centos 6 配置 NFS 注意事项


Centos6默认已经安装了NFS所需软件包,只是没有启动。

通过修改/etc/exports文件,设置NFS共享文件目录,

/nfsdata 10.32.0.22(rw,root_squash,sync) 10.32.0.23(rw,root_squash,sync)

重新载入exportfs

# exportfs -arv

然后重启nfs服务。

# service nfs start

以上几步虽然可以启动nfs服务,但是却存在一些问题,第一是nfs防火墙配置,nfs有一部分端口默认是动态的,需要设置为固定端口号;其次是nfs server默认通过文件的uid和gid判断当前用户是否具备文件读写权限。如果有多台服务器共享同一个目录,那么需要确保多台服务器访问共享路径的用户uid和gid相同,否则将提示权限错误。

设置固定端口号

# vim /etc/sysconfig/nfs

解开以下行的注释

LOCKD_TCPPORT=32803
LOCKD_UDPPORT=32769
MOUNTD_PORT=892
RQUOTAD_PORT=875
STATD_PORT=662
STATD_OUTGOING_PORT=2020

重新启动nfs服务

# service nfs restart

配置防火墙

# vim /etc/sysconfig/iptables
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p udp --dport 111 -j ACCEPT
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p tcp --dport 111 -j ACCEPT
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p tcp --dport 2049 -j ACCEPT
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p tcp --dport 32803 -j ACCEPT
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p udp --dport 32769 -j ACCEPT
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p tcp --dport 892 -j ACCEPT
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p udp --dport 892 -j ACCEPT
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p tcp --dport 875 -j ACCEPT
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p udp --dport 875 -j ACCEPT
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p tcp --dport 662 -j ACCEPT
-A INPUT -s 10.32.0.0/24 -m state --state NEW -p udp --dport 662 -j ACCEPT

重启防火墙

# service iptables restart

客户端挂载

# mount -t nfs 10.32.0.10:/nfsdata /mnt/nfsdata

确认两台nfs客户端的uid和gid一致,例如:

# id java

如果id不一致可以通过usermod和groupmod命令修改id,id修改之后,用户关联的文件需要重新设定用户和用户组