2018年7月

先缕一下背景，计算机网络，连在网络中的机器都有一个(或多个)IP地址，提供Web服务的机器，常有一个便于人们记忆的域名，通过DNS解析到一个(或多个)IP地址。有的网站流量大，需要不止一台机器提供服务，但域名只有一个，只能指向一台机器，怎么办呢？

代理服务器负载均衡(简称LB)，提升静态网页的访问速度，增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性

互联网产品做大了，再做它个开放平台，搞完用户，搞合作伙伴。对外提供内网服务，开放平台服务器(简称OP)实现认证，代理调用内网服务。
以下，OP、LB、Server均为Nginx

remote_addr_proxy.png

Web服务器，一些场景，根据来源IP地址，决定服务与否。若是内网接口，只服务内网机器，拒绝服务来自外网的请求。
遇到的问题是，当client c通过OP请求内网接口时，Server解析客户端IP为client c的IP，其为外网IP 遂拒绝了服务。此时，我们希望Server拿到的客户端IP为OP的内网IP，这样就能正常为OP代理的客户服务了。怎么做呢？

HTTP协议虽然定义了Client-Ip请求头，但不是安全的，服务器的做法是取TCP连接的对端IP作为client ip，在Nginx中，解析为变量$remote_addr，不架设代理、负载均衡时，直接拿来用即可。但当在Server前代理时，应利用Nginx的ngx_http_realip_module中的real_ip_header指令，指定用哪个请求header的值来替换默认的$remote_addr。

假设
client a IP：12.34.56.78
OP IP: 34.56.78.90 及内网IP 10.22.33.44
LB IP: 10.23.34.45
这时，我们考察 X-Forwarded-For 的定义及格式，对于上图Server接收来自client c的请求时，X-Forwarded-For首先由OP设置为client c的IP，即

proxy_set_header X-Forwarded-For $remote_addr;

LB接收此header时，应再次设置

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

此时，到达Server的信息应该是：
$remote_addr: 10.23.34.45
X-Forwarded-For: 12.34.56.78,10.22.33.44

注意，Server知道Load Balance的存在，所以不关心$remote_addr的默认值，关心的是真正的请求IP，此时可设置
real_ip_header

set_real_ip_from  10.0.0.0/8;
real_ip_header    X-Forwarded-For;
real_ip_recursive off;

关于real_ip_recursive指令，官方文档：

If recursive search is disabled, the original client address that
matches one of the trusted addresses is replaced by the last address
sent in the request header field defined by the real_ip_header
directive. If recursive search is enabled, the original client address
that matches one of the trusted addresses is replaced by the last
non-trusted address sent in the request header field.

设置off时，Server得到的$remote_addr为10.22.33.44 即开放平台的IP，正常服务！

注：RFC 7239 定义了一个新的 Forwarded header，更完备地组织这些信息。

位操作高效解决问题

其中，
Sum of Two Integers
Use ^ and & to add two integers

int getSum(int a, int b) {
    return b==0? a:getSum(a^b, (a&b)<<1); //be careful about the terminating condition;
}

用^及& 实现 加法
看了好一会儿，才看懂
两个位串相加，结果可由两部分组成：不同的位 与 相同的位
不同的位，用^取得
相同的位，相加并进位，先&运算,再左移1位
此两部分相加，即得结果，递归下去即可。

注意边界情况，整型通常4字节32位，不断左移终使b为0，结束递归。
对于python/php等脚本语言，实现了非常大的整型范围，这样写法则不成了，需用mask限制32位

class Solution(object):
    def getSum(self, a, b):
        """
        :type a: int
        :type b: int
        :rtype: int
        """
        # 32 bits integer max
        MAX = 0x7FFFFFFF
        # 32 bits interger min
        MIN = 0x80000000
        # mask to get last 32 bits
        mask = 0xFFFFFFFF
        while b != 0:
            # ^ get different bits and & gets double 1s, << moves carry
            a, b = (a ^ b) & mask, ((a & b) << 1) & mask
        # if a is negative, get a's 32 bits complement positive first
        # then get 32-bit positive's Python complement negative
        return a if a <= MAX else ~(a ^ mask)

如上，Python3整型是无界的(无限大)，想限定整型上限，如何能让其如C/Java一样表示补码？
为了理解最后一行代码的含义，我们可以假设场景，然后确定目的是什么。
假设C语言int占4位，python语言int占8位，mask为0xF
举例，我们得到的a若为 0b0101，它被预期正常解释，算法结束；若a为0b1011，根据此算法的隐含条件，我们想让它被解释成负数，就得让它符号扩展到 0b11111011

~(a ^ mask)

0b1011 => 0b0100 => 0b11111011

给运营同学提供数据支持，需求是导出数据文件，通常就是Excel能打开的、通用的CSV逗号分隔符文件。

首先导出 无BOM头UTF-8编码的标准csv格式文件，但用Excel打开此csv乱码。
此时考虑，能否手动指定Excel打开文件的编码：
文件-导入-CSV，指定UTF8编码、 ,分隔符 及 " qualifier，不乱码了，但出现 字段内容的换行符以外起作用，也就是CSV的qualifier解析失效。

没能解决，遂换个思路，分析Excel本身导出的utf8编码的csv文件
csv-utf8-bom.png
赫然写着With BOM，丫生成的utf8文件带BOM头！(业界对于UTF8文件，不带BOM头的做法更为标准，微软仍在依赖BOM)
PHP生成csv时，先输出BOM头，导出的csv文件，用Excel直接打开，完美解决乱码问题！

具体代码(Stackoverflow,maybe需翻墙)：
PHP导出csv
PHP输出BOM头：

echo "\xEF\xBB\xBF";

题外话：
解决这个问题时，遇到另一个小问题，PHP的指令结束标志 ?>，在include及require等文件引入时，产生额外的空白符见：Note，对一些场景导致bug。
比如此文，在输出BOM头前 输出了空白字符，将导致多数软件无法正常识别带BOM头的文件。