庆宇笔记 - 技术
https://qingyu.me/category/tech.html
-
算法导论-动态规划-笔记
https://qingyu.me/archives/dp.html
2020-12-25T16:15:26+08:00
动态规划:找其中一个最优解4个步骤来设计1.刻画一个最优解的结构特征2.递归地定义最优解的值3.计算最优解的值,通常是自底向上的方法4.构造解适合用动态规划求解的最优化问题,应具备两个要素:最优子结构、子问题重叠对于不同问题领域,最优子结构的不同 体现在两个方面:原问题的最优解中涉及多少个子问题在确定最优解使用哪些子问题时,我们需要考察多少种选择动态规划 vs 贪心算法能够应用贪心算法的问题也必须具有最优子结构性质。两者不同之处是:动态规划,首先寻找子问题的最优解,然后在其中选择贪心算法,首先做一次“贪心”选择————在当时(局部)看来最优的选择————然后求解选出的子问题,从而不必求解所有可能相关的子问题贪心算法两个关键要素:贪心选择性质最优子结构
-
proftpd配置备忘
https://qingyu.me/archives/proftpd.html
2020-09-15T09:45:00+08:00
proftpd看似很简单、很强的ftp服务器,但是想快速配置、运行起来,却不太直观。我的两个使用场景:1.Mac开发 FTP代码同步到Linux开发机,在服务器中运行程序2.给其他人共享一些文件./configuremakemake install三步骤完成后,怎么配置,才能正常跑起来?这里分享一个同事写的shell脚本,命名为init.sh#!/bin/sh
CURPATH=`cd $(dirname $0);pwd`
authmsg=$(id)
#uid=506(quanjing)
suid=$(echo $authmsg|awk -F' ' '{print $1}')
#gid=505(map)
sgid=$(echo $authmsg|awk -F' ' '{print $2}')
uid=$(echo $suid | awk -F'=' '{print $2}' | awk -F'(' '{print $1}')
gid=$(echo $sgid | awk -F'=' '{print $2}' | awk -F'(' '{print $1}')
uname=$(echo $suid | awk -F'(' '{print $2}' | awk -F')' '{print $1}')
gname=$(echo $sgid | awk -F'(' '{print $2}' | awk -F')' '{print $1}')
echo "uid $uid uname $uname gid $gid gname $gname";
proconf="$CURPATH/etc/proftpd.conf"
## 替换配置文件
function editconf()
{
opt="$1"
#sed -i "s/^.$opt[[:space:]]*.*/$opt $2/" $proconf
sed -i "s#^\s*[#]*\s*$opt\s.*#$opt $2#" $proconf
#echo "sed -i \"s/^\s*[#]*\s*$opt\s*.*/$opt $2/\" $proconf"
}
editconf "User" "$uname"
editconf "Group" "$gname"
editconf "DefaultRoot" "$HOME"
editconf "AuthUserFile" "$CURPATH/var/ftpd.passwd"
editconf "AuthGroupFile" "$CURPATH/var/ftpd.group"
editconf "UserAlias" "anonymous ftp $uname"
# 处理UID
bin/ftpasswd --home $HOME --name $uname --group $gname --shell /bin/bash --file $CURPATH/var/ftpd.group --uid $uid --gid $gid
bin/ftpasswd --home $HOME --name $uname --passwd $uname --shell /bin/bash --file $CURPATH/var/ftpd.passwd --uid $uid --gid $gid
我们执行 sh init.sh 它做的事儿是:通过调用ftpasswd命令、替换默认配置文件,以当前用户作为ftp的用户最后 sh start.sh启动服务#!/bin/sh
CURDIR=`cd $(dirname $0);pwd`
export LD_LIBRARY_PATH=$CURDIR/lib:$LD_LIBRARY_PATH
nohup sbin/proftpd -c $CURDIR/etc/proftpd.conf -n &
附件 proftpd.tar.gz.zip 是已编译好的proftpd,先后执行init.sh start.sh 可快速运行起来。参考 http://ftp.proftpd.org/docs/
-
写作&输出计划
https://qingyu.me/archives/writing-plan.html
2020-07-16T09:47:00+08:00
我大学本科读的是管理科学与工程,包含经济管理、计算机相关课程。大学时,我没有好好学习专业课程,只是学会了些编程技术,做了程序员。现在想想,其实是自己的焦虑和懒惰、缺乏好奇心,措施很多认真学习的机会。没办法,现在我很想捡回来,很想成为一个真正的思考者、实践者,能够不断提高自己的认知、见识体验更多事物、同时带来一定的财富,理想地过这一生。接下来,我的计划是深入研究计算机科学,产出系列教程,包括算法详解、GOLANG语言基础、WEB项目实战深入学习金融证券,产出学习总结系列文章本周起,每周一篇文章
-
本地开发测试、服务器运行的一个方案
https://qingyu.me/archives/dev-ops.html
2018-10-08T19:39:00+08:00
本文目的是分享一个开发便捷、运行简便、工作优雅的开发方案。本文适用于使用IDE写代码、看代码的RD及QA。对于热衷Vim等编辑器的同学,可能不适用。本地指个人笔记本,服务器指的是开发运行的机器。1.开发便捷:利用IDE的强大功能就好2.运行简便:服务器(开发机)上的环境是直接可用的,所以将本地代码快捷地同步到服务器上运行,本地开发并提交版本控制。 什么方式?SFTP/FTP/SMB等都可以,服务器上只要运行相关服务器,本地配置认证、目录映射,本地代码变动,手动或自动地将代码上传。[如何在Webstorm/Phpstorm中设置连接FTP][2]
3.工作优雅:举例说,本地开发分支A,服务器运行调试,开发完成(提交代码)或开发至一半(git stash暂存工作进度),本地切换分支B,开发下一个功能... 此刻服务器上代码的版本控制,就是不干净的,所以在本地切分支A->B时,同时处理好服务器的代码,清理不干净的代码、同样切换A->B,以git为例git clean -df
git reset --hard
git pull
git checkout --track origin/B
-
remote_addr及X-Forwarded-For及用户真实IP及内网安全
https://qingyu.me/archives/open-proxy-lb.html
2018-07-06T18:38:00+08:00
先缕一下背景,计算机网络,连在网络中的机器都有一个(或多个)IP地址,提供Web服务的机器,常有一个便于人们记忆的域名,通过DNS解析到一个(或多个)IP地址。有的网站流量大,需要不止一台机器提供服务,但域名只有一个,只能指向一台机器,怎么办呢?代理服务器负载均衡(简称LB),提升静态网页的访问速度,增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性互联网产品做大了,再做它个开放平台,搞完用户,搞合作伙伴。对外提供内网服务,开放平台服务器(简称OP)实现认证,代理调用内网服务。以下,OP、LB、Server均为NginxWeb服务器,一些场景,根据来源IP地址,决定服务与否。若是内网接口,只服务内网机器,拒绝服务来自外网的请求。遇到的问题是,当client c通过OP请求内网接口时,Server解析客户端IP为client c的IP,其为外网IP 遂拒绝了服务。此时,我们希望Server拿到的客户端IP为OP的内网IP,这样就能正常为OP代理的客户服务了。怎么做呢?HTTP协议虽然定义了Client-Ip请求头,但不是安全的,服务器的做法是取TCP连接的对端IP作为client ip,在Nginx中,解析为变量$remote_addr,不架设代理、负载均衡时,直接拿来用即可。但当在Server前代理时,应利用Nginx的ngx_http_realip_module中的real_ip_header指令,指定用哪个请求header的值来替换默认的$remote_addr。假设client a IP:12.34.56.78OP IP: 34.56.78.90 及内网IP 10.22.33.44LB IP: 10.23.34.45这时,我们考察 X-Forwarded-For 的定义及格式,对于上图Server接收来自client c的请求时,X-Forwarded-For首先由OP设置为client c的IP,即proxy_set_header X-Forwarded-For $remote_addr;
LB接收此header时,应再次设置proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
此时,到达Server的信息应该是:$remote_addr: 10.23.34.45X-Forwarded-For: 12.34.56.78,10.22.33.44注意,Server知道Load Balance的存在,所以不关心$remote_addr的默认值,关心的是真正的请求IP,此时可设置real_ip_headerset_real_ip_from 10.0.0.0/8;
real_ip_header X-Forwarded-For;
real_ip_recursive off;
关于real_ip_recursive指令,官方文档:If recursive search is disabled, the original client address thatmatches one of the trusted addresses is replaced by the last addresssent in the request header field defined by the real_ip_headerdirective. If recursive search is enabled, the original client addressthat matches one of the trusted addresses is replaced by the lastnon-trusted address sent in the request header field.设置off时,Server得到的$remote_addr为10.22.33.44 即开放平台的IP,正常服务!注:RFC 7239 定义了一个新的 Forwarded header,更完备地组织这些信息。
-
位操作
https://qingyu.me/archives/bit.html
2018-07-04T16:58:00+08:00
位操作高效解决问题其中,Sum of Two IntegersUse ^ and & to add two integersint getSum(int a, int b) {
return b==0? a:getSum(a^b, (a&b)<<1); //be careful about the terminating condition;
}
用^及& 实现 加法看了好一会儿,才看懂两个位串相加,结果可由两部分组成:不同的位 与 相同的位不同的位,用^取得 相同的位,相加并进位,先&运算,再左移1位此两部分相加,即得结果,递归下去即可。注意边界情况,整型通常4字节32位,不断左移终使b为0,结束递归。对于python/php等脚本语言,实现了非常大的整型范围,这样写法则不成了,需用mask限制32位class Solution(object):
def getSum(self, a, b):
"""
:type a: int
:type b: int
:rtype: int
"""
# 32 bits integer max
MAX = 0x7FFFFFFF
# 32 bits interger min
MIN = 0x80000000
# mask to get last 32 bits
mask = 0xFFFFFFFF
while b != 0:
# ^ get different bits and & gets double 1s, << moves carry
a, b = (a ^ b) & mask, ((a & b) << 1) & mask
# if a is negative, get a's 32 bits complement positive first
# then get 32-bit positive's Python complement negative
return a if a <= MAX else ~(a ^ mask)
如上,Python3整型是无界的(无限大),想限定整型上限,如何能让其如C/Java一样表示补码?为了理解最后一行代码的含义,我们可以假设场景,然后确定目的是什么。假设C语言int占4位,python语言int占8位,mask为0xF举例,我们得到的a若为 0b0101,它被预期正常解释,算法结束;若a为0b1011,根据此算法的隐含条件,我们想让它被解释成负数,就得让它符号扩展到 0b11111011~(a ^ mask)0b1011 => 0b0100 => 0b11111011
-
应用程序语言(PHP)导出csv文件乱码问题及解决
https://qingyu.me/archives/php-export-csv.html
2018-07-04T14:27:00+08:00
给运营同学提供数据支持,需求是导出数据文件,通常就是Excel能打开的、通用的CSV逗号分隔符文件。首先导出 无BOM头UTF-8编码的标准csv格式文件,但用Excel打开此csv乱码。此时考虑,能否手动指定Excel打开文件的编码:文件-导入-CSV,指定UTF8编码、 ,分隔符 及 " qualifier,不乱码了,但出现 字段内容的换行符以外起作用,也就是CSV的qualifier解析失效。没能解决,遂换个思路,分析Excel本身导出的utf8编码的csv文件赫然写着With BOM,丫生成的utf8文件带BOM头!(业界对于UTF8文件,不带BOM头的做法更为标准,微软仍在依赖BOM)PHP生成csv时,先输出BOM头,导出的csv文件,用Excel直接打开,完美解决乱码问题!具体代码(Stackoverflow,maybe需翻墙):PHP导出csvPHP输出BOM头:echo "\xEF\xBB\xBF";
题外话:解决这个问题时,遇到另一个小问题,PHP的指令结束标志 ?>,在include及require等文件引入时,产生额外的空白符见:Note,对一些场景导致bug。比如此文,在输出BOM头前 输出了空白字符,将导致多数软件无法正常识别带BOM头的文件。
-
科普科学,便捷上网
https://qingyu.me/archives/scientific-surf.html
2017-10-25T15:27:00+08:00
鉴于很多朋友不大清楚科学上网的原理,这里简单介绍一下。大陆墙是为了祖国社会稳定,使大众免受外来不良思想的影响而建立的。墙外有一些网站,我们没办法访问,尽管他们的产品很棒。计算机网络中,有一种架构叫做代理。你直接访问不了的,可以交给能访问得了的人(软件)帮你访问,再转达给你,问题解决!上图的Shadowsocks(以下简称ss)便是你的帮手,它可以代理你的网络请求,使你能够Google一下。下面说一下技术逻辑:ss提供网络代理服务,同时配置系统网络代理。当我们用浏览器打开一个网址A时,浏览器会读取 系统的网络配置 或 浏览器自身的网络配置,从而得知,网址A应该直接访问 还是 通过代理来访问。用已确认出的方式访问吧完。
-
对PHP连接MySQL和其他数据库方式的理解
https://qingyu.me/archives/123.html
2016-04-28T15:44:00+08:00
PHP/MySQL是主流的应用开发搭配方式,印象中PHP支持使用很多种数据库,而且MySQL就有mysql、mysqli、pdo三种API可用。本文旨在从PHP数据库访问设计的思路为轴,简单的捋清这些关系。PHP手册中《数据库扩展》一章有两部分:数据库抽象层、针对各数据库系统对应的扩展,已经是足够的说明了,要更深刻的理解可去研读。首先,直接的想法是,PHP应该为不同的数据库实现不同的数据库抽象层,调用客户端库API来使用DBMS。如下图:然后,考虑这个场景:当PHP应用写好后,环境数据库不同时,就要用对应的数据库抽象层重写项目所有数据库相关代码。所以能否把访问抽象出来,用不同数据库时,只要切换不同实现就ok了。如下图:最后,主流选用MySQL当然是既可以使用mysql、mysqli两种数据库抽象层,又可以使用PDO数据访问抽象层(须安装PDO_MYSQL扩展实现PDO接口)。如下图:当然任何一个数据库抽象层,都要在PHP编译时都要指定数据库的客户端库以使用数据库服务器。以MySQL为例,推荐用mysqlnd库,配置项:--with-mysqli=mysqlnd --with-pdo-mysql=mysqlnd --with-mysql=mysqlnd现在是不是清晰些了呢?
-
Don't Repeat Yourself - 编程开发原则
https://qingyu.me/archives/120.html
2016-04-12T15:58:00+08:00
1. Do not repeat yourself(重构、抽象...)2. 工具能做的麻烦事,不要自己做(格式化、语法检查...)IDE能做的事儿,不要浪费自己时间去做。把时间用在代码逻辑、性能考虑上。3. 接口方法,只做应该做的事,不多不乱,保持原数据结构/顺序。例子:任务页面有召集人(多个)的列表,是后台运营人员填写的,有时第一次访问时顺序有混乱,之后访问右正常了。觉得很奇怪,看代码知道了 原来是缓存搞的鬼!背景:微博的内容产品几乎都有好友/粉丝 与 物 的关系,所以通过array(uid,uid,uid,...)取用户详细信息的方法,是早已抽象好的,逻辑是:对传进来的array进行缓存查找,得到已缓存的条目和未命中的uid列表,再以此查库将返回结果追加到已缓存的条目,返回结果。策略不错,但有个小问题,参数传进来可能是有顺序的,所以期望的结果集的顺序应该是与参数一致的。有两个办法,1改接口、2重新排序,因为作为调用方不便改接口,所以重新排序!怎么排呢,经同事指正,几行代码:$users = Dr_User::get_user_infos($uids, false);//结果集已经乱序了
$flip_users = array_flip($uids);//反转uid列表,array(uid=>0,uid=>1,...),再遍历users存到对应键上
foreach ($users as $user) {
$flip_users[$user['id']] = $user;
}
$users = $flip_users;
unset($flip_users);
结论:如果很多调用方都有保持顺序的需求,接口的设计就该添加一个参数以控制结果是否保持顺序。4. 务必打开所有错误显示,包括NOTICE级5. 变量的检查,统一在view 或 controller里做6. 明确开发/生产环境......Tips新增/修改时,sql语句慎用replace,当字段中有主键和唯一键时,若已有记录,修改的实际操作是:将原纪录删除,新插入纪录,这显然不是期望的处理方式。在做客户端API时,有时需要一个默认的图片card,不希望它跳转或作为普通图片可查看大图,只是让它作为默认显示(something like 背景图)'pic_items' => array(
'0' => array(
'pic' => 'http://example.com/pic.jpg',
'scheme'=>'sinaweibo://javascript:void(0);',
),
),
类似浏览器js的写法,scheme为sinaweibo://javascript:void(0);就好了。