# Creating Capsule Wardrobes from Fashion Images #paper
1. paper-info
1.1 Metadata
- Author:: [[Wei-Lin Hsiao]], [[Kristen Grauman]]
- 作者机构:: UT-Austin
- Keywords:: #Submodular
- Journal:: #CVPR
- Date:: [[2018-04-14]]
- 状态:: #Doing
- 链接:: http://arxiv.org/abs/1712.02662
- 修改时间:: 2022.10.29
1.2 Abstract
We propose to automatically create capsule wardrobes. Given an inventory of candidate garments and accessories, the algorithm must assemble a minimal set of items that provides maximal mix-and-match outfits. We pose the task as a subset selection problem. To permit efficient subset selection over the space of all outfit combinations, we develop submodular objective functions capturing the key ingredients of visual compatibility, versatility, and user-specific preference. Since adding garments to a capsule only expands its possible outfits, we devise an iterative approach to allow near-optimal submodular function maximization. Finally, we present an unsupervised approach to learn visual compatibility from "in the wild" full body outfit photos; the compatibility metric translates well to cleaner catalog photos and improves over existing methods. Our results on thousands of pieces from popular fashion websites show that automatic capsule creation has potential to mimic skilled fashionistas in assembling flexible wardrobes, while being significantly more scalable.
a subset selection problem,submodular objective functions,iterative approach to allow near-optimal submodular function maximization
2. Intorduction
- 领域：
fashion domain - 问题
capsule wardrobes需要对视觉兼容性精确的模型，现有的方法是通过标签和共同购买的数量来进行监督学习，这极大的限制了范围和精度，此外，这只能计算成对兼容性。- 胶囊的生成是一个复杂的组合问题
complex combinatorial problem- Of all possible garments, we seek the subset that maximizes versatility and compatibility, and, critically, the addition of any one garment introduces multiple new outfit combinations.
- 解决方案：
- 将胶囊生成问题当做子集选择问题
subset selection problem。目标函数：每部分的相互兼容性，服装的反向性，以及对用户的首选风格；目标函数被设计成submodular function,来近似最好的结果。然后作者发开了一种迭代的方法，利用服装的次模性submodularity来交替固定和选择每层的服装。 - 作者利用一种无监督的方法从其他图片中学习视觉兼容性。
- 将胶囊生成问题当做子集选择问题
- 相关工作：
- Attributes for fashion
- Style and fashionability
- Compatiblity and recommendation
- Subset selection
Probabilistic determinantal point processes(DPP)可以识别最大化单个项目质量的项目子集，同时最大化集合的多样性。Submodular function maximization通过diminishing returns收益递减来选择受预算约束的最佳子集。对于submodular objectives,高效的贪婪方法可以接近最优目标。
3. Approach
3.1 Subset selection for capsule wardrobes
问题的数学描述
\(i = 0, ...,(m-1)\)：服装的\(m\)层(outerwear, upper body, lower body, hosiery)
\(A_i=\{s_i^0, s_i^1,...,s_i^{N_i - 1}\}\)：第\(i\)层可供选择的服装集合。
\(\mathcal{y}\)：最后生成的服装集。
如果每一层只需要挑选一件，那么y的可能性数目为\(\prod_iN_i\)
\(A_{iT} =\{s_i^{j_1},...,s_i^{j_T}\} \in A_i\) ：在第\(i\)层的服装集合里面选择出\(T\)件。
\(y：A_{0T} \times A_{1T}\times A_{2T}...\times A_{(m-1)T}\)：最后选择出的服装集合
目标函数
选择出的\(y*\) 应该有最大的兼容性compatibility和多功能性versatility。目标定义如下：
穷举所有可能是无法计算的；幸运的是，随着之后的服装的加入，服装的样式和外观是减少的，于是可以利用submodular objective去近似最优结果，此外，通过贪婪的方式去增长子集是最优的。贪婪方法可以达到最优结果的\(1-1/e\) (推导忽略)
于是我们只需要让\(C(y)\)和\(V(y)\)是次模函数即可。
-
Compatibility
\(c(o_j)\)：服装\(o_j\)对应的兼容性分数。
\(C(y):{\textstyle \sum_{o_j\in y}^{}}c(o_j)\)：集合上的兼容性分数。$C(y)$是submodularity中特殊的情况(modular)，即向集合中增加一个元素$o_j$ ，相应的分数也会增加$c(o_j)$ -
Versatility
\[1 - \prod_{o_j \in y}^{}(1-P(z_j|o_j)) \]
好的胶囊衣柜应该为不同的用途和场合提供不同的外观和风格。
\(V(y):={\textstyle \sum_{i=1}^{K}}v_y(z_i)\)
\(v_y(z_i)\)：表示在\(y\)中对\(z_i\)这个风格的需求程度。
\(K\): 风格数
为了满足submodular function的效益递减原则，将\(v_y(i)\)定义为：由于每个人对于不同风格的喜爱程度不一致，于是定义了
\[V'(y):={\textstyle \sum_{i=1}^{K}}\mathcal{w}_iv_y(z_i) \]personalized versatility:\(\mathcal{w}_i\)： 每个人的权重。
虽然\(V(y)\)是submodular function，但是\(V'(y)\)不是。于是作者进行了下面的假设。各层独立，选择时一层一层单独选择。
-
Optimization
Figure 1. 迭代贪婪算法
Source: http://arxiv.org/abs/1712.02662
3.2 Style topic models for compatibility
之前求服装之间的兼容性的方法都是通过监督学习，作者提出了一种无监督学习方法。
作者提出了一种生成兼容性模型generative compatibility model，通过“户外”穿搭图片学习兼容性。
Figure 2. 右边：户外图片
Source: http://arxiv.org/abs/1712.02662
模型借助Correlated Topic Models
具体原理没去深入了解。经过该模型后，可以计算出\(c(o_j)\),并且能够推断出每个服装对应的风格概率：
其中\(\theta_{o_j}=[\theta_{o_j1},...,\theta_{o_jK}]\)：表示\(o_j\)对应的风格概率。
对于单个人的风格，通过他个人网页或者网上相册学习到他的服装风格，表示如下：
\(U\)：服装数
4. 总结
看这篇论文的目的是为了了解submodular function maximization，该类方法可以作为Subset selection问题的求解方法之一。关键在于符合目的的submodular function的设计，该文章中对Capsule Wardrobes的两个关键因素(1.Compatibility2.Versatility)设置了不同的次模函数，然后通过贪婪算法求解，从而去近似最优子集。
难点：对于不同问题次模函数的选择。