我的研究论文如何发表的故事

休假的开始给了我一些时间来反思我的出版物。但是我的简历只显示了一个整齐编目论文的列表：标题、作者、会议。每一个看起来都与另一个没有什么不同。但每篇论文的最终发表方式都是它自己的故事，一个关于人和机会的故事。使用我的研究期刊和会议记录中的笔记，我重新组合了我每篇完整研究论文的“幕后”故事：15 篇作为学生的论文，15 篇成为教授后的论文（不包括不是由我的研究小组领导的论文，因为我觉得这不是我讲这些故事的地方）。这对我自己来说是一种反思练习，而不是对观众来说。如果您完整阅读此页面，大约需要 30 分钟。但是你可以跳过你觉得无聊的那些，它应该仍然有意义。前半部分是我的学生故事，后半部分是我的教授故事，所以你甚至可以只阅读你更感兴趣的一半。作为一系列推文或 Substack 时事通讯，这可能会更吸引人，但我宁愿一次全部发布。我也很想阅读其他人出版物的背景故事。因此，如果您愿意分享，请发布您的并通过电子邮件发送给我（如果您希望将其链接到本页底部），以便我们开始收藏。无论如何，这就去。我第一次接触研究是在 2003 年 9 月，当时我还是本科二年级的学生。我的收件箱弹出消息，“在课堂上给我打电话或跟踪我，因为完整的解释需要大量输入。-Bo”。 Bo 是一个朋友，他在研究项目中需要一些自动帮助生成器的编程帮助，于是我离开了。我原以为一周的任务变成了对申请的三遍重写、两项研究和一项长期的教师指导。我们都无法预测 Bo 会在主要研究开始之前毕业，所以他甚至没有成为他开始的项目的合著者（尽管事后看来，我可以把他列为第二作者）。因为我边走边学，我犯了从研究设计到论文结构的所有新手错误。从我收到第一条信息到我毕业后发表，整整过了 3.5 年。并且只有在幸运地抛硬币之后才做出接受决定，因为最初的元审查分数是“3-Borderline”。但是这篇论文对于让我接受博士学位至关重要。程序。我为什么这么认为？好吧，我被每个博士都拒绝了。我在此出版物之前申请的程序（但那是另一回事）。因此，随着这篇论文的发表，我辞掉工作，把随身物品塞进车里，沿着 I-5 高速公路从加利福尼亚开往西雅图。遗憾的是，我的下一篇论文是我与我的原始顾问 Efthi 在他去世之前的第一篇也是唯一一篇完整的论文。我不记得想出这个想法来研究查询重构，所以一定是他引导我这样做的。它旨在成为一个简单但原创的东西——一个分析 AOL 发布的现有数据中的序列的启动项目。我第一次尝试就被 SIGIR 拒绝了，我开始担心这个话题会变得陈旧，尤其是关于原始数据集的争议导致 AOL 关闭了他们的研究部门。所以我松了一口气，这很快就结束了，第一年有一份论文感觉很好。令我困惑的是，这是我引用次数最多的全文，但我认为这是因为它的主题而不是因为它的贡献；但是，当我最近检查时，即使是 12 年后，仍有一些引用来自使用源代码的人。我想关于引用的复利有什么要说的。分析和评估 Web 搜索日志中的查询重新制定策略。杰夫黄，埃夫蒂米斯·埃夫蒂米亚迪斯。 CIKM 2009。我遇到了来自 Microsoft Research 的 Ryen，当时他是 Efthi 班级的客座演讲者，他一定找到了我的实习申请，其中提到了我关于查询重构的论文。好吧，事实证明他对搜索路径感兴趣，这本质上是一系列重新制定，所以我能够继续沿着那条工作线。这些实习的黄金标准是在 12 周内从头到尾写一篇论文，我拼命地尝试做有论文价值的工作来证明自己。我尽我所能进行了分析，但是在实习结束时，我努力完成一篇完整的论文。幸运的是，Ryen 在我离开后完成并大幅扩展了它，所以我很感激他没有因为未完成而放弃。令我完全惊讶的是，这篇论文获得了当年 SIGIR 的最佳论文奖。即使在获得该奖项的提名后，我也觉得它不太可能获奖，所以我没有参加会议。事实上，当时我认为我在那个会议上的另一篇相关论文（下一篇）总体上是一篇更好的论文，但现在我看到最佳论文奖委员会可能觉得评估是一个更混乱的话题，所以想奖励这种努力.这个奖项增强了我在攻读博士学位期间的信心。后来又开了一些门，所以我很幸运也很庆幸它发生了。

这篇相关论文来自与 Ryen 的同一个暑期实习。我很幸运能被列入作者名单，因为我的角色很小，甚至从未见过第一作者。除了我在夏天最初为上面的论文所做的更多工作之外，我可能只贡献了一段文字。读完这篇论文，感觉比我贡献多的那篇要好，但被引用的次数还不到一半。研究用于增强型 Web 搜索的寻路算法。阿迪什·辛格拉、赖恩·怀特、杰夫·黄。 SIGIR 2010。在同一个夏天，我遇到了一位才华横溢的实习生，安娜，当时她正在攻读两个数学博士学位中的第一个，而且经常显得很闲。她解释说，“总是很忙的人似乎从来没有做很多事情。”感觉到她的空闲时间，我请她帮助解决一个虚构的假设问题，该问题简化了信息检索社区的假设。我们玩得很开心，主要是我一边问问题，一边看着她在白板上大声思考。我了解了在真实环境中推导证明的不同策略，这与您知道证明存在并且大致适合您做的问题集不同。在这个夏天，我在数学上处于最佳状态，因为我可以按照足够的时间写出解决方案并检查错误，而今天甚至需要一段时间才能熟悉论文中的方程。暑假过后，我一直在寻找新的想法来追求我通常的信息检索主题之外的内容。博士的朋友节目 Gifford 向我建议，看人们玩电子游戏是一种被忽视的现象。但没有人注意。那个时候，你真的只能看韩国选手的低分辨率视频，配以英文配音的业余解说。这个想法吸引了我，所以我帮助进行了一项定性研究以了解原因。 Gifford 教会了我关于扎根理论的大部分知识（并且在几年前与我合作撰写了 2018 年的一篇论文时给了我第二课）。那个时候，我的想法是我在帮助他挽救一个被拒绝的想法，但现在回想起来，很明显是他给了我机会帮助他已经有一个愿景的工作。我为这项工作感到非常自豪，这是我被引用次数第三多的论文，但主要是因为我们认为会成为一种现象的事情确实发生了。这成为我博士期间最重要的论文，而且几分钟后就没有发生了。这个想法是我在面试时在 Bi​​ng 做研究实习生时折腾的三个想法之一。但是将这个想法应用到搜索引擎需要一系列复杂的软件集成步骤，我不太熟悉。然而，它必须在每两周发生一次的最后期限前完成。我的目标是在实习的后半段提交截止日期，当它必须在下午 5 点之前交付时，我的代码根本无法通过单元测试。我试图通过（天真地）更改单元测试来强制它，但这只会破坏系统的其他部分。现在是下午 4 点，我什至不得不在 30 分钟内到达桥对面的其他地方；我很绝望。我惊慌失措地跑到走廊里，找到了一个叫 Sarvesh 的软件开发人员，他看了一眼，给了我一些建议。但是到我不得不离开的时候，我仍然无法推送代码。 Sarvesh 再次来救我，向我保证，“你起飞，我有这个”，然后坐在我的办公桌前解决问​​题并在我开车离开停车场时发送我的代码。如果没有他的帮助，我将不得不在下一个周期内发送它，并且在我的实习结束之前没有足够的时间来分析数据。不仅如此，而且因为是在公司实习期间，我不会拥有任何工作的知识产权。但是我的 20 行 JavaScript 代码确实发布了，幸运的是我的代码没有错误（在我仔细研究每一行一百次之后），所以这篇论文成为我在我所在领域的主要会议上发表的第一篇论文；它被提名为最佳论文奖，并成为我论文的基础章节。不仅如此，正是这项工作获得了 Google Research Grant、Facebook Ph.D.奖学金和微软专利。没有点击，没问题：使用光标移动来理解和改进搜索。杰夫·黄、赖恩·怀特、苏珊·杜迈斯。 CHI 2011。回到学校，在我们之前关于游戏的论文的推动下，Gifford 和我查看了他被拒绝的一篇关于德州扑克的论文，并用另一场游戏 Halo 2 的数据对其进行了扩展。我们重复了我们的公式定性分析，并提交给 CSCW。它从我们的审阅者那里获得了临界评级，但 CSCW 正在试验一个“修改并重新提交”的过程，我们很幸运地经历了这个过程。混音和游戏：德州扑克和光环 2 规则变体的经验教训。Gifford Cheung、Jeff Huang。 CSCW 2012。此时，我暑期实习的一位朋友 Abdi 觉得我有“魔力”，所以我主动提出帮忙补一份被拒绝的实习论文。我只是帮助头脑风暴和编辑，但它最终没有大张旗鼓地被接受。虽然这个成功了，但一年后我试图和他一起抢救另一篇论文，但最终还是进了垃圾箱。同样的努力，相反的结果。对困难的 Web 查询的交互式搜索支持。阿布迪加尼·迪里耶、吉里达尔·库马兰、杰夫·黄。 ECIR 2012。现在是我的第三年结束，我感到很内疚，因为我只准备了一篇论文章节。我在晚上教课时与 Techstars Seattle 的一部分共同创立了一家初创公司，所以这些事情占据了我所有的时间。我们的初创公司最终没钱了，我的联合创始人离开了寻找其他机会，所以在夏天我回到微软研究院进行第三次实习。我再次加入了一个不同的小组，这个小组由 Sue 管理，她在一年后成为了我的博士。顾问。她的小组可能是最接近我的核心研究兴趣的，而 Ryen 刚好搬到了这个小组。因此，结合这种良好的环境，我打算与 Ryen 和其他人一起写三篇论文，以便为我的论文获得足够的材料。第一个对我来说很困难，使用的是我不熟悉的技术，并且需要大量计算。我的计算作业将在白天和超时期间与更高优先级的作业竞争。因此，我不得不熬过很多个深夜来启动 8 小时的分布式进程，而这些进程只能在集群没有大量使用的晚上才能完成。我的努力得到了回报；评论家普遍好评，这是一个干净的接受。现在我不得不承认，这是我最怀疑的论文。我并不完全相信这个模型，尽管我一直在检查它。结果显示出适度的改善，但我似乎无法摆脱这种感觉，即它们是由于次要因素造成的，或者更糟糕的是，其中某处存在计算错误。但是现在我的代码可能永远消失了，似乎其他人能够使用类似的模型显示出实际的改进。使用鼠标光标活动改进搜索器模型。 Jeff Huang、Ryen White、Georg Buscher、王冠三。 SIGIR 2012。

Bing 的一名员工 Georg 出于一个目的从一项研究中收集了一个很好的数据集，但它似乎可以用来研究更接近我以前所做的事情。他慷慨地把数据借给我，我做了足够的分析来制作这篇论文。然而，一位评论者认为描述性结果并不那么新颖（只是一项更大的研究），预测分析也不是那么成功，总结“他们现在试图通过他们的论文为这个领域增加更多，但我没有看到将证明在 CHI 上发表的重要贡献。”意见最终出现分歧。我为反驳而出汗并承诺做出改变，幸运的是说服元评论者让这一点溜走。但实际上，它是一篇颇有影响力的论文，截至今天已被引用 188 次，并作为我后来一些学生工作的基准。我认为它影响了接下来几年出现的关于用户注意力的论文趋势，但从那时起这种趋势已经减弱。用户查看，用户点：Web 搜索中的凝视和光标对齐。杰夫·黄、赖恩·怀特、乔治·布舍尔。 CHI 2012。那年夏天的第三篇论文是一个更简单的分析，带有一个新颖的想法——浏览器标签的复杂使用是查找信息的核心部分。我从我的大学招了另一名学生汤姆，他碰巧在同一个夏天在那里实习。元评论者评论得很正确，“这篇论文不是火箭科学，但 [...] 据我所知，还没有真正被研究过，至少没有这么大规模。”虽然浏览器标签仍然是一种现象，但这篇论文的引用次数比我之前写的一篇关于这个主题的较轻的短论文要少。我认为部分原因是标题太聪明了，不容易辨认。没有留下任何搜索结果：浏览器选项卡的分支行为。 Jeff Huang、Thomas Lin、Ryen White。 WSDM 2012。作为夏天的奖励，Georg 正在写他自己的论文，我有一个小贡献，他认为足以成为合着。它获得了相当多的引用，填补了研究领域以及我的论文中的一个空白。于是就成了幸运的4纸夏天。结束时我筋疲力尽，并休息了很长时间。搜索结果页面检查策略中个人和任务差异的大规模分析。乔治·布舍、瑞恩·怀特、苏珊·杜迈斯、杰夫·黄。 WSDM 2012。除了与 Gifford 发表的两篇关于游戏的论文，我在学年期间没有做任何研究，因为我所有的其他论文都来自实习。在没有导师的情况下，我每个季度都担任助教（有时同时担任两节甚至三节课），并且会因为一些其他活动而分心。但有一天，我成为助教的机会消失了（这本身就是另一回事），我向计算机科学系的教授奥伦乞求办公室和资金。令我惊讶的是，他在收到我的电子邮件后几个小时内立即同意了。所以我开始学习自然语言处理，并了解他是如何管理他的实验室的。这篇论文是他和我兴趣的结合。几个本科生在我的指导下加入，这也是我第一次指导学生。该研究几乎没有发生，因为我无法根据我们的人类受试者指导规则来适应该程序。但是在与 Oren 和 HCI 教授进行最后一分钟的讨论后，我们找到了一种穿针引线的方法。它的出版帮助其中一名本科生获得了博士学位。麻省理工学院的项目，并引发了我对让本科生在未来多年参与研究的兴趣。 RevMiner：用于在智能手机上浏览评论的提取界面。 Jeff Huang、Oren Etzioni、Luke Zettlemoyer、Kevin Clark、Christian Lee。 UIST 2012。我原本不打算在去年夏天在 Microsoft 再做一次研究实习，但 Tom 和 Nachi 向我伸出了手，问了一个我无法拒绝的机会——一个暑假学习大型 Xbox 游戏数据。所以在我最后一次实习时，我加入了他们的游戏研究计划。这是 Microsoft Research 与 Xbox 人员之间的合作，在此过程中我学习了一些时间序列分析技术。在我吃告别午餐的那天，我几乎没有完成论文中的最终分析。审稿人比我预期的更喜欢这项工作，这篇论文后来带来了一些机会，所以我很高兴它成功了。这也给我的博士带来了终结，因为我最终没有剩余的工作论文正在准备中，因此距离我的下一篇论文有 2 年的时间间隔。精通兵法：游戏模式如何影响 Halo 中的技能。 Jeff Huang、Thomas Zimmermann、Nachiappan Nagappan、查尔斯·哈里森、布鲁斯·菲利普斯。 CHI 2013。到现在为止，我从头到尾领导一篇论文都感觉很舒服，但是当我成为教员时，工作发生了变化。虽然我可以提出这个想法并为过程提供建议，但初稿将由学生编写。在我搬到普罗维登斯的过程中，以及在未完成的项目中的一些错误开始之后，很快就过去了。我作为教员发表的第一篇论文来自另一所大学教授推荐的学生。这名学生是埃迪，他是加州大学洛杉矶分校的一名本科生，他联系了教授，希望对星际争霸回放中的模式进行研究分析。那个教授认为我更适合这个话题，但警告说，“他 [我] 目前可能没有足够的空间来监督外部学生”。虽然现在这可能是真的，但当时我抓住了机会，引导他进行了一项相邻的调查。我邀请了 Gifford（是的，我以前的同学）帮忙，从头到尾的工作大约是 8 个月的紧张分析和制图。这篇论文最终得到了两个强烈的评分（4.5/5、5/5）和两个不热心的评分（2.5/5、3/5），所以妥协是它最终被牧羊人（一篇被认为是边缘但被要求做出具体说明的论文）改变是可以接受的）来引导我们“接受”。这让我们紧张了更长时间，但在这篇论文发表后，我写信给埃迪，“你已经获得了进入研究生院的金票:-) 恭喜！”他选择攻读博士学位。在华盛顿大学，我刚毕业。在教授我的研究生研讨会时，我被学生的热情所淹没，所以我开始分配学生可以回收到研究中的项目。这是我在 HCI 研讨会上的课堂项目中诞生的几篇论文中的第一篇。每个学生都进行了自己的小型研究，我们将其组合成一个元分析，这个公式在以后的几年中也适用于更多的论文。这篇特别论文的时间有点幸运，因为审稿人提名它获得最佳论文奖，但我们的后续工作并没有那么成功；关于这个话题，我们还有很多话要说，但在多年试图发表新发现但遭到拒绝后，在编写续集时遇到了很多阻力。从头开始众包：新手请求者收集数据的实用实验。亚历山德拉·帕普萨基、华国、达娜·梅塔克萨-卡卡沃利、康纳·格拉马齐奥、杰夫·拉斯利、谢文廷、王冠、杰夫·黄。 2015 年 HCOMP。

我领导了我的第一个博士学位。学生亚历山德拉在 fe ......