Google deep mind

DeepMind - Wikipedia

DeepMind Technologies Limited is a British artificial intelligence company founded in September 2010.

Acquired by Google in 2014, the company has created a neural network that learns how to play video games in a fashion similar to that of humans,[4] as well as a Neural Turing machine,[5] or a neural network that may be able to access an external memory like a conventional Turing machine, resulting in a computer that mimics the short-term memory of the human brain.[6][7]

The company made headlines in 2016 after its AlphaGo program beat a human professional Go player for the first time.[8] and again when AlphaGo beat Lee Sedol the world champion in a five game tournament, which was the subject of a documentary film.


The start-up was founded by Demis Hassabis, Shane Legg and Mustafa Suleyman in 2010.[9][10] Hassabis and Legg first met at University College London's Gatsby Computational Neuroscience Unit.[11] On 26 January 2014, Google announced the company had acquired DeepMind for $500 million,[12][13][14][15][16][17] and that it had agreed to take over DeepMind Technologies.

Since then major venture capital firms Horizons Ventures and Founders Fund have invested in the company,[18] as well as entrepreneurs Scott Banister[19] and Elon Musk.[20]Jaan Tallinn was an early investor and an adviser to the company.[21] The sale to Google took place after Facebook reportedly ended negotiations with DeepMind Technologies in 2013.[22] The company was afterwards renamed Google DeepMind and kept that name for about two years.[2]

In 2014, DeepMind received the "Company of the Year" award by Cambridge Computer Laboratory.[23]

In September 2015, DeepMind and the Royal Free NHS Trust signed their initial Information Sharing Agreement(ISA) to co-develop a clinical task management app, Streams.[24]

After Google's acquisition the company established an artificial intelligence ethics board.[25] The ethics board for AI research remains a mystery, with both Google and DeepMind declining to reveal who sits on the board.[26] DeepMind, together with Amazon, Google, Facebook, IBM, and Microsoft, is a founding member of Partnership on AI, an organization devoted to the society-AI interface.[27] DeepMind has opened a new unit called DeepMind Ethics and Society and focused on the ethical and societal questions raised by artificial intelligence featuring prominent transhumanist Nick Bostrom as advisor[28].

Machine learning[edit]

DeepMind Technologies' goal is to "solve intelligence",[29] which they are trying to achieve by combining "the best techniques from machine learning and systems neuroscience to build powerful general-purpose learning algorithms".[29] They are trying to formalize intelligence[30] in order to not only implement it into machines, but also understand the human brain, as Demis Hassabis explains:

[...] attempting to distil intelligence into an algorithmic construct may prove to be the best path to understanding some of the enduring mysteries of our minds.[31]

Google Research has released a paper in 2016 regarding AI Safety and avoiding undesirable behaviour during the AI learning process.[32] Deepmind has also released several publications via their website.[33]

To date, the company has published research on computer systems that are able to play games, and developing these systems, ranging from strategy games such as Go[34] to arcade games. According to Shane Legg human-level machine intelligence can be achieved "when a machine can learn to play a really wide range of games from perceptual stream input and output, and transfer understanding across games[...]."[35] Research describing an AI playing seven different Atari 2600 video games (the Pong game in Video Olympics, Breakout, Space Invaders, Seaquest, Beamrider, Enduro, and Q*bert) reportedly led to their acquisition by Google.[4] Hassabis has mentioned the popular e-sport game StarCraft as a possible future challenge, since it requires a high level of strategic thinking and handling imperfect information.[36]

Deep reinforcement learning[edit]

As opposed to other AIs, such as IBM's Deep Blue or Watson, which were developed for a pre-defined purpose and only function within its scope, DeepMind claims that their system is not pre-programmed: it learns from experience, using only raw pixels as data input. Technically it uses deep learning on a convolutional neural network, with a novel form of Q-learning, a form of model-free reinforcement learning.[2][37] They test the system on video games, notably early arcade games, such as Space Invaders or Breakout.[37][38] Without altering the code, the AI begins to understand how to play the game, and after some time plays, for a few games (most notably Breakout), a more efficient game than any human ever could.[38]

For most games (Space Invaders, Ms Pac-Man, Q*Bert for example), DeepMind plays below the current[when?] World Record. The application of DeepMind's AI to video games is currently[when?] for games made in the 1970s and 1980s, with work being done on more complex 3D games such as Doom, which first appeared in the early 1990s.[38]


In October 2015, a computer Go program called AlphaGo, powered by DeepMind, beat the European Go champion Fan Hui, a 2 dan (out of 9 dan possible) professional, five to zero.[39] This is the first time an artificial intelligence (AI) defeated a professional Go player.[8] Previously, computers were only known to have played Go at "amateur" level.[39][40] Go is considered much more difficult for computers to win compared to other games like chess, due to the much larger number of possibilities, making it prohibitively difficult for traditional AI methods such as brute-force.[39][40] In March 2016 it beat Lee Sedol—a 9th dan Go player and one of the highest ranked players in the world—with 4-1 in a five-game match. In the 2017 Future of Go Summit, AlphaGo won a three-game match with Ke Jie, who at the time continuously held the world No. 1 ranking for two years. [41][42] It used a supervised learning protocol, studying large numbers of games played by humans against each other.[43]

In 2017 an improved version, AlphaGo Zero, defeated AlphaGo 100 games to 0. Zero discovered on its own many of the moves of human Go players and added new ones.


AlphaGo used two deep neural networks: a policy network to evaluate move probabilities and a value network to assess positions. The policy network trained via supervised learning, and was subsequently refined by policy-gradient reinforcement learning. The value network learned to predict winners of games played by the policy network against itself. After training these networks employed a lookahead Monte Carlo tree search (MCTS), using the policy network to identify candidate high-probability moves, while the value network (in conjunction with Monte Carlo rollouts using a fast rollout policy) evaluated tree positions.[44]

Zero trained using reinforcement learning in which the system played millions of games against itself. Its only guide was to increase its win rate. It did so without learning from games played by humans. Its only input features are the black and white stones from the board. It uses a single neural network, rather than separate policy and value networks. Its simplified tree search relies upon this neural network to evaluate positions and sample moves, without Monte Carlo rollouts. A new reinforcement learning algorithm incorporates lookahead search inside the training loop.[44] AlphaGo Zero employed around 15 people and millions in computing resources.[45] Ultimately, it needed much less computing power than AlphaGo, running on four specialized AI processors (Google TPUs), instead of AlphaGo's 48.[46]


In July 2016, a collaboration between DeepMind and Moorfields Eye Hospital was announced.[47] DeepMind would be applied to the analysis of anonymised eye scans, searching for early signs of diseases leading to blindness.

In August 2016, a research programme with University College London Hospital was announced with the aim of developing an algorithm that can automatically differentiate between healthy and cancerous tissues in head and neck areas.[48]

There are also projects with the Royal Free London NHS Foundation Trust and Imperial College Healthcare NHS Trust to develop new clinical mobile apps linked to electronic patient records.[49]


In April 2016 New Scientist obtained a copy of a data-sharing agreement between DeepMind and the Royal Free London NHS Foundation Trust. The latter operates the three London hospitals where an estimated 1.6 million patients are treated annually. The revelation has exposed the ease with which private companies can obtain highly sensitive medical information without patient consent. The agreement shows DeepMind Health had access to admissions, discharge and transfer data, accident and emergency, pathology and radiology, and critical care at these hospitals. This included personal details such as whether patients had been diagnosed with HIV, suffered from depression or had ever undergone an abortion in order to conduct research to seek better outcomes in various health conditions.[50][51] The agreement is seen as controversial and its legality has been questioned.[26]

The concerns were widely reported and have led to a complaint to the Information Commissioner's Office (ICO), arguing that the data should be pseudonymised and encrypted.[52]

In May 2016, New Scientist published a further article claiming that the project had failed to secure approval from the Confidentiality Advisory Group of the Medicines and Healthcare Products Regulatory Agency.[53]

In May 2017, Sky News published a leaked letter from the National Data Guardian, Dame Fiona Caldicott, revealing that in her "considered opinion" the data sharing agreement between DeepMind and the Royal Free took place on an "inappropriate legal basis".[54]

The Information Commissioner’s Office ruled that London’s Royal Free hospital failed to comply with the Data Protection Act when it handed over personal data of 1.6 million patients to DeepMind. [55]

See also[edit]


  1. ^ "DEEPMIND TECHNOLOGIES LIMITED – Overview (free company information from Companies House)". Companies House. Retrieved 2016-03-13. 
  2. ^ a b c Mnih, Volodymyr; Kavukcuoglu, Koray; Silver, David (26 February 2015). "Human-level control through deep reinforcement learning". Nature. 518 (7540): 529–33. Bibcode:2015Natur.518..529M. PMID 25719670. doi:10.1038/nature14236. Retrieved 25 February 2015. 
  3. ^ "Alphabet's DeepMind unit could be expanded to 1,000 people". 
  4. ^ a b "The Last AI Breakthrough DeepMind Made Before Google Bought It". The Physics arXiv Blog. Retrieved 12 October 2014. 
  5. ^ Graves, Alex; Wayne, Greg; Danihelka, Ivo (2014). "Neural Turing Machines". arXiv:1410.5401  [cs.NE]. 
  6. ^ Best of 2014: Google's Secretive DeepMind Startup Unveils a "Neural Turing Machine", MIT Technology Review
  7. ^ Graves, Alex; Wayne, Greg; Reynolds, Malcolm; Harley, Tim; Danihelka, Ivo; Grabska-Barwińska, Agnieszka; Colmenarejo, Sergio Gómez; Grefenstette, Edward; Ramalho, Tiago (2016-10-12). "Hybrid computing using a neural network with dynamic external memory". Nature. 538: 471–476. ISSN 1476-4687. PMID 27732574. doi:10.1038/nature20101. 
  8. ^ a b "Première défaite d’un professionnel du go contre une intelligence artificielle". Le Monde (in French). 27 January 2016. 
  9. ^ "Google Buys U.K. Artificial Intelligence Company DeepMind". Bloomberg. 27 January 2014. Retrieved 13 November 2014. 
  10. ^ "Google makes £400m move in quest for artificial intelligence". Financial Times. 27 January 2014. Retrieved 13 November 2014. 
  11. ^ "Demis Hassabis: 15 facts about the DeepMind Technologies founder". The Guardian. Retrieved 12 October 2014. 
  12. ^ "Google to buy artificial intelligence company DeepMind". Reuters. 26 January 2014. Retrieved 12 October 2014. 
  13. ^ "Google Acquires UK AI startup Deepmind". The Guardian. Retrieved 27 January 2014. 
  14. ^ "Report of Acquisition, TechCrunch". TechCrunch. Retrieved 27 January 2014. 
  15. ^ Oreskovic, Alexei. "Reuters Report". Reuters. Retrieved 27 January 2014. 
  16. ^ "Google Acquires Artificial Intelligence Start-Up DeepMind". The Verge. Retrieved 27 January 2014. 
  17. ^ "Google acquires AI pioneer DeepMind Technologies". Ars Technica. Retrieved 27 January 2014. 
  18. ^ "DeepMind buy heralds rise of the machines". Financial Times. Retrieved 14 October 2014. 
  19. ^ "DeepMind Technologies Investors". Retrieved 12 October 2014. 
  20. ^ Cuthbertson, Anthony. "Elon Musk: Artificial Intelligence 'Potentially More Dangerous Than Nukes'". International Business Times UK. 
  21. ^ " – DeepMind Technologies Acquisition". Retrieved 27 January 2014. 
  22. ^ "Google beats Facebook for Acquisition of DeepMind Technologies". Retrieved 27 January 2014. 
  23. ^ "Hall of Fame Awards: To celebrate the success of companies founded by Computer Laboratory graduates.". University of Cambridge. Retrieved 12 October 2014. 
  24. ^ Lomas, Natasha. "Documents detail DeepMind’s plan to apply AI to NHS data in 2015". TechCrunch. Retrieved 2017-09-26. 
  25. ^ "Inside Google's Mysterious Ethics Board". Forbes. 3 February 2014. Retrieved 12 October 2014. 
  26. ^ a b Ramesh, Randeep (2016-05-04). "Google's DeepMind shouldn't suck up our NHS records in secret". The Guardian. Archived from the original on 2016-10-13. Retrieved 19 October 2016. 
  27. ^ "Home/ Partnership on Artificial Intelligence to Benefit People and Society". 2016. Retrieved 15 October 2016. 
  28. ^ Hern, Alex (4 October 2017). "DeepMind announces ethics group to focus on problems of AI" – via 
  29. ^ a b "DeepMind Technologies Website". DeepMind Technologies. Retrieved 11 October 2014. 
  30. ^ Legg, Shane; Veness, Joel (29 September 2011). "An Approximation of the Universal Intelligence Measure". arXiv:1109.5951  [cs.AI]. 
  31. ^ Hassabis, Demis (23 February 2012). "Model the brain's algorithms" (PDF). Nature. Retrieved 12 October 2014. 
  32. ^ Amodei, Dario; Olah, Chris; Steinhardt, Jacob; Christiano, Paul; Schulman, John; Mané, Dan (2016-06-21). "Concrete Problems in AI Safety". arXiv:1606.06565  [cs.AI]. 
  33. ^ "Publications | DeepMind". DeepMind. Retrieved 2016-09-11. 
  34. ^ Huang, Shih-Chieh; Müller, Martin (12 July 2014). "Investigating the Limits of Monte-Carlo Tree Search Methods in Computer Go". Lecture Notes in Computer Science. Lecture Notes in Computer Science. Springer. 8427: 39–48. ISBN 978-3-319-09164-8. doi:10.1007/978-3-319-09165-5_4. 
  35. ^ "Q&A with Shane Legg on risks from AI". 17 June 2011. Retrieved 12 October 2014. 
  36. ^ "DeepMind founder Demis Hassabis on how AI will shape the future". The Verge. 10 March 2016. 
  37. ^ a b Mnih, Volodymyr; Kavukcuoglu, Koray; Silver, David; Graves, Alex; Antonoglou, Ioannis; Wierstra, Daan; Riedmiller, Martin (12 December 2013). "Playing Atari with Deep Reinforcement Learning". arXiv:1312.5602  [cs.LG]. 
  38. ^ a b c Deepmind artificial intelligence @ FDOT14. 19 April 2014. 
  39. ^ a b c "Google achieves AI 'breakthrough' by beating Go champion". BBC News. 27 January 2016. 
  40. ^ a b "Research Blog: AlphaGo: Mastering the ancient game of Go with Machine Learning". Google Research Blog. 27 January 2016. 
  41. ^ "World's Go Player Ratings". May 2017. 
  42. ^ "柯洁迎19岁生日 雄踞人类世界排名第一已两年" (in Chinese). May 2017. 
  43. ^ "The latest AI can work things out without being taught". The Economist. Retrieved 2017-10-19. 
  44. ^ a b Silver, David; Schrittwieser, Julian; Simonyan, Karen; Antonoglou, Ioannis; Huang, Aja; Guez, Arthur; Hubert, Thomas; Baker, Lucas; Lai, Matthew (2017-10-18). "Mastering the game of Go without human knowledge". Nature. 550 (7676): 354–359. ISSN 1476-4687. doi:10.1038/nature24270. 
  45. ^ Knight, Will. "The world’s smartest game-playing AI—DeepMind’s AlphaGo—just got way smarter". MIT Technology Review. Retrieved 2017-10-19. 
  46. ^ Vincent, James (October 18, 2017). "DeepMind’s Go-playing AI doesn’t need human help to beat us anymore". The Verge. Retrieved 2017-10-19. 
  47. ^ Baraniuk, Chris (6 July 2016). "Google's DeepMind to peek at NHS eye scans for disease analysis". BBC. Retrieved 6 July 2016. 
  48. ^ Baraniuk, Chris (31 August 2016). "Google DeepMind targets NHS head and neck cancer treatment". BBC. Retrieved 5 September 2016. 
  49. ^ "DeepMind announces second NHS partnership". IR Pro. 23 December 2016. Retrieved 23 December 2016. 
  50. ^ Hodson, Hal (29 April 2016). "Revealed: Google AI has access to huge haul of NHS patient data". New Scientist. 
  51. ^ "Leader: If Google has nothing to hide about NHS data, why so secretive?". New Scientist. 4 May 2016. 
  52. ^ Donnelly, Caroline (12 May 2016). "ICO probes Google DeepMind patient data-sharing deal with NHS Hospital Trust". Computer Weekly. 
  53. ^ Hodson, Hal (25 May 2016). "Did Google’s NHS patient data deal need ethical approval?". New Scientist. Retrieved 28 May 2016. 
  54. ^ Martin, Alexander J (15 May 2017). "Google received 1.6 million NHS patients' data on an 'inappropriate legal basis'". Sky News. Retrieved 16 May 2017. 
  55. ^ Hern, Alex (3 July 2017). "Royal Free breached UK data law in 1.6m patient deal with Google's DeepMind" – via 

External links[edit]

Publications | DeepMind

Author AllAgapiou, JAlcicek, CAmos, DAnderson, KAndrychowicz, MAntonoglou, IApps, CArandjelović, RAssael, Y MAzar, M GBack, TBaker, LBalaguer, J D OBallard, ABanarse, DBanino, ABapst, VBarreto, ABartunov, SBattaglia, PBeattie, CBelov, DBesse, FBlackwell, SBlundell, CBlunsom, PBolton, ABotvinick, MBuesing, LBurgess, CCabi, SCain, ACant, MCarreira, JChadwick, MChen, YChiappa, SChua, ACornebise, JCzarnecki, WDabney, WDanihelka, IDe Fauw, Jde Freitas, NDe Maria, ADegris, TDenil, MDesjardins, GDieleman, SDoersch, CDyer, CErez, TEslami, AEspeholt, LEwalds, TFaulkner, RFearon, RFernando, CFidjeland, AFoerster, JFortunato, MGaffney, SGendron-Bellemare, MGeorgiev, PGlorot, XGomez Colmenarejo, SGoroshin, RGrabska-Barwinska, AGraepel, TGraves, AGreen, SGreen, TGrefenstette, EGregor, KGrewe, DGruslys, AGuez, AGülçehre, CHadsell, RHafner, RHarley, THarutyunyan, AHassabis, DHeess, NHessel, MHester, THiggins, IHill, FHillier, CHoffman, MHorgan, DHuang, AHubert, THui, FHung, CHunt, JJaderberg, MJimenez Rezende, DJonschkowski, RKalchbrenner, NKavukcuoglu, KKay, WKing, HKirkpatrick, JKočiský, TKrakovna, VKulkarni, TKumaran, DKurth-Nelson, ZKüttler, HLai, MLakshminarayanan, BLampe, TLanctot, MLeach, MLefrancq, ALegg, SLeibo, JLemmon, JLerchner, ALever, GLi, YLillicrap, TLing, WMaddison, CMakhzani, AMatthey, LMelis, GMenick, JMerel, JMilan, KMirowski, PMnih, AMnih, VModayil, JMohamed, SMoritz Hermann, KMunos, RNair, AO'Donoghue, BOrseau, LOsband, IOsindero, SOstrovski, GPal, APanneershelvam, VPaquet, UPascanu, RPetersen, SPfau, DPietquin, OPiot, BPritzel, APuigdomènech, AQuan, JRabinowitz, NRacaniere, SRae, JRamalho, TReed, SReichert, DReynolds, MRiedmiller, MRocktäschel, TRosca, MRothörl, TRuderman, ARusu, ASadik, ASantoro, ASaxton, DSchaul, TSchlinger, EScholz, JSchrittwieser, JSchulman, JSenior, ASifre, LSilver, DSimonyan, KSonnerat, NSoyer, HSrinivasan, PSriram, SStachenfeld, KStepleton, TSuleyman, MSummerfield, CSunehag, PSwirszcz, GSzepesvpari, DTassa, YTB, DTeh, Y WTeplyashin, DTirumala, DTuyls, KUria, BValdés, Vvan den Driessche, Gvan den Oord, Avan Hasselt, HVecerik, MVeness, JVezhnevets, AVinyals, OViola, FWainwright, MWang, FWang, JWang, ZWard, TWarde-Farley, DWayne, GWeber, TWeinstein, AWhiteson, SWierstra, DYeo, MYogatama, DYork, SZambaldi, VZhang, BZisserman, AZoran, DZwols, Y

Author arrow

  • All
  • Agapiou, J
  • Alcicek, C
  • Amos, D
  • Anderson, K
  • Andrychowicz, M
  • Antonoglou, I
  • Apps, C
  • Arandjelović, R
  • Assael, Y M
  • Azar, M G
  • Back, T
  • Baker, L
  • Balaguer, J D O
  • Ballard, A
  • Banarse, D
  • Banino, A
  • Bapst, V
  • Barreto, A
  • Bartunov, S
  • Battaglia, P
  • Beattie, C
  • Belov, D
  • Besse, F
  • Blackwell, S
  • Blundell, C
  • Blunsom, P
  • Bolton, A
  • Botvinick, M
  • Buesing, L
  • Burgess, C
  • Cabi, S
  • Cain, A
  • Cant, M
  • Carreira, J
  • Chadwick, M
  • Chen, Y
  • Chiappa, S
  • Chua, A
  • Cornebise, J
  • Czarnecki, W
  • Dabney, W
  • Danihelka, I
  • De Fauw, J
  • de Freitas, N
  • De Maria, A
  • Degris, T
  • Denil, M
  • Desjardins, G
  • Dieleman, S
  • Doersch, C
  • Dyer, C
  • Erez, T
  • Eslami, A
  • Espeholt, L
  • Ewalds, T
  • Faulkner, R
  • Fearon, R
  • Fernando, C
  • Fidjeland, A
  • Foerster, J
  • Fortunato, M
  • Gaffney, S
  • Gendron-Bellemare, M
  • Georgiev, P
  • Glorot, X
  • Gomez Colmenarejo, S
  • Goroshin, R
  • Grabska-Barwinska, A
  • Graepel, T
  • Graves, A
  • Green, S
  • Green, T
  • Grefenstette, E
  • Gregor, K
  • Grewe, D
  • Gruslys, A
  • Guez, A
  • Gülçehre, C
  • Hadsell, R
  • Hafner, R
  • Harley, T
  • Harutyunyan, A
  • Hassabis, D
  • Heess, N
  • Hessel, M
  • Hester, T
  • Higgins, I
  • Hill, F
  • Hillier, C
  • Hoffman, M
  • Horgan, D
  • Huang, A
  • Hubert, T
  • Hui, F
  • Hung, C
  • Hunt, J
  • Jaderberg, M
  • Jimenez Rezende, D
  • Jonschkowski, R
  • Kalchbrenner, N
  • Kavukcuoglu, K
  • Kay, W
  • King, H
  • Kirkpatrick, J
  • Kočiský, T
  • Krakovna, V
  • Kulkarni, T
  • Kumaran, D
  • Kurth-Nelson, Z
  • Küttler, H
  • Lai, M
  • Lakshminarayanan, B
  • Lampe, T
  • Lanctot, M
  • Leach, M
  • Lefrancq, A
  • Legg, S
  • Leibo, J
  • Lemmon, J
  • Lerchner, A
  • Lever, G
  • Li, Y
  • Lillicrap, T
  • Ling, W
  • Maddison, C
  • Makhzani, A
  • Matthey, L
  • Melis, G
  • Menick, J
  • Merel, J
  • Milan, K
  • Mirowski, P
  • Mnih, A
  • Mnih, V
  • Modayil, J
  • Mohamed, S
  • Moritz Hermann, K
  • Munos, R
  • Nair, A
  • O'Donoghue, B
  • Orseau, L
  • Osband, I
  • Osindero, S
  • Ostrovski, G
  • Pal, A
  • Panneershelvam, V
  • Paquet, U
  • Pascanu, R
  • Petersen, S
  • Pfau, D
  • Pietquin, O
  • Piot, B
  • Pritzel, A
  • Puigdomènech, A
  • Quan, J
  • Rabinowitz, N
  • Racaniere, S
  • Rae, J
  • Ramalho, T
  • Reed, S
  • Reichert, D
  • Reynolds, M
  • Riedmiller, M
  • Rocktäschel, T
  • Rosca, M
  • Rothörl, T
  • Ruderman, A
  • Rusu, A
  • Sadik, A
  • Santoro, A
  • Saxton, D
  • Schaul, T
  • Schlinger, E
  • Scholz, J
  • Schrittwieser, J
  • Schulman, J
  • Senior, A
  • Sifre, L
  • Silver, D
  • Simonyan, K
  • Sonnerat, N
  • Soyer, H
  • Srinivasan, P
  • Sriram, S
  • Stachenfeld, K
  • Stepleton, T
  • Suleyman, M
  • Summerfield, C
  • Sunehag, P
  • Swirszcz, G
  • Szepesvpari, D
  • Tassa, Y
  • TB, D
  • Teh, Y W
  • Teplyashin, D
  • Tirumala, D
  • Tuyls, K
  • Uria, B
  • Valdés, V
  • van den Driessche, G
  • van den Oord, A
  • van Hasselt, H
  • Vecerik, M
  • Veness, J
  • Vezhnevets, A
  • Vinyals, O
  • Viola, F
  • Wainwright, M
  • Wang, F
  • Wang, J
  • Wang, Z
  • Ward, T
  • Warde-Farley, D
  • Wayne, G
  • Weber, T
  • Weinstein, A
  • Whiteson, S
  • Wierstra, D
  • Yeo, M
  • Yogatama, D
  • York, S
  • Zambaldi, V
  • Zhang, B
  • Zisserman, A
  • Zoran, D
  • Zwols, Y


  2. Темы
  3. Технологии
  4. Нейронную сеть научили практически идеально копировать человеческий голос

В прошлом году компания DeepMind, занимающаяся разработками технологий искусственного интеллекта, поделилась деталями о своем новом проекте WaveNet – нейронной сети глубинного обучения, использующейся для синтезации реалистичной человеческой речи. На днях была выпущена усовершенствованная версия этой технологии, которая будет использоваться в качестве основы цифрового мобильного ассистента Google Assistant.

Читать далее →

  2. Темы
  3. Технологии
  4. Команда Google DeepMind создала группу для обучения ИИ этике

Корпорация Google уже давно ведет разработки собственного искусственного интеллекта под названием DeepMind. Для дальнейшего развития своей технологии, как пишет издание Engadget, эксперты, работающие над ИИ, организовали группу, которая будет изучать моральные вопросы развития искусственного разума.

Читать далее →

  2. Темы
  3. Роботы
  4. Роботы-убийцы? Остановитесь, даже хорошие роботы непредсказуемы до ужаса

Руководители более сотни ведущих мировых компаний в области искусственного интеллекта очень обеспокоены развитием «роботов-убийц». В открытом письме ООН эти бизнес-лидеры, включая Илона Маска из Tesla и основателей гугловской DeepMind – предупредили, что использование технологий автономного оружия может быть принято террористами и деспотами, либо в той или иной степени подвергнется взлому.

Читать далее →

  2. Темы
  3. Технологии
  4. Искусственный интеллект далеко не такой умный, каким вы и Илон Маск его считаете

В марте 2016 года компьютерный алгоритм AlphaGo компании DeepMind смог одержать победу над Ли Седолем, на тот момент лучшим в мире игроком в сложную логическую го. Это событие стало одним из тех определяющих моментов в истории технологической индустрии, коими в свое время стали и победа компьютера Deep Blue компании IBM над чемпионом мира по шахматам Гарри Каспаровым, и победа суперкомпьютера Watson от той же IBM в викторине для эрудитов Jeopardy в 2011 году.

Читать далее →

  2. Темы
  3. Технологии
  4. #видео | Google научила искусственный интеллект паркуру

В последние годы исследователи из разных компаний активно развивают такую многообещающую технологию, как искусственный интеллект. Компания Google является одним из бесспорных лидеров в AI-гонке и всеми силами работает над улучшением своего искусственного интеллекта DeepMind. В рамках одного из последних исследований инженеры компании обучили искусственный интеллект преодолевать различные препятствия в виртуальной среде, отчего на свет родился своеобразный виртуальный паркурщик.

Читать далее →

  2. Темы
  3. Исследования
  4. DeepMind учит свой ИИ думать по-человечески

В прошлом году искусственный интеллект AlphaGo впервые победил чемпиона мира в игре го. Эта победа стала беспрецедентной и неожиданной, учитывая высокую сложность китайской настольной игры. Хотя победа AlphaGo была определенно впечатляющей, этот искусственный интеллект, с тех пор обыгравший и других чемпионов го, все еще считается «узким» типом ИИ — который может превзойти человека лишь в ограниченном поле задач.

Читать далее →

  2. Темы
  3. Компьютеры
  4. Игры кончились: AlphaGo займется решением реальных мировых проблем

В прошлом месяце человечество проиграло важную битву с искусственным интеллектом — тогда AlphaGo обыграл чемпиона по го Ки Дже со счетом 3:0. AlphaGo — это программа с искусственным интеллектом, разработанная DeepMind, частью родительской компании Google Alphabet. В прошлом году она обыграла другого чемпиона, Ли Седоля, со счетом 4:1, но с тех пор существенно набрала по очкам.

Читать далее →

  2. Темы
  3. Технологии
  4. ИИ от Google научили быть «крайне агрессивным» при стрессовых ситуациях

В прошлом году знаменитый физик-теоретик Стивен Хокинг заявил, что совершенствование искусственного интеллекта станет «либо лучшим, либо худшим событием для всего человечества». Все мы смотрели «Терминатора» и все мы отлично представляем, каким апокалиптическим адом может стать наше существование, если такая обладающая самосознанием ИИ-система, как «Скайнет», однажды решит, что в человечестве она больше не нуждается. И последние результаты работы новой ИИ-системы от компании DeepMind (принадлежит Google) лишь очередной раз напоминают нам о необходимости быть крайне осторожными при производстве роботов будущего.

Читать далее →

  2. Темы
  3. Исследования
  4. Искусственный интеллект Google DeepMind получил «ускоритель» процесса обучения

Как гласит народная мудрость, «ученье свет, а неученье тьма». Видимо, этого же принципа придерживаются и специалисты компании Google, ответственные за развитие DeepMind. Им, скорее всего, показалось, что ИИ недостаточно быстро усваивает новую информацию и приобретает новые навыки, поэтому они разработали алгоритм, ускоряющий процессы распознавания, узнавания и систематизации новых знаний.

Читать далее →

  2. Темы
  3. Исследования
  4. Искусственный интеллект Google DeepMind научился читать по губам

В последнее время искусственный интеллект Google DeepMind с поразительной быстротой обучается все новым и новым функциям. Он уже начал развлекаться, играя в видеоигры, да и вообще, для самообучения уже практически не нуждается в человеке. Однако нет предела совершенству, и не так давно ИИ приобрел еще один новый навык: чтение по губам.

Читать далее →

  2. Темы
  3. Технологии
  4. Искусственный интеллект Google DeepMind вскоре сразится против людей в игре Starcraft II

В последнее время система искусственного интеллекта от Google под названием DeepMind все чаще мелькает в заголовках различных техноизданий, обучаясь все новым «фишкам» и находя применение во всех новых отраслях робототехники. Но желание научить ИИ играть в видеоигры — сравнительно новый тренд среди разработчиков. Совсем недавно мы писали о том, что искусственный разум научился и даже обыграл человека в DooM, а вот теперь Google обучает свою систему игре в StarCraft II.

Читать далее →

  2. Темы
  3. Технологии
  4. Искусственный интеллект DeepMind больше не нуждается в людях

Искусственный интеллект DeepMind, разработанный специалистами Google, отныне не нуждается в поддержке своих создателей для того, чтобы развиваться и самосовершенствоваться дальше. Добиться этого удалось при помощи внедрения в него новой системы Differential Neural Computer (DNC), которая сочетает в себе способность компьютеров хранить большие объёмы информации, логические навыки искусственного интеллекта, а также умение нейронной сети быстро искать в хранилище данных необходимые фрагменты.

Читать далее →

  2. Темы
  3. Технологии
  4. ИИ AlphaGo от Google вновь сойдется в схватке, но уже против лучшего в мире игрока в го

Человечеству дан еще один шанс себя показать. Стало известно, что ИИ компании Google, победивший ранее в этом году одного из лучших игроков в настольную логическую игру го южнокорейца Ли Седола, до конца года вновь сразится, но уже с лучшим в мире игроком в го, 18-летним китайцем Кэ Цзе.

Читать далее →

  2. Темы
  3. Технологии
  4. Google не хочет однажды создать «Скайнет», поэтому создает выключатель для ИИ

В вопросах и рассуждениях о будущем искусственного интеллекта есть две основные противоборствующие стороны. В одном углу находятся такие компании, как Google, Facebook, Amazon и Microsoft, «агрессивно» инвестирующие в развитие технологий, чтобы сделать ИИ-системы умнее, в другом — такие выдающиеся мыслители нашего времени, как Элон Маск и Стивен Хокинг, которые считают, что развитие ИИ сродни «заклинанию по вызову демона».

Читать далее →

  2. Темы
  3. Технологии
  4. ИИ AlphaGo от Deep Mind обыграл чемпиона мира по логической игре го

В сфере развития искусственного интеллекта произошло весьма значимое событие. Программа AlphaGo, разработанная подразделением Google, компанией DeepMind, одержала победу над мировым чемпионом в логическую настольную игру го, корейцем Ли Си Долом, в рамках первой из пяти исторических партий, которые пройдут в Сеуле. Первую партию Ли проиграл спустя три с половиной часа игры, в то время как на часах оставалось еще 28 минут и 28 секунд до конца.

Читать далее →

  2. Темы
  3. Компьютеры
  4. Зачем Google умнейший компьютер, который сможет программировать сам себя?

Секретные исследователи искусственного интеллекта в Google рассказали о компьютере, который, как они надеются, однажды сможет программировать сам себя. Разработчики загадочного стартапа Deep Mind, который был куплен компанией Google за 400 миллионов долларов в начале этого года, пытаются имитировать определенные свойства кратковременной памяти рабочего человеческого мозга.

Читать далее →

  2. Темы
  3. Технологии
  4. Внутри загадочного «совета по этике» Google

На прошлой неделе мир технологий загудел, когда Google объявила о трате почти полумиллиарда долларов на компанию DeepMind, британского разработчика искусственного интеллекта. Представляем вам размышления западных экспертов Forbes о том, какие последствия может вызвать дальнейшее развитие событий.

Читать далее →

  2. Темы
  3. Бизнес и аналитика
  4. Что Google хочет от DeepMind?

Похоже, что Google неумолимо хочет контролировать каждый аспект нашей жизни. Пожалуй, нам стоит собраться и обсудить, к чему приведет недавний выход Google на арену искусственного интеллекта.

Читать далее →

DeepMind открыло бесплатный доступ к виртуальной среде машинного обучения / Geektimes

На днях представители подразделения DeepMind (сейчас входит в состав холдинга Alphabet) сообщили о предоставлении бесплатного доступа разработчикам к исходному коду платформы DeepMind Lab. Это сервис машинного обучения на базе Quake III, который предназначен для обучения искусственного интеллекта. А именно — научиться решать задачи в трехмерном пространстве без вмешательства человека. Основой платформы является движок игры Quake III Arena.

Внутри игрового мира ИИ получает форму сферы и возможность летать, изучая окружающее пространство. Цель, которую ставят перед собой разработчики — научить слабую форму ИИ «понимать», что происходит и реагировать на различные ситуации, происходящие в виртуальном мире. «Персонаж» может выполнять ряд действий, перемещаться по лабиринту, изучать ближайшее окружение. «Мы стараемся разрабатывать различные формы ИИ, способные выполнять ряд задач от обычного изучения игрового мира до совершения каких-либо действий с анализом их последствий», — рассказывает Шейн Легг, главный научный сотрудник DeepMind.

Специалисты надеются, что ИИ сможет учиться методом проб и ошибок. Игры в этом случае — почти идеальный вариант. Например, ранее в DeepMind использовали (и используют сейчас) игровую консоль Atari для того, чтобы научить нейросеть выполнять последовательные действия, необходимые для игры.

Но открытый трехмерный мир, который можно изменять, представляет гораздо более перспективную среду для обучения ИИ, чем плоский мир графически простых игрушек для Atari. ИИ в трехмерном мире имеет четкие задания, которые последовательно меняются таким образом, что опыт, полученный при решении каждого предыдущего задания, оказывается полезным для ИИ в ходе решения последующего.

Плюсом трехмерного окружения является то, что с его помощью можно обучать компьютерные системы реагировать на различные проблемы, которые могут ожидать робота и в реальном мире. При помощи такого симулятора без проблем обучаются промышленные роботы. А работать с виртуальным окружением не в пример проще в некоторых случаях, чем обучать такие системы «вручную».

При этом большинство современных нейросетей разрабатывается для решения одной специфической задачи (обработка изображений, например). Разработчики новой платформы обещают, что она поможет создать универсальную форму ИИ, способную решать большое количество задач. Причем помощь людей в этом случае компьютерной системе не понадобится. Генерация окружения для нейросети происходит каждый раз в случайном порядке.

По мнению разработчиков платформы, она помогает учиться ИИ примерно так же, как обучаются дети. «Как вы или я изучали мир в детстве», — привел пример один из сотрудников DeepMind. «Сообщество специалистов по машинному обучению было всегда очень открытым. Мы публикуем около 100 статей в год, кроме того, мы открыли исходный код многих своих проектов».

Сейчас Google DeepMind открыло исходный код DeepMind Lab, выложил его на GitHub. Благодаря этому любой человек может скачать код платформы и модифицировать ее под свои нужны. Представители проекта заявляют, что новые игровые уровни подключившиеся специалисты могут создавать самостоятельно, загружая собственные проекты на GitHub. Это может помочь всему сообществу работать над достижением своей цели быстрее и эффективнее.

Этот проект — не единственный для DeepMind. В прошлом месяце его представители заключили договор о сотрудничестве с Activision Blizzard Inc. Цель — превращение среды Starcraft 2 в тестовую площадку для искусственного интеллекта. Возможно, в скором времени к этому проекту подключатся и другие разработчики игр. К слову, ИИ в игровой среде не получает над противником никакого преимущества, используя для продвижения лишь визуальную информацию, как и человек.

На практике это означает, что ИИ Google понадобится предугадывать, что в каждый конкретный момент времени делает противник, чтобы адекватно отвечать на действия «врага». Кроме того, необходимо будет быстро реагировать на то, что пошло вне плана. Все это позволит протестировать уже следующий уровень возможностей искусственного интеллекта. «В конце-концов мы хотим применить эти способности для решения общемировых проблем», — сообщил Демис Хассабис (Demis Hassabis), основатель компании Deepmind (именно ее в 2014 году купил Google, и сейчас на базе достижений купленной компании ведется разработка ИИ).

Специалисты, связанные с ИИ, высказывают осторожное одобрение проекту. «Очень хорошо то, что они дают большое количество типов окружения», — заявил сооснователь OpenAI Илья Сутскевар (Ilya Sutskevar). «Чем с большим количеством типов окружения столкнется система, тем быстрее она будет развиваться», — продолжил он. И действительно, трехмерная среда обучения ИИ содержит более 1000 уровней и типов окружения.

Зубин Гахрахмани (Zoubin Gahrahmani), профессор из Кэмбриджа, считает, что DeepMind Lab и другие платформы для усиления развития искусственного интеллекта способствуют прогрессу, допуская исследователей к разработанной среде. При этом проекты, подобные этому, достаточно прозрачны. Он также заметил, что у человека достижение определенного уровня игры занимает гораздо меньше времени, чем у компьютера. Поэтому профессор высказывает сомнение в том, что ИИ, слабую его форму, будет сложно хотя бы приблизить до уровня человека в плане скорости обучения.

deepmind/lab: A customisable 3D platform for agent-based AI research

DeepMind Lab is a 3D learning environment based on id Software's Quake III Arena via ioquake3 and other open source software.

DeepMind Lab provides a suite of challenging 3D navigation and puzzle-solving tasks for learning agents. Its primary purpose is to act as a testbed for research in artificial intelligence, especially deep reinforcement learning.


Disclaimer: This is not an official Google product.

If you use DeepMind Lab in your research and would like to cite the DeepMind Lab environment, we suggest you cite the DeepMind Lab paper.

You can reach us at [email protected]

Getting started on Linux

$ git clone $ cd lab
  • For a live example of a random agent, run
lab$ bazel run :random_agent --define headless=false -- \ --length=10000 --width=640 --height=480

Here is some more detailed build documentation, including how to install dependencies if you don't have them.

Play as a human

To test the game using human input controls, run

lab$ bazel run :game -- --level_script tests/demo_map

Train an agent

DeepMind Lab ships with an example random agent in python/ which can be used as a starting point for implementing a learning agent. To let this agent interact with DeepMind Lab for training, run

lab$ bazel run :random_agent

The Python API for the agent-environment interaction is described in docs/

DeepMind Lab ships with different levels implementing different tasks. These tasks can be configured using Lua scripts, as described in docs/

Upstream sources

DeepMind Lab is built from the ioquake3 game engine, and it uses the tools q3map2 and bspc for map creation. Bug fixes and cleanups that originate with those projects are best fixed upstream and then merged into DeepMind Lab.

  • bspc is taken from, revision e6f90a2dc02916aa2298da6ace70a8333b3f2405. There are virtually no local modifications, although we integrate this code with the main ioq3 code and do not use their copy in the deps directory. We expect this code to be stable.

  • q3map2 is taken from, revision 8557f1820f8e0c7cef9d52a78b2847fa401a4a95. A few minor local modifications add synchronization and use C99 constructs to replace formerly non-portable or undefined behaviour. We also expect this code to be stable.

  • ioquake3 is taken from, revision 1c1e1f61f180596c925a4ac0eddba4806d1369cd. The code contains extensive modifications and additions. We aim to merge upstream changes occasionally.

We are very grateful to the maintainers of these repositories for all their hard work on maintaining high-quality code bases.

External dependencies, prerequisites and porting notes

DeepMind Lab currently ships as source code only. It depends on a few external software libraries, which we ship in several different ways:

  • The zlib, glib, libxml2, jpeg and png libraries are referenced as external Bazel sources, and Bazel BUILD files are provided. The dependent code itself should be fairly portable, but the BUILD rules we ship are specific to Linux on x86. To build on a different platform you will most likely have to edit those BUILD files.

  • Message digest algorithms are included in this package (in //third_party/md), taken from the reference implementations of their respective RFCs. A "generic reinforcement learning API" is included in //third_party/rl_api, which has also been created by the DeepMind Lab authors. This code is portable.

  • Several additional libraries are required but are not shipped in any form; they must be present on your system:

    • SDL 2
    • Lua 5.1 (later versions might work, too)
    • gettext (required by glib)
    • OpenGL: a hardware driver and library are needed for hardware-accelerated human play, and OSMesa is required for the software-rendering, headless library that machine learning agents will want to use.
    • Python 2.7 (other versions might work, too)

The build rules are using a few compiler settings that are specific to GCC. If some flags are not recognized by your compiler (typically those would be specific warning suppressions), you may have to edit those flags. The warnings should be noisy but harmless.

DeepMind AI Reduces Google Data Centre Cooling Bill by 40%

From smartphone assistants to image recognition and translation, machine learning already helps us in our everyday lives. But it can also help us to tackle some of the world’s most challenging physical problems -- such as energy consumption.  Large-scale commercial and industrial systems like data centres consume a lot of energy, and while much has been done to stem the growth of energy use, there remains a lot more to do given the world’s increasing need for computing power.

Reducing energy usage has been a major focus for us over the past  10 years: we have built our own super-efficient servers at Google, invented more efficient ways to cool our data centres and invested heavily in green energy sources, with the goal of being powered 100 percent by renewable energy. Compared to five years ago, we now get around 3.5 times the computing power out of the same amount of energy, and we continue to make many improvements each year.

Major breakthroughs, however, are few and far between -- which is why we are excited to share that by applying DeepMind’s machine learning to our own Google data centres, we’ve managed to reduce the amount of energy we use for cooling by up to 40 percent. In any large scale energy-consuming environment, this would be a huge improvement. Given how sophisticated Google’s data centres are already, it’s a phenomenal step forward.

The implications are significant for Google’s data centres, given its potential to greatly improve energy efficiency and reduce emissions overall. This will also help other companies who run on Google’s cloud to improve their own energy efficiency. While Google is only one of many data centre operators in the world, many are not powered by renewable energy as we are. Every improvement in data centre efficiency reduces total emissions into our environment and with technology like DeepMind’s, we can use machine learning to consume less energy and help address one of the biggest challenges of all -- climate change.

One of the primary sources of energy use in the data centre environment is cooling. Just as your laptop generates a lot of heat, our data centres -- which contain servers powering Google Search, Gmail, YouTube, etc. -- also generate a lot of heat that must be removed to keep the servers running. This cooling is typically accomplished via large industrial equipment such as pumps, chillers and cooling towers. However, dynamic environments like data centres make it difficult to operate optimally for several reasons:

  1. The equipment, how we operate that equipment, and the environment interact with each other in complex, nonlinear ways. Traditional formula-based engineering and human intuition often do not capture these interactions.
  2. The system cannot adapt quickly to internal or external changes (like the weather). This is because we cannot come up with rules and heuristics for every operating scenario.
  3. Each data centre has a unique architecture and environment. A custom-tuned model for one system may not be applicable to another. Therefore, a general intelligence framework is needed to understand the data centre’s interactions.

To address this problem, we began applying machine learning two years ago to operate our data centres more efficiently. And over the past few months, DeepMind researchers began working with Google’s data centre team to significantly improve the system’s utility. Using a system of neural networks trained on different operating scenarios and parameters within our data centres, we created a more efficient and adaptive framework to understand data centre dynamics and optimize efficiency.

We accomplished this by taking the historical data that had already been collected by thousands of sensors within the data centre -- data such as temperatures, power, pump speeds, setpoints, etc. -- and using it to train an ensemble of deep neural networks. Since our objective was to improve data centre energy efficiency, we trained the neural networks on the average future PUE (Power Usage Effectiveness), which is defined as the ratio of the total building energy usage to the IT energy usage. We then trained two additional ensembles of deep neural networks to predict the future temperature and pressure of the data centre over the next hour. The purpose of these predictions is to simulate the recommended actions from the PUE model, to ensure that we do not go beyond any operating constraints.

We tested our model by deploying on a live data centre. The graph below shows a typical day of testing, including when we turned the machine learning recommendations on, and when we turned them off.

DeepMind · GitHub

DeepMind · GitHub
  • C++ 97 47 GPL-2.0 Updated Oct 21, 2017
  • A customisable 3D platform for agent-based AI research

    C 4,218 847 GPL-2.0 Updated Oct 18, 2017
  • A tool to manage kubernetes configuration using jsonnet templates

    Python 58 4 Apache-2.0 Updated Oct 18, 2017
  • StarCraft II Learning Environment

    Python 3,156 375 Apache-2.0 1 issue needs help Updated Oct 17, 2017
  • Algebra Question Answering

  • A TensorFlow implementation of the Differentiable Neural Computer.

    Python 1,704 258 Apache-2.0 Updated Oct 3, 2017
  • TensorFlow-based neural network library

    Python 5,438 674 Apache-2.0 Updated Sep 25, 2017
  • Convolutional neural network model for video classification trained on the Kinetics dataset.

    Python 83 25 Apache-2.0 Updated Sep 9, 2017
  • 103 11 Updated Jul 25, 2017
  • Learning to Learn in TensorFlow

    Python 3,180 397 Apache-2.0 Updated Jul 25, 2017
  • Dataset to assess the disentanglement properties of unsupervised learning methods

    Jupyter Notebook 82 10 Apache-2.0 Updated Jun 2, 2017
  • Question answering dataset featured in "Teaching Machines to Read and Comprehend

    Python 914 166 Apache-2.0 Updated Apr 26, 2017
  • Lua/Torch implementation of DQN (Nature, 2015)

    Lua 128 39 Updated Apr 7, 2017
  • Dataset for the spaceship task from "Metacontrol for Adaptive Imagination-Based Optimization"

    33 15 Apache-2.0 Updated Mar 23, 2017
  • Torch interface to HDF5 library

    Lua 172 91 Updated Mar 21, 2017
  • Scripts to help with Torch package documentation

    Lua 17 11 BSD-3-Clause Updated Jan 3, 2017
  • Unsupervised Data Generated for GeoQuery and SAIL Datasets

    28 8 GPL-2.0 Updated Nov 5, 2016
  • Lua 28 20 BSD-3-Clause Updated Oct 24, 2016
  • Lua 86 12 BSD-3-Clause Updated Sep 5, 2016
  • Lua 27 18 GPL-2.0 Updated Jun 18, 2016
  • Cairo lua bindings with extensions for torch

    C 7 2 MIT Updated Jun 12, 2016
  • Lua 44 19 BSD-3-Clause Updated Apr 8, 2016
  • Cephes Mathematical Functions library wrapped for Torch

    C 27 18 Updated Mar 10, 2016
  • Lua 22 30 BSD-3-Clause Updated Mar 9, 2016
  • A pretty print library for torch and lua.

    Lua 12 13 MIT Updated Jan 8, 2016
  • Style guide for Lua code.

  • LuaJIT wrapper for PLplot

    Lua 14 3 BSD-3-Clause Updated Aug 17, 2015
  • A Lua package to detect reading of undeclared variables and creating of global variables.

    Lua 11 3 BSD-3-Clause Updated Apr 28, 2015
  • Lua 35 21 BSD-3-Clause Updated Mar 27, 2015
  • 0

    This organization has no public members. You must be a member to see who’s a part of this organization.

    You can't perform that action at this time. You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session.

    Смотрите также